Autoflip, das neue KI-Modell von Google, kann Videos für jede Bildschirmgröße anpassen

Sicherlich hat jeder von uns mehr oder weniger die Situation erlebt, dass der Bildrahmen eines Videos „gezackt“ ist, wenn man es auf einem mobilen Gerät ansieht. Verärgerung und Ärger sind wahrscheinlich Gefühle, die sofort auftauchen, aber man muss es trotzdem akzeptieren und sich das ganze Video ansehen, weil man einfach nichts anderes tun kann.

Um dieses scheinbar kleine Problem zu lösen, das jedoch große Auswirkungen auf die Benutzererfahrung hat, hat das KI-Forschungsteam von Google erfolgreich eine Open-Source-Lösung namens Autoflip entwickelt, die Videos automatisch so optimieren kann, dass sie sich an ein bestimmtes Gerät oder eine bestimmte Bildschirmgröße in einer Vielzahl von Bereichen anpassen Modi wie Querformat, Quadrat, Porträt usw.

Grundsätzlich funktioniert Autoflip in drei Hauptphasen: Szenenerkennung, Videoinhaltsanalyse und schließlich Feinabstimmung.

In der Szenenerkennungsphase schenkt das maschinelle Lernmodell dem Punkt große Aufmerksamkeit, bevor es von einer Szene zur anderen schneidet oder springt. Dadurch kann ein Frame mit dem vorherigen Frame verglichen werden, um Farbänderungen und damit verbundene Elemente zu erkennen.

Nachdem eine Benchmark-Aufnahme identifiziert wurde, analysiert das KI-Modell den Videoinhalt, um wichtige Objekte in einer Szene zu identifizieren. Zu diesem Zweck wird Autoflip ein Deep-Learning-Neuronales Netzwerk verwenden, das dabei hilft, nicht nur in der Szene erscheinende Objekte wie Menschen, Tiere, Fahrzeuge, Bäume ... eindeutig zu identifizieren, sondern auch deren Bewegung und Bewegungszustand Objekt.

Im letzten Schritt bestimmt das KI-Modell, ob es den stationären Modus für Szenen verwenden soll, die in einem einzelnen Raum stattfinden, oder den Tracking-Modus, wenn sich interessierende Objekte ständig bewegen. Basierend auf diesem Faktor und der Zielgröße, die das Video anzeigen muss, schneidet Autoflip den Anzeigerahmen zu, um eine flüssige Darstellung zu gewährleisten und insbesondere alle interessanten Inhalte beizubehalten.

Laut KI-Forschern von Google können mit Autoflip Videos ohne menschliches Eingreifen in verschiedene Formate und Bildschirmgrößen konvertiert werden. Im nächsten Schritt möchte das Team die Fähigkeit von Autoflip verbessern, Themen in Interviews und Cartoons zu verfolgen. Dazu muss das KI-Modell mit Techniken zur Erkennung verschwommener Bilder und Texte ausgestattet werden, um Vorder- und Hintergrundobjekte besser in einem Rahmen zu platzieren.

Den Autoflip-Code finden Sie HIER .