Iedereen van ons is vast wel eens een situatie tegengekomen waarin het videoweergaveframe “gekarteld” is wanneer je het op een mobiel apparaat bekijkt. Ergernis en ergernis zijn waarschijnlijk gevoelens die meteen verschijnen, maar je moet het toch accepteren en de hele video bekijken omdat je simpelweg niet anders kunt.
Om dit ogenschijnlijk kleine probleem op te lossen, maar dat een grote impact heeft op de gebruikerservaring, heeft het AI-onderzoeksteam van Google met succes een open source-oplossing ontwikkeld, genaamd Autoflip, die video's automatisch kan verfijnen zodat ze zich aanpassen aan een bepaald apparaat of schermformaat in verschillende modi, zoals landschap, vierkant, portret, enz.

Kort gezegd werkt Autoflip in drie hoofdfasen: scènedetectie, analyse van video-inhoud en ten slotte fijnafstemming.
In de scènedetectiefase zal het machine learning-model veel aandacht besteden aan het punt voordat er van de ene scène naar de andere wordt geknipt of gesprongen. Dankzij dit kan het één frame vergelijken met het vorige frame om veranderingen in kleuren en gerelateerde elementen te detecteren.
![Autoflip, het nieuwe AI-model van Google, kan video's aanpassen aan elk schermformaat Autoflip, het nieuwe AI-model van Google, kan video's aanpassen aan elk schermformaat]()
Na het identificeren van een benchmarkopname gaat het AI-model verder met het analyseren van de video-inhoud om belangrijke objecten in een scène te identificeren. Om dit te doen zal Autoflip een deep learning neuraal netwerk gebruiken dat het helpt om niet alleen objecten die in de scène verschijnen, zoals mensen, dieren, voertuigen, bomen, duidelijk te identificeren... maar ook de beweging en de bewegende toestand van de voorwerp.
In de laatste fase bepaalt het AI-model of het de stationaire modus moet gebruiken voor scènes die zich in één ruimte afspelen of de volgmodus wanneer interessante objecten voortdurend in beweging zijn. Op basis van deze factor en de doelgrootte die de video moet worden weergegeven, zal Autoflip het weergaveframe bijsnijden om vloeiendheid te garanderen en vooral alle interessante inhoud te behouden.
![Autoflip, het nieuwe AI-model van Google, kan video's aanpassen aan elk schermformaat Autoflip, het nieuwe AI-model van Google, kan video's aanpassen aan elk schermformaat]()
Google AI-onderzoekers zeggen dat Autoflip kan worden gebruikt om video's zonder menselijke tussenkomst naar meerdere formaten en schermformaten te converteren. In de volgende fase wil het team het vermogen van Autoflip verbeteren om onderwerpen in interviews en cartoons te volgen. Om dit te doen moet het AI-model worden uitgerust met onscherpe beeld- en tekstdetectietechnieken om voor- en achtergrondobjecten beter in een frame te plaatsen.
U kunt HIER naar de code van Autoflip verwijzen .