Autoflip, il nuovo modello AI di Google può personalizzare i video per qualsiasi dimensione dello schermo

Sicuramente qualcuno di noi ha più o meno riscontrato una situazione in cui la cornice del display del video risulta "frastagliata" quando lo guardi su un dispositivo mobile. Fastidio e fastidio sono probabilmente sensazioni che compaiono subito, ma devi comunque accettarlo e guardare l'intero video perché semplicemente non puoi fare altro.

Per risolvere questo problema apparentemente piccolo ma che ha un grande impatto sull'esperienza dell'utente, il team di ricerca sull'intelligenza artificiale di Google ha sviluppato con successo una soluzione open source chiamata Autoflip, che può ottimizzare automaticamente i video in modo che si adattino a un determinato dispositivo o dimensione dello schermo in una varietà di modalità, come paesaggio, quadrato, ritratto, ecc.

Fondamentalmente, Autoflip funziona in tre fasi principali: rilevamento della scena, analisi del contenuto video e infine messa a punto.

Nella fase di rilevamento della scena, il modello di machine learning presterà molta attenzione al punto prima di tagliare o saltare da una scena all'altra. Grazie a ciò, può confrontare un fotogramma con il fotogramma precedente per rilevare cambiamenti nei colori e negli elementi correlati.

Dopo aver individuato una ripresa di riferimento, il modello AI passerà all'analisi del contenuto video per identificare gli oggetti importanti in una scena. Per fare ciò, Autoflip utilizzerà una rete neurale di deep learning che lo aiuta a identificare chiaramente non solo gli oggetti che appaiono nella scena, come persone, animali, veicoli, alberi... ma anche il movimento e lo stato in movimento dell'oggetto. oggetto.

Nella fase finale, il modello AI determina se utilizzare la modalità stazionaria per le scene che si svolgono in un unico spazio o la modalità di tracciamento quando gli oggetti di interesse sono in costante movimento. In base a questo fattore e alla dimensione target che il video deve essere visualizzato, Autoflip ritaglierà la cornice del display per garantire fluidità e soprattutto conservare tutti i contenuti interessanti.

I ricercatori di Google AI affermano che Autoflip può essere utilizzato per convertire video in più formati e dimensioni dello schermo senza l'intervento umano. Nella fase successiva, il team vuole migliorare la capacità di Autoflip di tracciare i soggetti nelle interviste e nei cartoni animati. Per fare ciò, il modello AI deve essere dotato di tecniche di rilevamento di immagini e testo sfocati per posizionare meglio gli oggetti in primo piano e sullo sfondo in una cornice.

Puoi fare riferimento al codice di Autoflip QUI .