Autoflip, noul model AI al Google poate personaliza videoclipuri pentru orice dimensiune de ecran

Cu siguranță oricare dintre noi s-a confruntat mai mult sau mai puțin cu o situație în care cadrul de afișare video este „deformat” atunci când îl vizionați pe un dispozitiv mobil. Enervarea și supărarea sunt probabil sentimente care apar imediat, dar tot trebuie să le accepți și să vizionezi întregul videoclip pentru că pur și simplu nu poți face nimic altceva.

Pentru a rezolva această problemă aparent mică, dar are un impact mare asupra experienței utilizatorului, echipa Google de cercetare AI a dezvoltat cu succes o soluție open source numită Autoflip, care poate ajusta automat videoclipurile astfel încât să se adapteze la un anumit dispozitiv sau dimensiunea ecranului într-o varietate de moduri, cum ar fi peisaj, pătrat, portret etc.

Practic, Autoflip funcționează în trei etape principale: detectarea scenei, analiza conținutului video și, în final, reglarea fină.

În etapa de detectare a scenei, modelul de învățare automată va acorda multă atenție punctului înainte de a tăia sau a sări de la o scenă la alta. Datorită acestui lucru, poate compara un cadru cu cadrul anterior pentru a detecta modificările de culori și elementele aferente.

După identificarea unei fotografii de referință, modelul AI va trece la analiza conținutului video pentru a identifica obiectele importante dintr-o scenă. Pentru a face acest lucru, Autoflip va folosi o rețea neuronală de învățare profundă care îl ajută să identifice în mod clar nu numai obiectele care apar în scenă, cum ar fi oameni, animale, vehicule, copaci... ci și mișcarea, precum și starea de mișcare a obiect.

În etapa finală, modelul AI determină dacă ar trebui să folosească modul staționar pentru scenele care au loc într-un singur spațiu sau modul de urmărire atunci când obiectele de interes sunt în mișcare constantă. Pe baza acestui factor și a dimensiunii țintă pe care videoclipul trebuie să fie afișat, Autoflip va decupa cadrul de afișare pentru a asigura netezime și mai ales pentru a păstra tot conținutul interesant.

Cercetătorii Google AI spun că Autoflip poate fi folosit pentru a converti videoclipuri în mai multe formate și dimensiuni de ecran fără intervenția umană. În următoarea etapă, echipa dorește să îmbunătățească capacitatea Autoflip de a urmări subiectele din interviuri și desene animate. Pentru a face acest lucru, modelul AI trebuie să fie echipat cu tehnici de detectare a imaginilor neclare și a textului pentru a plasa mai bine obiectele din prim-plan și din fundal într-un cadru.

Puteți consulta codul lui Autoflip AICI .