Modelul AI al DeepMind poate învăța cum să creeze videoclipuri doar vizionând clipuri YouTube

Poate ați auzit de FaceApp, o aplicație mobilă de editare a fotografiilor care primește o atenție deosebită la nivel mondial, având capacitatea de a aplica inteligența artificială (AI) pentru a edita selfie-uri cu un grad extrem de ridicat de autenticitate. Or This Person Does Not Exist, o altă aplicație de editare foto care poate crea portrete interesante bazate pe personaje grafice fictive generate de computer. Acestea sunt doar două dintre multele aplicații grozave cu prezența AI în sarcinile legate de editarea și crearea fotografiilor. Deci, cum rămâne cu editarea video?

Recent, DeepMind, o subsidiară a Alphabet, care operează în principal în domeniul dezvoltării inteligenței artificiale, a anunțat o invenție complet nouă, numită „Efficient Video Generation on Complex Datasets”. video bazat efectiv pe seturi de date complexe), promite să aducă multe schimbări în domeniul editării video și post-producției în viitor. Acesta este practic un algoritm AI care poate învăța cum să creeze clipuri simple din videoclipurile la care a fost expus în timpul procesului de antrenament.

• Acest site web poate transforma selfie-ul tău tineresc într-un portret de epocă înfricoșător

DVD-GAN poate acum genera automat videoclipuri eșantioane cu aspect complet al obiectelor

Cercetătorii de la DeepMind au spus că modelul lor cel mai performant până în prezent - Dual Video Discriminator GAN (DVD-GAN) - a reușit să creeze videoclipuri la o rezoluție de 256 x 256 pixeli, combinată cu rezoluție înaltă. Fidelitatea este lăudabilă și lungimea este mai mare. la 48 de cadre.

„Crearea videoclipurilor cu un nivel ridicat de naturalețe și realism este cea mai mare provocare pentru modelele AI de astăzi. Dintre aceștia, cei mai importanți factori care împiedică nu sunt alții decât complexitatea cerințelor de colectare și calcul a datelor. Din acest motiv, multe locuri de muncă legate de crearea video în trecut se învârteau adesea în jurul unor seturi de date relativ simple sau sarcini în care erau disponibile informații în timp real. În prezent, ne concentrăm pe sarcinile de sinteză și predicție video și ne propunem să extindem rezultatele modelelor AI de creare de imagini de astăzi la video - latura complexă mult mai bine”, a spus un reprezentant al echipei de cercetare.

Echipa și-a construit sistemul în jurul unei arhitecturi AI avansate, introducând în același timp o serie de modificări specifice video, permițând astfel desfășurarea procesului de antrenament pe baza Kinetic-600 - a Setul de date include videoclipuri „naturale”, care sunt mult mai mari în scară decât de obicei. Mai exact, cercetătorii au profitat de rețelele generative adversarial (GAN).

• Nvidia a avut nevoie de doar 3 săptămâni pentru a crea unul dintre cele mai puternice supercomputere AI din lume

Un set de clipuri video sintetice de 4 secunde antrenate pe 12 cadre 128 × 128 de la Kinetic-600.

Dacă nu știți, GAN este un sistem AI format din două părți separate: Prima este o rețea generativă, care ajută la crearea mostrelor de antrenament (date false), cu scopul de a crea date de antrenament. creați cea mai realistă asemănare . Iar a doua este rețeaua discriminativă: care încearcă să facă distincția între datele reale și datele false. Sistemele GAN au fost aplicate în multe sarcini intensive, cum ar fi convertirea subtitrărilor în povești contextuale, în special crearea de fotografii artificiale cu un realism extrem de ridicat.

DVD-GAN conține rețele de discriminare dublă: algoritmul de discriminare poate dezvălui diferențe în conținutul și structura unui singur cadru prin eșantionarea aleatorie a cadrelor cu rezoluție completă, apoi procesarea lor.Procesarea lor individuală și diferențiată în timp oferă indicii de învățare pentru generarea mișcării. Un singur modul - numit Transformer - permite distribuirea datelor și informațiilor învățate în întregul model AI.

• Google lansează un imens depozit de date de instruire AI cu peste 5 milioane de fotografii cu 200.000 de repere din întreaga lume

În ceea ce privește corpusul de antrenament Kinetic-600, acesta este în esență un set de date uriaș, compilat din peste 500.000 de clipuri YouTube de înaltă rezoluție, cu o durată de cel mult 10 secunde. Aceste videoclipuri au fost inițial organizate pentru a recunoaște acțiunile umane, cercetătorii descriind acest corp drept „divers” și „neconstrâns”, factori care sunt deosebit de relevanți în antrenament.modele deschise similare cu DVD-GAN de la DeepMind. (În domeniul învățării automate, există un termen „suprafitting”, care este folosit pentru a se referi la modele care se potrivesc prea mult cu un anumit set de date și, ca urmare, nu reușesc să prezică observațiile din date. viitorul în mod fiabil) .

Potrivit raportului echipei de cercetare, după ce a fost instruit continuu de sistemul de unități de procesare a tensoarelor de generația a treia de la Google pentru o perioadă de 12 până la 96 de ore, DVD-GAN este acum capabil să genereze videoclipuri pe cont propriu. Modelul dispune de aspecte complete de obiecte, mișcări și chiar și structuri complexe precum reflexiile pe suprafețele râurilor, patinoare... DVD-GAN a trebuit să „lupte” să creeze obiecte complexe în această zonă.rezoluție mai mare, unde mișcarea implică un număr mult mai mare de pixeli. Totuși, cercetătorii au remarcat că, după ce au fost evaluați pe UCF-101 (un set de date mai mic de 13.320 de videoclipuri cu acțiuni umane), mostrele video generate de DVD-GAN au obținut un scor bun. Scorul inițial este de 32,97 - deloc rău.

• Modelul AI al MIT poate captura relațiile dintre obiecte singur, cu date minime de antrenament

Eșantionul video creat de DVD-GAN a atins un scor inițial de 32,97

„În continuare, dorim să subliniem și mai mult beneficiile antrenării modelelor generative pe seturi de date video mari și complexe, cum ar fi Kinetic-600. Deși mai este mult de făcut înainte ca videoclipurile realiste să poată fi generate în mod constant într-o gamă nelimitată de setări, credem că DVD-GAN este piatra de temelie perfectă pentru a realiza acest vis”, a spus un reprezentant al companiei. echipa de cercetare.

Ce părere aveți despre modelul DVD-GAN AI al DeepMind? Vă rugăm să lăsați comentariile voastre mai jos!