Modelul AI al Disney generează secvențe animate din scenarii

Realist vorbind, faptul că AI poate crea clipuri originale din una sau mai multe bucăți de text nu este o știre seismică în lumea tehnologiei. Anul trecut, cercetătorii au detaliat modul în care un sistem exploatează rețelele neuronale - straturi de funcții matematice modelate după rețelele neuronale biologice (neuroni) - pentru a crea fragmente de informații.Videoclipul are o lungime de 32 de cadre și o dimensiune de 64 × 64 de pixeli din multe descrieri evocatoare, cum ar fi ca „jucat fotbal pe gazon”. Cu toate acestea, potrivit unui nou articol publicat pe Arxiv.org, oamenii de știință de la Disney Research și Rutgers au reușit să ducă această idee cu un pas mai departe cu un model AI cu cuvinte încrucișate. De la început până la sfârșit, este posibil să se creeze un complot brut ca precum și descrieri video ale textului din scenarii. Mai exact, modelul text-to-animation al oamenilor de știință ajută la crearea de animații fără a fi nevoie de date de adnotare - un pas preliminar care este folosit pentru a furniza text descriptiv de intrare pentru activități.

• Inteligenta artificiala OpenAI a invins echipa campioana mondiala in curs Dota 2

„Generarea automată a animației din text în limbaj natural este o tehnologie foarte utilă care poate fi aplicată într-o serie de domenii, cum ar fi scrierea de scenarii de film sau crearea de videoclipuri cu instrucțiuni. Aceste sisteme AI vor fi deosebit de valoroase atunci când sunt aplicate la scripting, permițând o iterație mai rapidă, prototipare și demonstrarea conceptului. În această cercetare, am dezvoltat cu succes un sistem text-to-animation capabil să gestioneze în mod satisfăcător propoziții complexe. Scopul acestui sistem AI nu este de a înlocui complet scriitorii sau scenariștii, ci de a crea un asistent AI capabil să sprijine eficient și să facă munca scenariștilor mai ușoară, mai interesantă”, a spus echipa de cercetare.

După cum au explicat cercetătorii, traducerea textului în animație nu este o sarcină simplă. De fapt, atât propozițiile (date de intrare), cât și animațiile (date de ieșire) nu au o structură fixă. Acesta este, de asemenea, motivul pentru care majoritatea instrumentelor actuale de transformare a textului în video nu pot gestiona tipare complexe de propoziții. Pentru a aborda limitările sistemelor actuale, echipa de cercetare a construit o rețea neuronală modulară care include o serie de componente, cum ar fi: Un nou modul de analizare a scripturilor, care izolează automat în mod dinamic textul relevant din descrierile scenei din scenariu; un modul de procesare a limbajului natural care simplifică tiparele complexe de propoziții folosind un set de reguli de limbaj și extrage informații din propozițiile simplificate în reprezentări de acțiuni predefinite; şi un modul de animaţie responsabil pentru convertirea reprezentărilor menţionate în secvenţe de animaţie multiple.

• UE: sistemele de inteligență artificială ar trebui să fie construite și implementate într-un mod transparent și responsabil

Potrivit cercetătorilor, această abordare simplificată face mult mai ușoară extragerea informațiilor din scriptul cheie, iar sistemul lor va fi capabil să identifice automat când o bucată de cod are o anumită structură sintactică, apoi să o descompună și să o adună în propoziții mai simple și apoi procesându-l recursiv până când nu mai este posibilă nicio simplificare. Următorul „pas de coordonare” va fi aplicat propozițiilor care au aceeași relație sintactică și în același timp au același rol funcțional. Și în final, un simulator de vocabular care se potrivește cu acțiunile descrise în propoziții va fi simplificat cu 52 de animații diferite (care pot fi extinse la 92 de animații folosind un dicționar de sinonime).înțeles) într-o bibliotecă predefinită.

Un sistem numit Cardinal folosește apoi aceste animații ca intrare pentru acțiuni și creează previzualizări în Unreal - un motor popular de jocuri video dezvoltat de Epic Games. Pe baza bibliotecii de animații predefinite, obiectele și, de asemenea, modelele pe care le poate folosi pentru a crea personaje vor fi preîncărcate, contribuind astfel la crearea videoclipurilor de animație 3D care descriu îndeaproape scenariul procesat.

• Chatbot-ii AI ajută la găsirea de informații despre escrocherii și fraude

Pentru a antrena acest sistem superior, cercetătorii au început să alcătuiască o bază de date de descriere a scenei alcătuită din 996 de scenarii, care se bazează pe peste 1.000 de scripturi preluate din surse disponibile gratuit, inclusiv IMSDb, SimplyScripts și ScriptORama5. În total, acest corpus include 525.708 descrieri care conțin 1.402.864 de propoziții, dintre care 920.817 (mai mult de 40%) au cel puțin un verb care descrie o acțiune.

Într-un experiment calitativ, oamenii de știință au cerut 22 de participanți să evalueze 20 de animații generate de sistem pe o scară de 5 puncte (de exemplu, videoclipul este prezentat animat corespunzător având în vedere conținutul textului? textul? sau câte informații textuale au fost descrise în videoclip. și câte informații din videoclip au fost menționate în text), 68% dintre participanți au spus că sistemul a creat animații eficiente.valoare justă din scenariile de intrare - nu o rată deosebit de mare, dar foarte lăudabilă.

Asta arată că acesta nu este un sistem cu adevărat perfect. De fapt, lista acțiunilor și a obiectelor sale nu este exhaustivă și, uneori, procesul de simplificare lexicală nu poate mapa cu succes verbe complexe la animatori similari, sau se pot crea doar câteva propoziții simple pentru un verb care are mai multe subiecte în propoziția originală. . Cu toate acestea, acesta este încă un studiu tânăr și astfel de limitări sunt complet de înțeles. Cercetătorii intenționează să abordeze deficiențele de mai sus în viitorul apropiat.

• Modelul AI al MIT poate captura relațiile dintre obiecte singur, cu date minime de antrenament

„Evaluările interne și externe au arătat performanța rezonabilă a acestui sistem și am dorit să valorificăm informațiile discursului prin examinarea secvenței de acțiuni descrise în fragmente de text. Acest lucru va ajuta, de asemenea, la rezolvarea ambiguităților din text cu privire la acțiuni. În plus, sistemul nostru poate fi folosit pentru a genera datele necesare pentru a antrena sisteme neuronale similare de la capăt la capăt”, a spus echipa.