Il modello AI della Disney genera sequenze animate da script

Realisticamente parlando, il fatto che l’intelligenza artificiale possa creare clip originali da uno o più pezzi di testo non è una novità sismica nel mondo della tecnologia. L'anno scorso, i ricercatori hanno spiegato in dettaglio come un sistema sfrutta le reti neurali - strati di funzioni matematiche modellate sulle reti neurali biologiche (neuroni) - per creare frammenti di informazioni. Il video è lungo 32 fotogrammi e ha una dimensione di 64 × 64 pixel, da molte descrizioni evocative, come come “giocare a pallone sul prato”. Tuttavia, secondo un nuovo articolo pubblicato su Arxiv.org, gli scienziati della Disney Research e della Rutgers sono riusciti a portare quest'idea un ulteriore passo avanti con un modello di intelligenza artificiale basato su cruciverba, in cui è possibile creare una trama approssimativa dall'inizio alla fine. nonché descrizioni video di testi tratti da sceneggiature. Nello specifico, il modello da testo ad animazione degli scienziati aiuta a creare animazioni senza la necessità di dati di annotazione, un passaggio preliminare utilizzato per fornire testo di input descrittivo per le attività.

• L'intelligenza artificiale OpenAI ha sconfitto la squadra campione del mondo in carica di Dota 2

“La generazione automatica di animazioni da testo in linguaggio naturale è una tecnologia molto utile che può essere applicata in numerosi campi, come la scrittura di sceneggiature di film o la creazione di video didattici. Questi sistemi di intelligenza artificiale saranno particolarmente preziosi se applicati allo scripting consentendo iterazioni, prototipazioni e prove di concetto più rapide. In questa ricerca, abbiamo sviluppato con successo un sistema di conversione del testo in animazione in grado di gestire frasi complesse in modo soddisfacente. Lo scopo di questo sistema di intelligenza artificiale non è quello di sostituire completamente scrittori o sceneggiatori, ma di creare un assistente AI in grado di supportare efficacemente e rendere il lavoro degli sceneggiatori più semplice e più interessante”, ha condiviso il team di ricerca.

Come hanno spiegato i ricercatori, tradurre il testo in animazione non è un compito semplice. Infatti, sia le frasi (dati di input) che le animazioni (dati di output) non hanno una struttura fissa. Questo è anche il motivo per cui la maggior parte degli attuali strumenti di conversione testo-video non sono in grado di gestire modelli di frasi complessi. Per affrontare i limiti dei sistemi attuali, il gruppo di ricerca ha costruito una rete neurale modulare che include una serie di componenti come: Un nuovo modulo di analisi dello script, che isola automaticamente e dinamicamente il testo rilevante dalle descrizioni della scena nello script; un modulo di elaborazione del linguaggio naturale che semplifica modelli di frasi complessi utilizzando una serie di regole linguistiche ed estrae informazioni dalle frasi semplificate in rappresentazioni di azioni predefinite; e un modulo di animazione responsabile della conversione di dette rappresentazioni in sequenze di animazione multiple.

• UE: i sistemi di intelligenza artificiale dovrebbero essere costruiti e diffusi in modo trasparente e responsabile

Secondo i ricercatori, questo approccio semplificato rende molto più semplice estrarre le informazioni chiave sullo script, e il loro sistema sarà in grado di identificare automaticamente quando un pezzo di codice ha una particolare struttura sintattica, quindi scomporlo e assemblarlo in frasi più semplici, e poi elaborandolo ricorsivamente fino a quando non è possibile alcuna ulteriore semplificazione. La successiva “fase di coordinamento” verrà applicata alle frasi che hanno la stessa relazione sintattica e allo stesso tempo svolgono lo stesso ruolo funzionale. Infine, un simulatore di vocabolario che corrisponde alle azioni descritte nelle frasi sarà semplificato con 52 diverse animazioni (che possono essere espanse a 92 animazioni utilizzando un dizionario dei sinonimi) in una libreria predefinita.

Un sistema chiamato Cardinal utilizza quindi queste animazioni come input per le azioni e crea previsualizzazioni in Unreal, un popolare motore di videogiochi sviluppato da Epic Games. Sulla base della libreria di animazioni predefinita, verranno precaricati gli oggetti e anche i modelli che potrà utilizzare per creare i personaggi, contribuendo così a creare video di animazione 3D che descrivono fedelmente lo scenario elaborato.

• I chatbot AI aiutano a trovare informazioni su truffe e frodi

Per addestrare questo sistema superiore, i ricercatori hanno iniziato a compilare un database di descrizione delle scene composto da 996 scenari, attingendo da più di 1.000 script presi da fonti liberamente disponibili, tra cui IMSDb, SimplyScripts e ScriptORama5. In totale, questo corpus comprende 525.708 descrizioni contenenti 1.402.864 frasi, 920.817 (più del 40%) delle quali contengono almeno un verbo che descrive un'azione.

In un esperimento qualitativo, gli scienziati hanno chiesto a 22 partecipanti di valutare 20 animazioni generate dal sistema su una scala a 5 punti (ad esempio, il video mostrato è animato in modo appropriato rispetto al contenuto del testo? Testo?, o quante informazioni testuali sono state descritte nel video). e quante informazioni nel video sono state menzionate nel testo), il 68% dei partecipanti ha affermato che il sistema ha creato animazioni efficaci, con un valore equo dagli scenari di input - un tasso non particolarmente elevato ma molto encomiabile.

Ciò dimostra che questo non è un sistema veramente perfetto. In effetti, l'elenco delle azioni e dei suoi oggetti non è esaustivo e talvolta il processo di semplificazione lessicale non riesce a mappare con successo verbi complessi ad animatori simili, oppure è possibile creare solo poche frasi semplici per un verbo che ha più soggetti nella frase originale. . Tuttavia, questo è ancora uno studio giovane e tali limitazioni sono completamente comprensibili. I ricercatori intendono affrontare le carenze di cui sopra nel prossimo futuro.

• Il modello di intelligenza artificiale del MIT è in grado di acquisire autonomamente le relazioni tra gli oggetti con dati di addestramento minimi

“Le valutazioni interne ed esterne hanno mostrato prestazioni ragionevoli di questo sistema e volevamo sfruttare le informazioni del discorso esaminando la sequenza di azioni descritte nei frammenti di testo. Ciò aiuterà anche a risolvere le ambiguità presenti nel testo riguardo alle azioni. Inoltre, il nostro sistema può essere utilizzato per generare i dati necessari per addestrare sistemi neurali end-to-end simili”, ha affermato il team.