Het AI-model van Disney genereert geanimeerde sequenties op basis van scripts

Realistisch gezien is het feit dat AI originele fragmenten kan maken van een of meer stukjes tekst geen seismisch nieuws in de technologiewereld. Vorig jaar hebben onderzoekers gedetailleerd beschreven hoe een systeem neurale netwerken exploiteert - lagen van wiskundige functies gemodelleerd naar biologische neurale netwerken (neuronen) - om fragmenten van informatie te creëren. De video is 32 frames lang en 64 x 64 pixels groot, gebaseerd op vele suggestieve beschrijvingen, zoals als “voetballen op het grasveld”. Volgens een nieuw artikel gepubliceerd op Arxiv.org zijn wetenschappers van Disney Research en Rutgers er echter in geslaagd om dit idee een stap verder te brengen met een kruiswoordraadsel AI-model. Van begin tot eind is het mogelijk om een ​​ruwe plot te creëren als evenals videobeschrijvingen van tekst uit scenario's. Concreet helpt het tekst-naar-animatiemodel van de wetenschappers animaties te maken zonder de noodzaak van annotatiegegevens - een voorbereidende stap die wordt gebruikt om beschrijvende invoertekst voor activiteiten te leveren.

• Kunstmatige intelligentie OpenAI versloeg het regerend wereldkampioen Dota 2-team

“Het automatisch genereren van animaties uit tekst in natuurlijke taal is een zeer nuttige technologie die op een aantal gebieden kan worden toegepast, zoals het schrijven van filmscripts of het maken van instructievideo’s. Deze AI-systemen zullen vooral waardevol zijn wanneer ze worden toegepast op scripting, omdat ze snellere iteratie, prototyping en proof of concept mogelijk maken. In dit onderzoek hebben we met succes een tekst-naar-animatiesysteem ontwikkeld dat complexe zinnen op bevredigende wijze kan verwerken. Het doel van dit AI-systeem is niet om schrijvers of scenarioschrijvers volledig te vervangen, maar om een ​​AI-assistent te creëren die in staat is om het werk van scenarioschrijvers effectief te ondersteunen en interessanter te maken”, aldus het onderzoeksteam.

Zoals de onderzoekers uitlegden, is het vertalen van tekst naar animatie geen eenvoudige taak. In feite hebben zowel zinnen (invoergegevens) als animaties (uitvoergegevens) geen vaste structuur. Dit is ook de reden waarom de meeste huidige tekst-naar-video-tools niet overweg kunnen met complexe zinspatronen. Om de beperkingen van de huidige systemen aan te pakken, heeft het onderzoeksteam een ​​modulair neuraal netwerk gebouwd dat een aantal componenten omvat, zoals: Een nieuwe module voor het parseren van scripts, die relevante tekst automatisch dynamisch isoleert van scènebeschrijvingen in het script; een natuurlijke taalverwerkingsmodule die complexe zinspatronen vereenvoudigt met behulp van een reeks taalregels en informatie uit de vereenvoudigde zinnen extraheert in vooraf gedefinieerde actierepresentaties; en een animatiemodule die verantwoordelijk is voor het omzetten van genoemde representaties in meerdere animatiereeksen.

• EU: AI-systemen moeten op een transparante en verantwoorde manier worden gebouwd en ingezet

Volgens de onderzoekers maakt deze vereenvoudigde aanpak het veel gemakkelijker om belangrijke scriptinformatie te extraheren, en zal hun systeem automatisch kunnen identificeren wanneer een stukje code een bepaalde syntactische structuur krijgt, en dit vervolgens ontleden en samenvoegen in eenvoudiger zinnen, en vervolgens het recursief verwerken totdat geen verdere vereenvoudiging meer mogelijk is. De volgende “coördinatiestap” zal worden toegepast op zinnen die dezelfde syntactische relatie hebben en tegelijkertijd dezelfde functionele rol vervullen. En ten slotte zal een woordenschatsimulator die overeenkomt met de acties die in zinnen worden beschreven, worden vereenvoudigd met 52 verschillende animaties (die kunnen worden uitgebreid tot 92 animaties met behulp van een synoniemenwoordenboek) in een vooraf gedefinieerde bibliotheek.

Een systeem genaamd Cardinal gebruikt deze animaties vervolgens als input voor acties en creëert previsualisaties in Unreal - een populaire videogame-engine ontwikkeld door Epic Games. Op basis van de vooraf gedefinieerde animatiebibliotheek worden de objecten en ook de modellen die deze kan gebruiken om karakters te maken, vooraf geladen, waardoor 3D-animatievideo's worden gemaakt die het verwerkte scenario nauw weergeven.

• AI-chatbots helpen bij het vinden van informatie over oplichting en fraude

Om dit superieure systeem te trainen, zijn de onderzoekers begonnen met het samenstellen van een database met scènebeschrijvingen die bestaat uit 996 scenario's, gebaseerd op meer dan 1.000 scripts uit vrij beschikbare bronnen, waaronder IMSDb, SimplyScripts en ScriptORama5. In totaal omvat dit corpus 525.708 beschrijvingen met 1.402.864 zinnen, waarvan 920.817 (ruim 40%) ten minste één werkwoord hebben dat een handeling beschrijft.

In een kwalitatief experiment vroegen de wetenschappers 22 deelnemers om 20 door het systeem gegenereerde animaties te beoordelen op een vijfpuntsschaal (bijvoorbeeld: wordt de video op de juiste wijze geanimeerd weergegeven gezien de tekstinhoud? Tekst?, of hoeveel tekstuele informatie werd in de video beschreven?). en hoeveel informatie in de video in de tekst werd vermeld), zei 68% van de deelnemers dat het systeem effectieve animaties creëerde. Een reële waarde uit de invoerscenario's - niet bijzonder hoog, maar zeer lovenswaardig.

Dat laat zien dat dit niet echt een perfect systeem is. In feite is de lijst met acties en de bijbehorende objecten niet uitputtend, en soms kan het lexicale vereenvoudigingsproces niet met succes complexe werkwoorden aan vergelijkbare animators toewijzen, of kan er slechts een paar eenvoudige zinnen worden gemaakt voor een werkwoord dat meerdere onderwerpen in de oorspronkelijke zin heeft. . Dit is echter nog een jonge studie en dergelijke beperkingen zijn volkomen begrijpelijk. De onderzoekers zijn van plan de bovengenoemde tekortkomingen in de nabije toekomst aan te pakken.

• Het AI-model van MIT kan op zichzelf relaties tussen objecten vastleggen met minimale trainingsgegevens

“Interne en externe evaluaties hebben redelijke prestaties van dit systeem aangetoond, en we wilden discoursinformatie benutten door de opeenvolging van acties te onderzoeken die in tekstfragmenten worden beschreven. Dit zal ook helpen bij het oplossen van onduidelijkheden in de tekst over acties. Bovendien kan ons systeem worden gebruikt om de gegevens te genereren die nodig zijn om soortgelijke end-to-end neurale systemen te trainen”, aldus het team.