AI-onderzoekers van de Carnegie Mellon University, Pennsylvania, VS hebben onlangs met succes een diep AI-model ontwikkeld, dat in staat is om talen (tekst, stem) met relatief hoge precisie te vertalen in bewegingen en gebaren.
Dit AI-model heet Joint Language-to-Pose (JL2P) en staat bekend als een methode die de mogelijkheid biedt om natuurlijke taal te combineren met effectieve 3D-pose-simulatiemodellen wanneer deze in de nabije toekomst in de praktijk wordt toegepast.
Dit AI-model heet Joint Language-to-Pose (JL2P).
Het vermogen van JL2P om houdingen en gebaren in de 3D-ruimte te analyseren en te simuleren, wordt grondig getraind via end-to-end programma's - een krachtige en effectieve benadering van programmeren. Het trainingsprogramma wordt 'opgesplitst' in individuele reeksen. Het AI-model zal korte, eenvoudige taken moeten voltooien voordat het over mag gaan naar complexere doelen.
Momenteel zijn de animatiesimulatiemogelijkheden van JL2P beperkt tot rudimentaire beelden (bestaande uit eenvoudige rechte lijnen), maar de mogelijkheid om mensachtige bewegingen te simuleren is gebaseerd op de taal van het model. Deze AI-visualisatie is relatief nauwkeurig en intuïtief. Het team is van mening dat modellen als JL2P op een dag robots kunnen helpen fysieke taken in de echte wereld uit te voeren die vergelijkbaar zijn met die van mensen, of kunnen helpen bij het creëren van virtuele geanimeerde karakters voor videogames en films.
De animatiesimulatiemogelijkheden van JL2P zijn beperkt tot rudimentaire, eenvoudige afbeeldingen
Eigenlijk is het idee om een AI-model te ontwikkelen met de mogelijkheid om taal in fysieke bewegingen te vertalen niet nieuw. Voordat Carnegie Mellon University JL2P introduceerde, ontwikkelde Microsoft ook met succes een model genaamd ObjGAN, met de taak om afbeeldingen en storyboards (een bord dat het verhaal schetst dat je in beeldvorm wilt vertellen) te schetsen op basis van taalkundige annotaties. Een ander Disney AI-model staat ook algemeen bekend om zijn vermogen om de woorden in het script te gebruiken om storyboards te maken. Of het meest bekende is Nvidia's GauGAN-model , dat een doodle, zoals gemaakt met een trackpad of Microsoft Paint, kan omzetten in slimme digitale schetsen met een extreem hoge esthetiek.
Terugkomend op JL2P: dit AI-model kan nu zeer nauwkeurig een aantal bewegingen simuleren, van eenvoudig tot relatief complex, zoals lopen of rennen, het bespelen van muziekinstrumenten (zoals gitaar of viool), door vooraf bepaalde instructies te volgen. controle (snel of langzaam).
- Succesvol een ‘denkbeeldig toetsenbord’ ontwikkeld voor touchscreens en VR, mogelijk gemaakt door AI
JL2P kan nu zeer nauwkeurig een aantal bewegingen simuleren, variërend van eenvoudig tot relatief complex
“We hebben het model eerst geoptimaliseerd om twee tijdstappen te voorspellen op basis van volledige zinnen. Deze eenvoudige taak kan het AI-model helpen om zeer korte houdingssequenties te leren simuleren, zoals beenbewegingen tijdens het lopen, handbewegingen tijdens het zwaaien, of lichaamshouding en houding bij het buigen. Zodra JL2P heeft geleerd hoe we dezelfde gebaren met hoge nauwkeurigheid kunnen simuleren, gaan we verder naar de volgende fase in het curriculum. Het model krijgt nu twee (aantallen) poses om tegelijkertijd te voorspellen”, aldus het onderzoeksteam van Carnegie Mellon University.
Simuleert de loophouding van een normaal persoon
Details over de werkwijze van JL2P en typische ‘werken’ werden voor het eerst gepresenteerd in een wetenschappelijk artikel dat op 2 juli op de website arXiv.org werd gepubliceerd, en zullen naar verwachting worden gepresenteerd door het panel van auteurs en onderzoekers van het CMU Chaitanya Ahuja Institute of Language Technology op 19 september, op het podium van de Internationale Conferentie over 3D Vision die plaatsvindt in Quebec, Canada.
Het onderzoeksteam beweert vol vertrouwen dat JL2P houding en fysieke bewegingen 9% nauwkeuriger kan simuleren dan een ander "topklasse" AI-model dat in 2018 door de AI-experts van SRI International is ontwikkeld.
JL2P simuleert de menselijke actie van opstaan met één hand
Product gemaakt door JL2P na training met de KIT motion-taaldataset (KIT Motion-Language Dataset).
JL2P simuleert de actie van het springen over obstakels en rennen
Deze mining-dataset, voor het eerst geïntroduceerd in 2016 door Performance Humanoid Technologies, Duitsland, is een combinatie van menselijke beweging met beschrijvingen in natuurlijke taal, waarbij 11 uur aan continue beweging één voor één in kaart wordt gebracht, opgenomen in meer dan 6.200 Engelse zinnen, elk ongeveer 8 woorden lang.