Succesvol een AI-model ontwikkeld dat taal kan vertalen naar fysieke bewegingen

Succesvol een AI-model ontwikkeld dat taal kan vertalen naar fysieke bewegingen

AI-onderzoekers van de Carnegie Mellon University, Pennsylvania, VS hebben onlangs met succes een diep AI-model ontwikkeld, dat in staat is om talen (tekst, stem) met relatief hoge precisie te vertalen in bewegingen en gebaren.

Dit AI-model heet Joint Language-to-Pose (JL2P) en staat bekend als een methode die de mogelijkheid biedt om natuurlijke taal te combineren met effectieve 3D-pose-simulatiemodellen wanneer deze in de nabije toekomst in de praktijk wordt toegepast.

Succesvol een AI-model ontwikkeld dat taal kan vertalen naar fysieke bewegingenDit AI-model heet Joint Language-to-Pose (JL2P).

Het vermogen van JL2P om houdingen en gebaren in de 3D-ruimte te analyseren en te simuleren, wordt grondig getraind via end-to-end programma's - een krachtige en effectieve benadering van programmeren. Het trainingsprogramma wordt 'opgesplitst' in individuele reeksen. Het AI-model zal korte, eenvoudige taken moeten voltooien voordat het over mag gaan naar complexere doelen.

Momenteel zijn de animatiesimulatiemogelijkheden van JL2P beperkt tot rudimentaire beelden (bestaande uit eenvoudige rechte lijnen), maar de mogelijkheid om mensachtige bewegingen te simuleren is gebaseerd op de taal van het model. Deze AI-visualisatie is relatief nauwkeurig en intuïtief. Het team is van mening dat modellen als JL2P op een dag robots kunnen helpen fysieke taken in de echte wereld uit te voeren die vergelijkbaar zijn met die van mensen, of kunnen helpen bij het creëren van virtuele geanimeerde karakters voor videogames en films.

Succesvol een AI-model ontwikkeld dat taal kan vertalen naar fysieke bewegingenDe animatiesimulatiemogelijkheden van JL2P zijn beperkt tot rudimentaire, eenvoudige afbeeldingen

Eigenlijk is het idee om een ​​AI-model te ontwikkelen met de mogelijkheid om taal in fysieke bewegingen te vertalen niet nieuw. Voordat Carnegie Mellon University JL2P introduceerde, ontwikkelde Microsoft ook met succes een model genaamd ObjGAN, met de taak om afbeeldingen en storyboards (een bord dat het verhaal schetst dat je in beeldvorm wilt vertellen) te schetsen op basis van taalkundige annotaties. Een ander Disney AI-model staat ook algemeen bekend om zijn vermogen om de woorden in het script te gebruiken om storyboards te maken. Of het meest bekende is Nvidia's GauGAN-model , dat een doodle, zoals gemaakt met een trackpad of Microsoft Paint, kan omzetten in slimme digitale schetsen met een extreem hoge esthetiek.

Terugkomend op JL2P: dit AI-model kan nu zeer nauwkeurig een aantal bewegingen simuleren, van eenvoudig tot relatief complex, zoals lopen of rennen, het bespelen van muziekinstrumenten (zoals gitaar of viool), door vooraf bepaalde instructies te volgen. controle (snel of langzaam).

  • Succesvol een ‘denkbeeldig toetsenbord’ ontwikkeld voor touchscreens en VR, mogelijk gemaakt door AI

Succesvol een AI-model ontwikkeld dat taal kan vertalen naar fysieke bewegingenJL2P kan nu zeer nauwkeurig een aantal bewegingen simuleren, variërend van eenvoudig tot relatief complex

“We hebben het model eerst geoptimaliseerd om twee tijdstappen te voorspellen op basis van volledige zinnen. Deze eenvoudige taak kan het AI-model helpen om zeer korte houdingssequenties te leren simuleren, zoals beenbewegingen tijdens het lopen, handbewegingen tijdens het zwaaien, of lichaamshouding en houding bij het buigen. Zodra JL2P heeft geleerd hoe we dezelfde gebaren met hoge nauwkeurigheid kunnen simuleren, gaan we verder naar de volgende fase in het curriculum. Het model krijgt nu twee (aantallen) poses om tegelijkertijd te voorspellen”, aldus het onderzoeksteam van Carnegie Mellon University.

Succesvol een AI-model ontwikkeld dat taal kan vertalen naar fysieke bewegingenSimuleert de loophouding van een normaal persoon

Details over de werkwijze van JL2P en typische ‘werken’ werden voor het eerst gepresenteerd in een wetenschappelijk artikel dat op 2 juli op de website arXiv.org werd gepubliceerd, en zullen naar verwachting worden gepresenteerd door het panel van auteurs en onderzoekers van het CMU Chaitanya Ahuja Institute of Language Technology op 19 september, op het podium van de Internationale Conferentie over 3D Vision die plaatsvindt in Quebec, Canada.

Het onderzoeksteam beweert vol vertrouwen dat JL2P houding en fysieke bewegingen 9% nauwkeuriger kan simuleren dan een ander "topklasse" AI-model dat in 2018 door de AI-experts van SRI International is ontwikkeld.

Succesvol een AI-model ontwikkeld dat taal kan vertalen naar fysieke bewegingenJL2P simuleert de menselijke actie van opstaan ​​met één hand

Product gemaakt door JL2P na training met de KIT motion-taaldataset (KIT Motion-Language Dataset).

Succesvol een AI-model ontwikkeld dat taal kan vertalen naar fysieke bewegingenJL2P simuleert de actie van het springen over obstakels en rennen

Deze mining-dataset, voor het eerst geïntroduceerd in 2016 door Performance Humanoid Technologies, Duitsland, is een combinatie van menselijke beweging met beschrijvingen in natuurlijke taal, waarbij 11 uur aan continue beweging één voor één in kaart wordt gebracht, opgenomen in meer dan 6.200 Engelse zinnen, elk ongeveer 8 woorden lang.


De ChatGPT-taskforce zal door Europa worden opgericht

De ChatGPT-taskforce zal door Europa worden opgericht

Het orgaan dat de nationale privacywaakhonden van Europa verenigt, zei donderdag dat het een taskforce heeft opgericht die zich specifiek bezighoudt met ChatGPT

AI voorspelt het tijdstip van de menselijke dood met een nauwkeurigheid van 78%

AI voorspelt het tijdstip van de menselijke dood met een nauwkeurigheid van 78%

Deense en Amerikaanse wetenschappers hebben samengewerkt om een ​​AI-systeem te ontwikkelen genaamd life2vec, dat in staat is om het tijdstip van menselijke dood met hoge nauwkeurigheid te voorspellen.

AI voorspelt urinewegaandoeningen alleen al op basis van het geluid van urine

AI voorspelt urinewegaandoeningen alleen al op basis van het geluid van urine

Een AI-algoritme genaamd Audioflow kan naar het geluid van het plassen luisteren om abnormale stromingen en bijbehorende gezondheidsproblemen van de patiënt effectief en met succes te identificeren.

Barmannen opgelet: deze robot kan in slechts 1 minuut een cocktail mixen

Barmannen opgelet: deze robot kan in slechts 1 minuut een cocktail mixen

Door de vergrijzing en de afnemende bevolking van Japan heeft het land een aanzienlijk aantal jonge werknemers nodig, vooral in de dienstensector.

Honderden mensen waren gedesillusioneerd toen ze hoorden dat het meisje van wie ze hielden een product van AI was

Honderden mensen waren gedesillusioneerd toen ze hoorden dat het meisje van wie ze hielden een product van AI was

Een Reddit-gebruiker genaamd u/LegalBeagle1966 is een van de vele gebruikers die verliefd zijn op Claudia, een filmsterachtig meisje dat vaak verleidelijke selfies deelt, zelfs naakte, op dit platform.

Nog twaalf potentiële bedrijven sluiten zich aan bij de AI-alliantie van Microsoft.

Nog twaalf potentiële bedrijven sluiten zich aan bij de AI-alliantie van Microsoft.

Microsoft heeft zojuist aangekondigd dat nog twaalf technologiebedrijven zullen deelnemen aan zijn AI for Good-programma.

AI herschept Dragon Ball-personages in vlees en bloed

AI herschept Dragon Ball-personages in vlees en bloed

Gebruiker @mortecouille92 heeft de kracht van de grafische ontwerptool Midjourney aan het werk gezet en uniek realistische versies gemaakt van beroemde Dragon Ball-personages zoals Goku, Vegeta, Bulma en oudere Kame.

7 technieken om ChatGPT-reacties te verbeteren

7 technieken om ChatGPT-reacties te verbeteren

Door enkele voorwaarden toe te voegen of enkele scenario's in te stellen, kan ChatGPT relevantere antwoorden op uw vragen geven. Laten we eens kijken naar enkele manieren waarop u de kwaliteit van uw ChatGPT-reacties kunt verbeteren.

Bewonder de prachtige schilderijen getekend door kunstmatige intelligentie

Bewonder de prachtige schilderijen getekend door kunstmatige intelligentie

Midjourney is een kunstmatig intelligentiesysteem dat de laatste tijd voor ‘koorts’ zorgt in de online community en de kunstenaarswereld vanwege zijn buitengewoon mooie schilderijen die niet onderdoen voor die van echte kunstenaars.

Dit AI-model was een van de eerste ‘experts’ die nieuws ontdekte over de uitbraak van Wuhan-longontsteking.

Dit AI-model was een van de eerste ‘experts’ die nieuws ontdekte over de uitbraak van Wuhan-longontsteking.

Dagen nadat China de uitbraak had aangekondigd, bleef het AI-systeem van BlueDot, met toegang tot wereldwijde gegevens over de verkoop van vliegtickets, nauwkeurig de verspreiding van het Wuhan Corona-virus naar Bangkok, Seoul, Taipei en Tokio voorspellen.