A dezvoltat cu succes un model AI care poate traduce limbajul în mișcări fizice

Cercetătorii AI de la Universitatea Carnegie Mellon, Pennsylvania, SUA au dezvoltat recent cu succes un model AI profund, capabil să traducă limbile (text, voce) în mișcări și gesturi fizică cu o precizie relativ mare.

Acest model AI se numește Joint Language-to-Pose (JL2P) și este cunoscut ca o metodă care oferă capacitatea de a combina limbajul natural cu modele eficiente de simulare a pozelor 3D atunci când este utilizat. aplicare practică în viitorul apropiat.

• Modelul AI al DeepMind poate învăța cum să creeze videoclipuri doar vizionând clipuri YouTube

Acest model AI se numește Joint Language-to-Pose (JL2P).

Capacitatea JL2P de a analiza și simula postura și gesturile în spațiul 3D este bine antrenată prin programe end-to-end - o abordare puternică și eficientă a programării.Programul de antrenament este „defalcat” în secvențe individuale. Modelul AI va trebui să finalizeze sarcini scurte și simple înainte de a i se permite să treacă la obiective mai complexe.

În prezent, capacitățile de simulare a animației JL2P sunt limitate la imagini rudimentare (formate din linii drepte simple), dar capacitatea de a simula mișcări asemănătoare omului se bazează pe limbajul modelului.Această vizualizare AI este relativ precisă și intuitivă. Echipa crede că modele precum JL2P ar putea ajuta, într-o zi, roboții să îndeplinească sarcini fizice din lumea reală, similare oamenilor, sau să ajute la crearea de personaje animate virtuale pentru jocuri video, precum și pentru filme.

• Dezvoltat cu succes biciclete autopropulsate folosind cipuri AI care pot raționa și învăța ca oamenii

Capacitățile de simulare a animației JL2P sunt limitate la imagini simple și rudimentare

De fapt, ideea de a dezvolta un model AI cu capacitatea de a traduce limbajul în mișcări fizice nu este nouă. Înainte ca Universitatea Carnegie Mellon să introducă JL2P, Microsoft a dezvoltat cu succes și un model numit ObjGAN, cu sarcina de a schița imagini și storyboard-uri (o tablă care schițează povestea pe care doriți să o spuneți sub formă de imagine) din adnotări lingvistice. Un alt model Disney AI este, de asemenea, cunoscut pe scară largă pentru capacitatea sa de a folosi cuvintele din scenariu pentru a crea storyboard-uri. Sau cel mai faimos este modelul GauGAN de la Nvidia , care poate transforma un doodle precum creat cu un trackpad sau Microsoft Paint în schițe digitale inteligente, cu o estetică extrem de înaltă.

Revenind la JL2P, acest model AI poate simula acum foarte precis o serie de mișcări de la simple la relativ complexe, cum ar fi mersul sau alergarea, cântatul la instrumente muzicale (cum ar fi chitara sau vioara), urmând instrucțiuni predeterminate, direcția (stânga sau dreapta) sau viteza. control (rapid sau lent).

• A dezvoltat cu succes o „tastatură imaginară” pentru ecrane tactile și VR, alimentată de AI

JL2P poate simula acum foarte precis o serie de mișcări, de la simple la relativ complexe

„Am optimizat mai întâi modelul pentru a prezice doi pași de timp pe baza propozițiilor complete. Această sarcină simplă poate ajuta modelul AI să învețe să simuleze secvențe de postură foarte scurte, cum ar fi mișcările picioarelor în timpul mersului, mișcările mâinilor în timp ce flutură sau postura și postura corpului când se înclină. Odată ce JL2P a învățat cum să simuleze aceleași gesturi cu mare precizie, trecem la următoarea etapă din curriculum. Modelului i se oferă acum două (numere) de ipostaze de prezis în același timp”, a spus echipa de cercetare a Universității Carnegie Mellon.

• AI știe deja să joace poker, învingându-i pe cei mai buni din lume într-un joc de 6 jucători

Simulează postura de alergare a unei persoane normale

Detalii despre modul de funcționare al JL2P, precum și despre „lucrările” tipice au fost prezentate pentru prima dată într-o lucrare științifică publicată pe 2 iulie pe site-ul arXiv.org și sunt de așteptat să fie prezentate de grupul de autori și cercetători de Institutul de Tehnologia Limbii CMU Chaitanya Ahuja pe 19 septembrie, pe scena Conferinței Internaționale privind Viziunea 3D care are loc la Quebec, Canada.

Echipa de cercetare afirmă cu încredere că JL2P poate simula postura și mișcările fizice cu 9% mai precis decât un alt model AI „de top” dezvoltat de experții AI ai SRI International în 2018.

• Deepfake-ul Samsung îl poate face pe călugărul întunecat Rasputin să cânte pe bune

JL2P simulează acțiunea umană de a sta în picioare cu o singură mână

Produs creat de JL2P după ce a fost instruit cu setul de date KIT Motion Language (KIT Motion-Language Dataset).

JL2P simulează acțiunea de a sări peste obstacole și de a alerga

Introdus pentru prima dată în 2016 de Performance Humanoid Technologies, Germania, acest set de date miniere este o combinație de mișcare umană cu descrieri în limbaj natural, cartografiind 11 ore de mișcare continuă pe rând oameni, înregistrate în peste 6.200 de propoziții în limba engleză, fiecare cu aproximativ 8 cuvinte. lung.