Sviluppato con successo un modello di intelligenza artificiale in grado di tradurre il linguaggio in movimenti fisici

I ricercatori di intelligenza artificiale della Carnegie Mellon University, Pennsylvania, USA hanno recentemente sviluppato con successo un modello di intelligenza artificiale profonda, in grado di tradurre i linguaggi (testo, voce) in movimenti e gesti fisici con una precisione relativamente elevata.

Questo modello di intelligenza artificiale è denominato Joint Language-to-Pose (JL2P) ed è noto come un metodo che offre la capacità di combinare il linguaggio naturale con efficaci modelli di simulazione di posa 3D quando verrà utilizzato in un'applicazione pratica nel prossimo futuro.

• Il modello AI di DeepMind può imparare come creare video semplicemente guardando le clip di YouTube

Questo modello di intelligenza artificiale è denominato Joint Language-to-Pose (JL2P).

La capacità di JL2P di analizzare e simulare la postura e i gesti nello spazio 3D viene allenata in modo approfondito attraverso programmi end-to-end: un approccio potente ed efficace alla programmazione. Il programma di allenamento è "scomposto" in sequenze individuali. Il modello AI dovrà completare compiti brevi e semplici prima di poter passare a obiettivi più complessi.

Attualmente, le capacità di simulazione dell'animazione di JL2P sono limitate a immagini rudimentali (costituite da semplici linee rette), ma la capacità di simulare movimenti simili a quelli umani si basa sul linguaggio del modello. Questa visualizzazione AI è relativamente accurata e intuitiva. Il team ritiene che modelli come JL2P potrebbero un giorno aiutare i robot a svolgere compiti fisici nel mondo reale simili agli esseri umani, o aiutare nella creazione di personaggi animati virtuali per videogiochi e film.

• Biciclette semoventi sviluppate con successo utilizzando chip AI in grado di ragionare e apprendere come gli esseri umani

Le capacità di simulazione dell'animazione di JL2P sono limitate a immagini semplici e rudimentali

In realtà, l’idea di sviluppare un modello di intelligenza artificiale in grado di tradurre il linguaggio in movimenti fisici non è nuova. Prima che la Carnegie Mellon University introducesse JL2P, Microsoft aveva sviluppato con successo anche un modello chiamato ObjGAN, con il compito di disegnare immagini e storyboard (una tavola che abbozza la storia che vuoi raccontare sotto forma di immagine) da annotazioni linguistiche. Un altro modello di intelligenza artificiale Disney è ampiamente noto anche per la sua capacità di utilizzare le parole nella sceneggiatura per creare storyboard. Oppure il più famoso è il modello GauGAN di Nvidia , che può trasformare uno scarabocchio creato con un trackpad o Microsoft Paint in schizzi digitali intelligenti con un'estetica estremamente elevata.

Tornando a JL2P, questo modello AI può ora simulare in modo molto accurato una serie di movimenti da semplici a relativamente complessi come camminare o correre, suonare strumenti musicali (come chitarra o violino), seguire istruzioni predeterminate, direzione (sinistra o destra) o velocità. controllo (veloce o lento).

• Sviluppata con successo una "tastiera immaginaria" per touch screen e VR, basata sull'intelligenza artificiale

JL2P ora può simulare in modo molto accurato una serie di movimenti che vanno da semplici a relativamente complessi

“Abbiamo innanzitutto ottimizzato il modello per prevedere due fasi temporali basate su frasi complete. Questo semplice compito può aiutare il modello AI a imparare a simulare sequenze di posture molto brevi, come i movimenti delle gambe mentre si cammina, i movimenti delle mani mentre si agita o la postura del corpo e la postura quando ci si inchina. Una volta che JL2P ha imparato a simulare gli stessi gesti con elevata precisione, si passa alla fase successiva del curriculum. Al modello vengono ora forniti due (numeri) di pose da prevedere contemporaneamente”, ha affermato il gruppo di ricerca della Carnegie Mellon University.

• L'intelligenza artificiale sa già come giocare a poker, battendo i migliori del mondo in una partita a 6 giocatori

Simula la postura di corsa di una persona normale

I dettagli del funzionamento di JL2P e i "lavori" tipici sono stati presentati per la prima volta in un articolo scientifico pubblicato il 2 luglio sul sito arXiv.org, e si prevede che saranno presentati dal panel di autori e ricercatori di il CMU Chaitanya Ahuja Institute of Language Technology il 19 settembre, sul palco della Conferenza internazionale sulla visione 3D che si terrà in Quebec, Canada.

Il team di ricerca afferma con sicurezza che JL2P può simulare la postura e i movimenti fisici con una precisione del 9% maggiore rispetto a un altro modello di intelligenza artificiale di "primo livello" sviluppato dagli esperti di intelligenza artificiale di SRI International nel 2018.

• Il deepfake di Samsung può far cantare per davvero il monaco oscuro Rasputin

JL2P simula l'azione umana di alzarsi in piedi con una mano

Prodotto creato da JL2P dopo essere stato addestrato con il set di dati del linguaggio di movimento KIT (KIT Motion-Language Dataset).

JL2P simula l'azione di saltare sopra gli ostacoli e correre

Introdotto per la prima volta nel 2016 da Performance Humanoid Technologies, Germania, questo set di dati minerari è una combinazione di movimento umano con descrizioni in linguaggio naturale, mappando 11 ore di movimento continuo una alla volta. persone, registrate in più di 6.200 frasi inglesi, ciascuna di circa 8 parole lungo.