Développement réussi dun modèle dIA capable de traduire le langage en mouvements physiques

Des chercheurs en IA de l'Université Carnegie Mellon, en Pennsylvanie, aux États-Unis, ont récemment développé avec succès un modèle d'IA profond, capable de traduire les langages (texte, voix) en mouvements et en gestes physiques avec une précision relativement élevée.

Ce modèle d'IA s'appelle Joint Language-to-Pose (JL2P) et est connu comme une méthode qui offre la possibilité de combiner le langage naturel avec des modèles de simulation de pose 3D efficaces lorsqu'elle sera utilisée dans une application pratique dans un avenir proche.

• Le modèle d'IA de DeepMind peut apprendre à créer des vidéos simplement en regardant des clips YouTube

Ce modèle d'IA s'appelle Joint Language-to-Pose (JL2P).

La capacité de JL2P à analyser et simuler la posture et les gestes dans l'espace 3D est minutieusement entraînée à travers des programmes de bout en bout - une approche puissante et efficace de la programmation. Le programme de formation est « décomposé » en séquences individuelles. Le modèle d’IA devra accomplir des tâches courtes et simples avant de pouvoir passer à des objectifs plus complexes.

Actuellement, les capacités de simulation d'animation de JL2P sont limitées à des images rudimentaires (constituées de simples lignes droites), mais la capacité de simuler des mouvements humains repose sur le langage du modèle. Cette visualisation IA est relativement précise et intuitive. L'équipe pense que des modèles comme JL2P pourraient un jour aider les robots à effectuer des tâches physiques réelles similaires à celles des humains, ou aider à la création de personnages virtuels animés pour les jeux vidéo ainsi que pour les films.

• Développement réussi de vélos automoteurs utilisant des puces IA capables de raisonner et d'apprendre comme les humains

Les capacités de simulation d'animation de JL2P sont limitées à des images simples et rudimentaires

En fait, l’idée de développer un modèle d’IA capable de traduire le langage en mouvements physiques n’est pas nouvelle. Avant que l'Université Carnegie Mellon n'introduise JL2P, Microsoft a également développé avec succès un modèle appelé ObjGAN, avec pour tâche de dessiner des images et des storyboards (un tableau qui dessine l'histoire que vous souhaitez raconter sous forme d'image) à partir d'annotations linguistiques. Un autre modèle d'IA de Disney est également largement connu pour sa capacité à utiliser les mots du script pour créer des storyboards. Le plus célèbre est le modèle GauGAN de Nvidia , qui peut transformer un doodle créé avec un trackpad ou Microsoft Paint en croquis numériques intelligents dotés d'une esthétique extrêmement élevée.

Pour en revenir à JL2P, ce modèle d'IA peut désormais simuler très précisément un certain nombre de mouvements du plus simple au relativement complexe comme marcher ou courir, jouer d'instruments de musique (comme la guitare ou le violon), suivre des instructions prédéterminées de direction (gauche ou droite) ou de vitesse. contrôle (rapide ou lent).

• Développement réussi d'un "clavier imaginaire" pour écrans tactiles et VR, alimenté par l'IA

JL2P peut désormais simuler très précisément un certain nombre de mouvements allant du simple au relativement complexe.

« Nous avons d’abord optimisé le modèle pour prédire deux pas de temps basés sur des phrases complètes. Cette tâche simple peut aider le modèle d'IA à apprendre à simuler des séquences de postures très courtes, telles que les mouvements des jambes en marchant, les mouvements des mains en agitant, ou la posture et la posture du corps en s'inclinant. Une fois que JL2P a appris à simuler les mêmes gestes avec une grande précision, on passe à l'étape suivante du cursus. Le modèle dispose désormais de deux (nombres) de poses à prédire en même temps », a déclaré l'équipe de recherche de l'Université Carnegie Mellon.

• L'IA sait déjà jouer au poker et bat les meilleurs du monde dans une partie à 6 joueurs

Simule la posture de course d'une personne normale

Les détails du mode de fonctionnement du JL2P ainsi que des « travaux » typiques ont été présentés pour la première fois dans un article scientifique publié le 2 juillet sur le site arXiv.org, et devraient être présentés par le panel d'auteurs et de chercheurs de l'Institut de technologie du langage CMU Chaitanya Ahuja le 19 septembre, sur la scène de la Conférence internationale sur la vision 3D qui se déroule à Québec, Canada.

L'équipe de recherche affirme avec confiance que JL2P peut simuler la posture et les mouvements physiques avec 9 % de plus de précision qu'un autre modèle d'IA « de premier ordre » développé par les experts en IA de SRI International en 2018.

• Le deepfake de Samsung peut faire chanter pour de vrai le moine noir Raspoutine

JL2P simule l'action humaine consistant à se lever d'une seule main

Produit créé par JL2P après avoir été formé avec l'ensemble de données de langage de mouvement KIT (KIT Motion-Language Dataset).

JL2P simule l'action de sauter par-dessus des obstacles et de courir

Introduit pour la première fois en 2016 par Performance Humanoid Technologies, Allemagne, cet ensemble de données minières est une combinaison de mouvements humains avec des descriptions en langage naturel, cartographiant 11 heures de mouvement continu, une par une, enregistrées dans plus de 6 200 phrases en anglais, chacune d'environ 8 mots. long.