Desarrolló con éxito un modelo de inteligencia artificial que puede traducir el lenguaje en movimientos físicos.

Investigadores de IA de la Universidad Carnegie Mellon, Pensilvania, EE. UU., desarrollaron recientemente con éxito un modelo de IA profundo, capaz de traducir lenguajes (texto, voz) en movimientos y física con una precisión relativamente alta.

Este modelo de IA se denomina Joint Language-to-Pose (JL2P) y se conoce como un método que proporciona la capacidad de combinar el lenguaje natural con modelos efectivos de simulación de poses en 3D cuando se utilice en una aplicación práctica en un futuro próximo.

• El modelo de IA de DeepMind puede aprender a crear vídeos con solo mirar clips de YouTube

Este modelo de IA se denomina Joint Language-to-Pose (JL2P).

La capacidad de JL2P para analizar y simular posturas y gestos en el espacio 3D se entrena minuciosamente a través de programas de principio a fin: un enfoque de programación potente y eficaz. El programa de formación se "divide" en secuencias individuales. El modelo de IA tendrá que completar tareas breves y sencillas antes de poder pasar a objetivos más complejos.

Actualmente, las capacidades de simulación de animación de JL2P se limitan a imágenes rudimentarias (compuestas de líneas rectas simples), pero la capacidad de simular movimientos similares a los humanos se basa en el lenguaje del modelo. Esta visualización de IA es relativamente precisa e intuitiva. El equipo cree que modelos como JL2P algún día podrían ayudar a los robots a realizar tareas físicas del mundo real similares a las de los humanos, o ayudar en la creación de personajes animados virtuales para videojuegos y películas.

• Bicicletas autopropulsadas desarrolladas con éxito utilizando chips de inteligencia artificial que pueden razonar y aprender como humanos

Las capacidades de simulación de animación de JL2P se limitan a imágenes simples y rudimentarias.

En realidad, la idea de desarrollar un modelo de IA con la capacidad de traducir el lenguaje en movimientos físicos no es nueva. Antes de que la Universidad Carnegie Mellon presentara JL2P, Microsoft también desarrolló con éxito un modelo llamado ObjGAN, con la tarea de esbozar imágenes y guiones gráficos (un tablero que esboza la historia que se desea contar en forma de imagen) a partir de anotaciones lingüísticas. Otro modelo de IA de Disney también es ampliamente conocido por su capacidad de utilizar las palabras del guión para crear guiones gráficos. O el más famoso es el modelo GauGAN de Nvidia , que puede convertir un garabato creado con un trackpad o Microsoft Paint en bocetos digitales inteligentes con una estética extremadamente alta.

Volviendo a JL2P, este modelo de IA ahora puede simular con mucha precisión una serie de movimientos, desde simples hasta relativamente complejos, como caminar o correr, tocar instrumentos musicales (como la guitarra o el violín), seguir instrucciones predeterminadas, dirección (izquierda o derecha) o velocidad. control (rápido o lento).

• Desarrollé con éxito un "teclado imaginario" para pantallas táctiles y realidad virtual, impulsado por IA

JL2P ahora puede simular con mucha precisión una serie de movimientos que van desde simples hasta relativamente complejos.

“Primero optimizamos el modelo para predecir dos pasos de tiempo basados ​​en oraciones completas. Esta sencilla tarea puede ayudar al modelo de IA a aprender a simular secuencias de posturas muy cortas, como movimientos de las piernas al caminar, movimientos de las manos al saludar o posturas corporales y posturas al hacer una reverencia. Una vez que JL2P haya aprendido a simular los mismos gestos con gran precisión, pasamos a la siguiente etapa del plan de estudios. Al modelo ahora se le dan dos (números) de poses para predecir al mismo tiempo”, dijo el equipo de investigación de la Universidad Carnegie Mellon.

• La IA ya sabe jugar al poker, venciendo a los mejores del mundo en una partida de 6 jugadores

Simula la postura de carrera de una persona normal.

Los detalles del modo de funcionamiento de JL2P, así como los "trabajos" típicos, se presentaron por primera vez en un artículo científico publicado el 2 de julio en el sitio web arXiv.org, y se espera que sean presentados por el panel de autores e investigadores de el Instituto de Tecnología del Lenguaje CMU Chaitanya Ahuja el 19 de septiembre, en el escenario de la Conferencia Internacional sobre Visión 3D que se lleva a cabo en Quebec, Canadá.

El equipo de investigación afirma con confianza que JL2P puede simular posturas y movimientos físicos con un 9% más de precisión que otro modelo de IA de "primera categoría" desarrollado por los expertos en IA de SRI International en 2018.

• El deepfake de Samsung puede hacer que el monje oscuro Rasputín cante de verdad

JL2P simula la acción humana de ponerse de pie con una mano

Producto creado por JL2P después de haber sido entrenado con el conjunto de datos de lenguaje de movimiento KIT (KIT Motion-Language Dataset).

JL2P simula la acción de saltar obstáculos y correr

Introducido por primera vez en 2016 por Performance Humanoid Technologies, Alemania, este conjunto de datos de minería es una combinación de movimiento humano con descripciones en lenguaje natural, que mapea 11 horas de movimiento continuo de una persona a la vez, registrado en más de 6200 oraciones en inglés, cada una de aproximadamente 8 palabras. largo.