El modelo de IA de Disney genera secuencias animadas a partir de guiones

Hablando de manera realista, el hecho de que la IA pueda crear clips originales a partir de uno o más fragmentos de texto no es una noticia sísmica en el mundo de la tecnología. El año pasado, los investigadores detallaron cómo un sistema explota las redes neuronales (capas de funciones matemáticas modeladas a partir de redes neuronales biológicas (neuronas)) para crear fragmentos de información. El vídeo tiene 32 cuadros de largo y 64 × 64 píxeles de tamaño a partir de muchas descripciones evocadoras, como como “jugar al fútbol en el césped”. Sin embargo, según un nuevo artículo publicado en Arxiv.org, los científicos de Disney Research y Rutgers han logrado llevar esta idea un paso más allá con un modelo de IA de crucigramas: de principio a fin, es posible crear una trama aproximada como así como descripciones en vídeo de textos de guiones. Específicamente, el modelo de texto a animación de los científicos ayuda a crear animaciones sin la necesidad de datos de anotaciones, un paso preliminar que se utiliza para proporcionar texto de entrada descriptivo para actividades determinadas.

• La inteligencia artificial OpenAI derrotó al actual campeón mundial de Dota 2

“La generación automática de animaciones a partir de texto en lenguaje natural es una tecnología muy útil que se puede aplicar en diversos campos, como escribir guiones de películas o crear vídeos instructivos. Estos sistemas de IA serán especialmente valiosos cuando se apliquen a las secuencias de comandos al permitir una iteración, creación de prototipos y pruebas de concepto más rápidas. En esta investigación, hemos desarrollado con éxito un sistema de conversión de texto a animación capaz de manejar oraciones complejas de manera satisfactoria. El propósito de este sistema de IA no es reemplazar completamente a los escritores o guionistas, sino crear un asistente de IA capaz de apoyar eficazmente y hacer el trabajo de los guionistas más fácil y más interesante”, compartió el equipo de investigación.

Como explicaron los investigadores, traducir texto a animación no es una tarea sencilla. De hecho, tanto las oraciones (datos de entrada) como las animaciones (datos de salida) no tienen una estructura fija. Esta es también la razón por la que la mayoría de las herramientas actuales de conversión de texto a vídeo no pueden manejar patrones de oraciones complejos. Para abordar las limitaciones de los sistemas actuales, el equipo de investigación construyó una red neuronal modular que incluye una serie de componentes tales como: Un nuevo módulo de análisis de guiones, que aísla automáticamente y dinámicamente el texto relevante de las descripciones de escenas en el guión; un módulo de procesamiento de lenguaje natural que simplifica patrones de oraciones complejas utilizando un conjunto de reglas del lenguaje y extrae información de las oraciones simplificadas en representaciones de acciones predefinidas; y un módulo de animación encargado de convertir dichas representaciones en múltiples secuencias de animación.

• UE: Los sistemas de IA deben construirse e implementarse de manera transparente y responsable

Según los investigadores, este enfoque simplificado hace que sea mucho más fácil extraer información clave del script, y su sistema podrá identificar automáticamente cuándo un fragmento de código tiene una estructura sintáctica particular, y luego descomponerlo y ensamblarlo en oraciones más simples, y luego procesándolo recursivamente hasta que ya no sea posible una mayor simplificación. El siguiente “paso de coordinación” se aplicará a oraciones que tengan la misma relación sintáctica y al mismo tiempo cumplan el mismo rol funcional. Y, por último, se simplificará un simulador de vocabulario que corresponda a las acciones descritas en frases con 52 animaciones diferentes (que se pueden ampliar a 92 animaciones utilizando un diccionario de sinónimos) en una biblioteca predefinida.

Luego, un sistema llamado Cardinal utiliza estas animaciones como entrada para acciones y crea previsualizaciones en Unreal, un popular motor de videojuegos desarrollado por Epic Games. Según la biblioteca de animación predefinida, se precargarán los objetos y también los modelos que puede utilizar para crear personajes, lo que ayudará a crear vídeos de animación 3D que representen fielmente el escenario procesado.

• Los chatbots de IA ayudan a encontrar información sobre estafas y fraudes

Para entrenar este sistema superior, los investigadores comenzaron a compilar una base de datos de descripción de escenas compuesta por 996 escenarios, a partir de más de 1.000 guiones tomados de fuentes disponibles gratuitamente, incluidas IMSDb, SimplyScripts y ScriptORama5. En total, este corpus incluye 525.708 descripciones que contienen 1.402.864 oraciones, de las cuales 920.817 (más del 40%) tienen al menos un verbo que describe una acción.

En un experimento cualitativo, los científicos pidieron a 22 participantes que calificaran 20 animaciones generadas por el sistema en una escala de 5 puntos (por ejemplo, ¿el video que se muestra está apropiadamente animado dado el contenido del texto? ¿texto? o cuánta información textual se describe en el video). y cuánta información del vídeo se mencionó en el texto), el 68% de los participantes dijo que el sistema creó animaciones efectivas y un valor razonable a partir de los escenarios de entrada: no es una tasa particularmente alta, pero sí muy encomiable.

Eso demuestra que este no es un sistema verdaderamente perfecto. De hecho, la lista de acciones y sus objetos no es exhaustiva y, a veces, el proceso de simplificación léxica no puede asignar con éxito verbos complejos a animadores similares, o solo se pueden crear unas pocas oraciones simples para un verbo que tiene múltiples sujetos en la oración original. . Sin embargo, este es todavía un estudio joven y tales limitaciones son completamente comprensibles. Los investigadores tienen la intención de abordar las deficiencias mencionadas en un futuro próximo.

• El modelo de IA del MIT puede capturar relaciones entre objetos por sí solo con datos de entrenamiento mínimos

“Las evaluaciones internas y externas han mostrado un desempeño razonable de este sistema y queríamos aprovechar la información del discurso examinando la secuencia de acciones descritas en fragmentos de texto. Esto también ayudará a resolver ambigüedades en el texto con respecto a las acciones. Además, nuestro sistema se puede utilizar para generar los datos necesarios para entrenar sistemas neuronales similares de un extremo a otro”, afirmó el equipo.