Investigadores del centro de investigación de inteligencia artificial de Samsung en Cambridge, Reino Unido, junto con expertos en informática del Imperial College de Londres, colaboraron en un proyecto para crear una red adversarial generativa (GAN), que puede animar y sincronizar perfectamente los movimientos faciales de imágenes 2D. con clips de audio que contienen voces humanas.
Además de sincronizar los movimientos de los labios y la boca, este modelo de inteligencia artificial también puede ajustar los movimientos de las cejas y el parpadeo para que los rostros que crea parezcan más naturales. Sin embargo, la tarea más importante seguirá siendo sincronizar los labios y la boca con el sonido emitido. Hoy en día, este paso se realiza a menudo durante la posedición o mediante el uso de gráficos por computadora.
Centro de IA de Samsung
Los investigadores creen que el modelo podría usarse para generar automáticamente caras parlantes para personajes de dibujos animados de la manera más natural, mejorando la visibilidad en videollamadas con un ancho de banda bajo, proporcionando una mejor sincronización de la boca o doblando películas extranjeras.
Entre los ejemplos de esta investigación compartidos en YouTube, el más impresionante es el vídeo que muestra al famoso místico ruso Rasputín (1869 - 1919) "interpretando" la canción de la cantante Halo, artista Beyoncé. Algunos otros vídeos también son muy destacables, como los de los fallecidos raperos 2Pac y Biggie cantando versiones de sus obras, o el gran científico Albert Einstein leyendo una cita sobre el lenguaje común de la ciencia.
El monje oscuro Rasputín interpreta la canción Halo.
Además, hay muchos otros ejemplos de vídeos interesantes, puede consultarlos en: https://sites.google.com/view/facial-animation/home
La noticia de la investigación anterior llegó apenas un mes después de que otro centro de investigación de inteligencia artificial de Samsung en Moscú presentara un proyecto para crear animaciones 2D utilizando inteligencia artificial sin utilizar modelos 3D. Se sabe que esta tecnología se puede utilizar para crear avatares digitales o imágenes deepfake más convincentes.
El uso de redes GAN para falsificar medios digitales como imágenes y vídeos se ha convertido en una tendencia notable en el campo general de la IA en todo el mundo en los últimos años. Se han introducido muchos modelos GAN sofisticados en el marco de conferencias de inteligencia artificial como ICML, CVPR y muchos otros eventos notables desde principios de año hasta ahora.
Rasputin y como la cantante Beyoncé
Entre ellos, algunos modelos notables con un potencial de aplicación extremadamente alto incluyen GauGAN de Nvidia, que puede convertir garabatos estilo MS Paint en "obras maestras" artísticas. O CollaGEN, un método creado por investigadores coreanos para reemplazar la cantidad de datos faltantes en cada imagen.
Aunque el potencial de las herramientas deepfake para contribuir en muchos campos diferentes es enorme, los riesgos potenciales que conllevan también son un dolor de cabeza para los científicos.
De hecho, esta tecnología suele ser aprovechada para hacerse pasar por personajes famosos (actores, cantantes, modelos...) en vídeos falsos o peor aún, en películas porno. Se puede ver que esta tecnología ha creado un fuerte impacto porque mucha gente creía que era cierta. Esto no sólo afecta el honor y la dignidad de la persona que se forja, sino que también provoca que la opinión pública se remueva y provoque muchas controversias o conflictos aún peores.
Deepfake contiene muchos riesgos potenciales
Quizás en el futuro, los científicos y las agencias de gestión estatales necesiten reunirse para encontrar convenciones para utilizar esta maravillosa tecnología de manera adecuada y segura para la comunidad.