Le deepfake de Samsung peut faire chanter pour de vrai le moine noir Raspoutine

Des chercheurs du centre de recherche sur l'IA de Samsung à Cambridge, au Royaume-Uni, ainsi que des experts en informatique de l'Imperial College de Londres, ont collaboré à un projet visant à créer un réseau contradictoire génératif (GAN), capable d'animer et de synchroniser parfaitement les mouvements du visage des images 2D. avec des clips audio contenant des voix humaines.

En plus de synchroniser les mouvements des lèvres et de la bouche, ce modèle d'intelligence artificielle peut également ajuster les mouvements des sourcils et le clignement des yeux pour rendre les visages qu'il crée plus naturels. Cependant, la tâche la plus importante restera toujours de synchroniser les lèvres et la bouche avec le son émis. Aujourd’hui, cette étape se fait souvent lors de post-édition, ou grâce à l’utilisation d’infographie.

• Le modèle d'IA utilise des données aériennes et terrestres pour naviguer vers des zones difficiles à observer

Centre d'IA Samsung

Les chercheurs pensent que le modèle pourrait être utilisé pour générer automatiquement des visages parlants pour les personnages de dessins animés de la manière la plus naturelle, améliorant la visibilité dans les appels vidéo à faible bande passante, offrant une meilleure synchronisation buccale ou un doublage pour les films étrangers.

Parmi les exemples de ces recherches partagés sur YouTube, le plus impressionnant est la vidéo montrant le célèbre mystique russe Raspoutine (1869 - 1919) « interprétant » la chanson de la chanteuse Halo, l'artiste Beyoncé. Certaines autres vidéos sont également très remarquables, comme les regrettés rappeurs 2Pac et Biggie chantant des reprises de leurs œuvres, ou le grand scientifique Albert Einstein lisant une citation sur le langage commun de la science.

• STEAL AI de Nvidia offre une meilleure prise en charge de l'inférence pour les modèles de vision par ordinateur

Le moine noir Raspoutine interprète la chanson Halo

De plus, il existe de nombreux autres exemples de vidéos intéressantes, vous pouvez vous y référer sur : https://sites.google.com/view/facial-animation/home

La nouvelle de la recherche ci-dessus est arrivée un mois seulement après qu'un autre centre de recherche Samsung AI à Moscou a présenté un projet visant à créer des animations 2D en utilisant l'intelligence artificielle sans utiliser de modèles 3D. On sait que cette technologie peut être utilisée pour créer des avatars numériques ou des images deepfake plus convaincantes.

L’utilisation des réseaux GAN pour usurper des médias numériques tels que des images et des vidéos est devenue une tendance notable dans le domaine général de l’IA à l’échelle mondiale ces dernières années. De nombreux modèles GAN sophistiqués ont été introduits dans le cadre de conférences sur l'intelligence artificielle telles que l'ICML, le CVPR et de nombreux autres événements notables depuis le début de l'année.

• 5 esprits géniaux dans le domaine de l’IA s’unissent pour créer des robots étonnants

Raspoutine et comme la chanteuse Beyoncé

Parmi eux, certains modèles notables avec un potentiel d'application extrêmement élevé incluent le GauGAN de Nvidia, qui peut transformer les gribouillages de style MS Paint en « chefs-d'œuvre » artistiques. Ou encore CollaGEN, une méthode créée par des chercheurs coréens pour remplacer la quantité de données manquantes dans chaque image.

Bien que le potentiel des outils de deepfake dans de nombreux domaines différents soit énorme, les risques potentiels qu’ils comportent constituent également un casse-tête pour les scientifiques.

En effet, cette technologie est souvent exploitée pour usurper l'identité de personnes célèbres (acteurs, chanteurs, mannequins...) dans de fausses vidéos ou pire, dans des films pornographiques. On voit que cette technologie a créé un fort choc car beaucoup de gens croyaient qu’elle était vraie. Cela affecte non seulement l’honneur et la dignité de la personne forgée, mais provoque également l’émoi de l’opinion publique et provoque de nombreuses controverses, voire pires conflits.

• L'intelligence artificielle japonaise a créé des mannequins virtuels super réalistes

Deepfake contient de nombreux risques potentiels

Peut-être qu’à l’avenir, les scientifiques ainsi que les agences de gestion de l’État devront s’asseoir ensemble pour trouver des conventions permettant d’utiliser cette merveilleuse technologie de manière appropriée et sûre pour la communauté.