Le modèle dIA de DeepMind peut apprendre à créer des vidéos simplement en regardant des clips YouTube

Peut-être avez-vous entendu parler de FaceApp, une application mobile de retouche photo qui suscite une grande attention dans le monde entier et qui permet d'appliquer l'intelligence artificielle (IA) pour éditer des selfies avec un degré d'authenticité extrêmement élevé. Ou encore This Person Does Not Exist, une autre application de retouche photo capable de créer des portraits intéressants basés sur des personnages graphiques fictifs générés par ordinateur. Ce ne sont là que deux des nombreuses applications intéressantes avec la présence de l'IA dans les tâches liées à la retouche et à la création de photos. Alors qu’en est-il du montage vidéo ?

Récemment, DeepMind, une filiale d'Alphabet, opérant principalement dans le domaine du développement de l'intelligence artificielle, a annoncé une toute nouvelle invention appelée "Génération vidéo efficace sur des ensembles de données complexes ((vidéo effectivement basée sur des ensembles de données complexes), promet d'apporter de nombreux changements dans le domaine du montage vidéo et de la post-production à l'avenir. Il s’agit essentiellement d’un algorithme d’IA capable d’apprendre à créer des clips simples à partir des vidéos auxquelles il a été exposé pendant le processus de formation.

• Ce site Web peut transformer votre jeune selfie en un portrait vintage effrayant

DVD-GAN peut désormais générer automatiquement des exemples de vidéos avec des mises en page d'objets complètes

Les chercheurs de DeepMind ont déclaré que leur modèle le plus performant à ce jour, le Dual Video Discriminator GAN (DVD-GAN), était capable de créer des vidéos à une résolution de 256 x 256 pixels, combinée à une haute résolution. La fidélité est louable et la longueur est en hausse. à 48 images.

« Créer des vidéos avec un haut niveau de naturel et de réalisme est le plus grand défi pour les modèles d'IA d'aujourd'hui. Parmi eux, les facteurs entravants les plus importants ne sont autres que la complexité des exigences en matière de collecte de données et de calcul. Pour cette raison, de nombreux emplois liés à la création vidéo dans le passé tournaient souvent autour d'ensembles de données relativement simples ou de tâches pour lesquelles des informations en temps réel étaient disponibles. Actuellement, nous nous concentrons sur les tâches de synthèse et de prédiction vidéo, et visons à étendre les résultats des principaux modèles d'IA de création d'images actuels à la vidéo - le côté complexe est bien meilleur », a déclaré un représentant de l'équipe de recherche.

L'équipe a construit son système autour d'une architecture d'IA avancée, tout en introduisant un certain nombre d'ajustements spécifiques à la vidéo, permettant ainsi au processus de formation d'être mené sur la base de Kinetic-600 - un ensemble de données comprenant des vidéos « naturelles », qui sont beaucoup plus volumineuses. échelle que d’habitude. Plus précisément, les chercheurs ont tiré parti des réseaux contradictoires génératifs (GAN).

• Il n'a fallu que 3 semaines à Nvidia pour créer l'un des supercalculateurs d'IA les plus puissants au monde

Un ensemble de clips vidéo synthétiques de 4 secondes formés sur 12 images 128 × 128 de Kinetic-600.

Si vous ne le savez pas, GAN est un système d'IA composé de deux parties distinctes : La première est un réseau génératif, qui permet de créer des échantillons d'entraînement (fausses données), dans le but de créer la ressemblance la plus réaliste. . Et le second est le réseau discriminant : qui tente de distinguer les données réelles des fausses données. Les systèmes GAN ont été appliqués à de nombreuses tâches intensives telles que la conversion de légendes en histoires contextuelles, en particulier la création de photos artificielles d'un réalisme extrêmement élevé.

DVD-GAN contient deux réseaux discriminants : l'algorithme discriminant peut révéler des différences dans le contenu et la structure d'une seule image en échantillonnant aléatoirement des images en pleine résolution, puis en les traitant. Leur traitement individuellement et différencié dans le temps fournit des indices d'apprentissage pour générer du mouvement. Un seul module – nommé Transformer – permet la distribution des données et informations apprises sur l’ensemble du modèle d’IA.

• Google publie un énorme entrepôt de données de formation sur l'IA avec plus de 5 millions de photos de 200 000 monuments dans le monde

Quant au corpus de formation Kinetic-600, il s’agit essentiellement d’un ensemble de données géant, compilé à partir de plus de 500 000 clips YouTube haute résolution d’une durée ne dépassant pas 10 secondes. Ces vidéos ont été initialement organisées pour reconnaître les actions humaines, les chercheurs décrivant ce corpus comme « diversifié » et « sans contrainte », des facteurs particulièrement pertinents dans la formation de modèles ouverts similaires au DVD-GAN de DeepMind. (Dans le domaine de l'apprentissage automatique, il existe un terme « surajustement » qui est utilisé pour désigner des modèles qui s'ajustent trop étroitement à un ensemble de données particulier et, par conséquent, ne parviennent pas à prédire de manière fiable les observations contenues dans les données.) .

Selon le rapport de l'équipe de recherche, après avoir été continuellement entraîné par le système Tensor Processing Units de 3e génération de Google pendant une période de 12 à 96 heures, DVD-GAN est désormais capable de générer des vidéos par lui-même. Le modèle possède des dispositions complètes d'objets, des mouvements et voire des structures complexes comme des reflets sur la surface des rivières, des patinoires... DVD-GAN a dû « lutter » pour créer des objets complexes dans ce domaine de résolution plus élevée, où le mouvement implique un nombre de pixels beaucoup plus important. Cependant, les chercheurs ont noté qu'après avoir été évalués sur l'UCF-101 (un ensemble de données plus petit de 13 320 vidéos d'actions humaines), les échantillons vidéo générés par DVD-GAN ont obtenu de bons résultats : le score initial est de 32,97, ce qui n'est pas mal du tout.

• Le modèle d'IA du MIT peut capturer lui-même les relations entre les objets avec un minimum de données de formation

L'échantillon vidéo créé par DVD-GAN a obtenu un score initial de 32,97.

« À l’avenir, nous souhaitons souligner davantage les avantages de la formation de modèles génératifs sur des ensembles de données vidéo vastes et complexes, tels que Kinetic-600. Bien qu'il reste encore beaucoup de travail à faire avant de pouvoir générer de manière cohérente des vidéos réalistes dans une gamme illimitée de paramètres, nous pensons que le DVD-GAN est le tremplin idéal pour réaliser ce rêve », a déclaré un représentant du l'équipe de recherche.

Que pensez-vous du modèle DVD-GAN AI de DeepMind ? Veuillez laisser vos commentaires ci-dessous !