Onderzoekers van het AI-onderzoekscentrum van Samsung in Cambridge, Verenigd Koninkrijk, hebben samen met computerwetenschappers van het Imperial College London samengewerkt aan een project om een generatief vijandig netwerk (GAN) te creëren, dat de gezichtsbewegingen van 2D-beelden kan animeren en perfect kan synchroniseren. met audiofragmenten met menselijke stemmen.
Naast het synchroniseren van lip- en mondbewegingen, kan dit kunstmatige-intelligentiemodel ook wenkbrauwbewegingen en oogknipperingen aanpassen om de gezichten die het creëert er natuurlijker uit te laten zien. De belangrijkste taak zal echter nog steeds zijn om de lippen en mond te synchroniseren met het uitgezonden geluid. Tegenwoordig wordt deze stap vaak uitgevoerd tijdens de nabewerking of door het gebruik van computergraphics.
Samsung AI-centrum
De onderzoekers denken dat het model kan worden gebruikt om automatisch op de meest natuurlijke manier pratende gezichten voor stripfiguren te genereren, waardoor de zichtbaarheid bij videogesprekken met lage bandbreedte wordt verbeterd, waardoor een betere mondsynchronisatie of nasynchronisatie voor buitenlandse films mogelijk wordt.
Onder de voorbeelden van dit onderzoek die op YouTube worden gedeeld, is het meest indrukwekkende de video waarin de beruchte Russische mysticus Rasputin (1869 - 1919) het lied van de zangeres Halo, artiest Beyoncé, 'uitvoert'. Sommige andere video's zijn ook zeer opmerkelijk, zoals de overleden rappers 2Pac en Biggie die covers van hun werken zingen, of de grote wetenschapper Albert Einstein die een citaat voorleest over de gemeenschappelijke taal van de wetenschap.
De donkere monnik Rasputin zingt het nummer Halo
Daarnaast zijn er nog vele andere interessante videovoorbeelden, u kunt deze raadplegen op: https://sites.google.com/view/facial-animation/home
Het nieuws over bovenstaand onderzoek kwam slechts een maand nadat een ander AI-onderzoekscentrum van Samsung in Moskou een project introduceerde om 2D-animaties te maken met behulp van kunstmatige intelligentie zonder gebruik te maken van 3D-modellen. Het is bekend dat deze technologie kan worden gebruikt om overtuigendere digitale avatars of deepfake-afbeeldingen te creëren.
Het gebruik van GAN-netwerken om digitale media zoals afbeeldingen en video's te vervalsen is de afgelopen jaren wereldwijd een opmerkelijke trend gebleken op het algemene AI-veld. Veel geavanceerde GAN-modellen zijn geïntroduceerd in het kader van kunstmatige-intelligentieconferenties zoals ICML, CVPR en vele andere opmerkelijke evenementen vanaf het begin van dit jaar tot nu.
Rasputin en soortgelijke zangeres Beyoncé
Enkele opmerkelijke modellen met een extreem hoog toepassingspotentieel zijn onder meer Nvidia's GauGAN, waarmee krabbels in MS Paint-stijl kunnen worden omgezet in artistieke "meesterwerken". Of CollaGEN, een methode ontwikkeld door Koreaanse onderzoekers om de hoeveelheid ontbrekende gegevens in elke afbeelding te vervangen.
Hoewel het potentieel van deepfake-instrumenten op veel verschillende gebieden enorm is, zijn de potentiële risico's die ze met zich meebrengen ook een hoofdpijn voor wetenschappers.
In feite wordt deze technologie vaak uitgebuit om beroemde mensen (acteurs, zangers, modellen...) na te bootsen in valse video's of erger nog, in pornofilms. Het is duidelijk dat deze technologie een sterke schok teweeg heeft gebracht, omdat veel mensen geloofden dat dit waar was. Dit tast niet alleen de eer en waardigheid aan van de persoon die wordt vervalst, maar zorgt er ook voor dat de publieke opinie in beroering komt en veel controverses of zelfs ergere conflicten veroorzaakt.
Deepfake brengt veel potentiële risico’s met zich mee
Misschien moeten zowel wetenschappers als staatsbeheersinstanties in de toekomst samenkomen om conventies te vinden voor het correct en veilig gebruiken van deze prachtige technologie voor de gemeenschap.