Naukowcy z centrum badawczego AI firmy Samsung w Cambridge w Wielkiej Brytanii wraz z ekspertami w dziedzinie informatyki z Imperial College w Londynie współpracowali przy projekcie mającym na celu stworzenie sieci kontradyktoryjnej, generatywnej sieci kontradyktoryjnej (GAN), która może animować i doskonale synchronizować ruchy twarzy na obrazach 2D z klipami audio zawierającymi ludzkie głosy.
Oprócz synchronizacji ruchów warg i ust, ten model sztucznej inteligencji może również dostosowywać ruchy brwi i mruganie oczu, aby tworzone przez niego twarze wyglądały bardziej naturalnie. Jednak najważniejszym zadaniem nadal będzie synchronizacja warg i ust z emitowanym dźwiękiem. Obecnie ten krok jest często wykonywany podczas post-edycji lub przy użyciu grafiki komputerowej.
Centrum sztucznej inteligencji Samsunga
Naukowcy są przekonani, że model można wykorzystać do automatycznego generowania gadających twarzy postaci z kreskówek w najbardziej naturalny sposób, poprawiając widoczność podczas rozmów wideo o niskiej przepustowości, zapewniając lepszą synchronizację ust lub dubbing do filmów zagranicznych.
Wśród przykładów tych badań udostępnionych na YouTube najbardziej imponujący jest film przedstawiający osławionego rosyjskiego mistyka Rasputina (1869–1919) „wykonującego” piosenkę Beyoncé, śpiewaczki z Halo. Niektóre inne filmy są również bardzo godne uwagi, jak na przykład nieżyjący już raperzy 2Pac i Biggie śpiewający covery swoich dzieł lub wielki naukowiec Albert Einstein czytający cytat na temat wspólnego języka nauki.
Ciemny mnich Rasputin wykonuje piosenkę Halo
Ponadto istnieje wiele innych ciekawych przykładów filmów, możesz się z nimi zapoznać pod adresem: https://sites.google.com/view/facial-animation/home
Wiadomość o powyższych badaniach nadeszła zaledwie miesiąc po tym, jak inny ośrodek badawczy Samsung AI w Moskwie wprowadził projekt mający na celu tworzenie animacji 2D z wykorzystaniem sztucznej inteligencji bez użycia modeli 3D. Wiadomo, że technologię tę można wykorzystać do tworzenia bardziej przekonujących cyfrowych awatarów lub obrazów typu deepfake.
Wykorzystywanie sieci GAN do fałszowania mediów cyfrowych, takich jak obrazy i filmy, stało się w ostatnich latach godnym uwagi trendem w ogólnej dziedzinie sztucznej inteligencji na całym świecie. Wiele wyrafinowanych modeli GAN zostało przedstawionych w ramach konferencji poświęconych sztucznej inteligencji, takich jak ICML, CVPR i wielu innych znaczących wydarzeń trwających od początku roku do chwili obecnej.
- 5 genialnych umysłów w dziedzinie sztucznej inteligencji łączy ręce, aby stworzyć niesamowite roboty

Wśród nich do godnych uwagi modeli o niezwykle dużym potencjale aplikacyjnym należy GauGAN firmy Nvidia, który potrafi zamienić bazgroły w stylu MS Paint w artystyczne „arcydzieła”. Lub CollaGEN, metoda stworzona przez koreańskich badaczy w celu uzupełnienia ilości brakujących danych w każdym obrazie.
Chociaż potencjał narzędzi deepfake w wielu różnych dziedzinach jest ogromny, potencjalne ryzyko, jakie ze sobą niosą, również przyprawia o ból głowy naukowców.
W rzeczywistości technologia ta jest często wykorzystywana do podszywania się pod znane osoby (aktorzy, piosenkarze, modelki...) w fałszywych filmach lub, co gorsza, w filmach porno. Widać, że ta technologia wywołała silny szok, bo wiele osób uwierzyło, że to prawda. Nie tylko godzi to w honor i godność fałszowanej osoby, ale także powoduje poruszenie opinii publicznej i powoduje wiele kontrowersji, a nawet gorszych konfliktów.

Być może w przyszłości naukowcy i agencje zarządzania państwem będą musiały wspólnie wypracować konwencje dotyczące prawidłowego i bezpiecznego stosowania tej wspaniałej technologii dla społeczności.