Pomyślnie opracowano model sztucznej inteligencji, który może przełożyć język na ruchy fizyczne

Badacze AI z Carnegie Mellon University w Pensylwanii w USA niedawno z sukcesem opracowali głęboki model sztucznej inteligencji, potrafiący ze stosunkowo dużą precyzją tłumaczyć języki (tekst, głos) na ruchy i gesty.

Ten model sztucznej inteligencji nosi nazwę Joint Language-to-Pose (JL2P) i jest znany jako metoda zapewniająca możliwość łączenia języka naturalnego z efektywnymi modelami symulacji pozy 3D, gdy jest używany. Praktyczne zastosowanie w niedalekiej przyszłości.

• Model AI DeepMind może nauczyć się tworzyć filmy, po prostu oglądając klipy na YouTube

Ten model sztucznej inteligencji nosi nazwę Joint Language-to-Pose (JL2P).

Zdolność JL2P do analizowania i symulowania postawy i gestów w przestrzeni 3D jest dokładnie szkolona poprzez kompleksowe programy - potężne i skuteczne podejście do programowania.Program szkoleniowy jest „podział” na indywidualne sekwencje. Model sztucznej inteligencji będzie musiał wykonać krótkie, proste zadania, zanim będzie mógł przejść do bardziej złożonych celów.

Obecnie możliwości symulacji animacji JL2P ograniczają się do podstawowych obrazów (składających się z prostych linii prostych), ale możliwość symulowania ruchów przypominających ludzkie opiera się na języku modelu.Ta wizualizacja AI jest stosunkowo dokładna i intuicyjna. Zespół wierzy, że modele takie jak JL2P mogą pewnego dnia pomóc robotom wykonywać w świecie rzeczywistym zadania fizyczne podobne do ludzi lub pomóc w tworzeniu wirtualnych animowanych postaci do gier wideo, a także filmów.

• Pomyślnie opracowano rowery z własnym napędem, wykorzystujące chipy AI, które potrafią rozumować i uczyć się jak ludzie

Możliwości symulacji animacji JL2P ograniczają się do podstawowych, prostych obrazów

Właściwie pomysł opracowania modelu AI z możliwością przekładania języka na ruchy fizyczne nie jest nowy. Zanim Uniwersytet Carnegie Mellon wprowadził JL2P, Microsoft z powodzeniem opracował model o nazwie ObjGAN, którego zadaniem jest szkicowanie obrazów i scenorysów (tablicy, która szkicuje historię, którą chcesz opowiedzieć w formie obrazu) na podstawie adnotacji językowych. Inny model sztucznej inteligencji Disneya jest również powszechnie znany ze swojej możliwości wykorzystania słów zawartych w scenariuszu do tworzenia scenorysów. Najbardziej znany jest model GauGAN firmy Nvidia , który może zamienić doodle utworzone za pomocą gładzika lub programu Microsoft Paint w inteligentne cyfrowe szkice o niezwykle wysokiej estetyce.

Wracając do JL2P, ten model sztucznej inteligencji może teraz bardzo dokładnie symulować szereg ruchów, od prostych do stosunkowo złożonych, takich jak chodzenie lub bieganie, gra na instrumentach muzycznych (takich jak gitara lub skrzypce), postępując zgodnie z wcześniej określonymi instrukcjami, kierunek (w lewo lub w prawo) lub prędkość kontrola (szybka lub wolna).

• Pomyślnie opracowano „wyimaginowaną klawiaturę” dla ekranów dotykowych i rzeczywistości wirtualnej, obsługiwaną przez sztuczną inteligencję

JL2P może teraz bardzo dokładnie symulować wiele ruchów, od prostych do stosunkowo złożonych

„Najpierw zoptymalizowaliśmy model, aby przewidzieć dwa etapy czasowe na podstawie pełnych zdań. To proste zadanie może pomóc modelowi AI nauczyć się symulować bardzo krótkie sekwencje pozycji, takie jak ruchy nóg podczas chodzenia, ruchy rąk podczas machania lub postawa i postawa ciała podczas kłaniania się. Gdy JL2P nauczy się symulować te same gesty z dużą dokładnością, przechodzimy do kolejnego etapu programu nauczania. Model ma teraz dwie (liczby) pozycji do przewidzenia w tym samym czasie” – powiedział zespół badawczy z Carnegie Mellon University.

• Sztuczna inteligencja już wie, jak grać w pokera, pokonując najlepszych na świecie w grze dla 6 graczy

Symuluje postawę biegową normalnej osoby

Szczegóły dotyczące sposobu działania JL2P oraz typowe „prace” zostały po raz pierwszy zaprezentowane w artykule naukowym opublikowanym 2 lipca na stronie arXiv.org i mają zostać zaprezentowane przez panel autorów i badaczy w Instytucie Technologii Językowej CMU Caitanya Ahuja w dniu 19 września na scenie Międzynarodowej Konferencji na temat Wizji 3D odbywającej się w Quebecu w Kanadzie.

Zespół badawczy z pewnością twierdzi, że JL2P może symulować postawę i ruchy fizyczne o 9% dokładniej niż inny „najwyższej klasy” model sztucznej inteligencji opracowany przez ekspertów AI z SRI International w 2018 roku.

• Deepfake Samsunga może sprawić, że mroczny mnich Rasputin zaśpiewa naprawdę

JL2P symuluje działanie człowieka polegające na wstawaniu jedną ręką

Produkt stworzony przez JL2P po przeszkoleniu przy użyciu zestawu danych języka ruchu KIT (zestaw danych języka ruchu KIT).

JL2P symuluje akcję skakania przez przeszkody i biegania

Ten zbiór danych wydobywczych, wprowadzony po raz pierwszy w 2016 r. przez firmę Performance Humanoid Technologies w Niemczech, stanowi połączenie ruchu ludzkiego z opisami w języku naturalnym i odwzorowuje 11 godzin ciągłego ruchu, pojedynczo. Ludzie, zarejestrowani w ponad 6200 angielskich zdań, każde około 8 słów długi.