Model sztucznej inteligencji Disneya generuje animowane sekwencje na podstawie skryptów

Realistycznie rzecz biorąc, fakt, że sztuczna inteligencja może tworzyć oryginalne klipy z jednego lub większej liczby fragmentów tekstu, nie jest nowością w świecie technologii. W zeszłym roku badacze szczegółowo opisali, w jaki sposób system wykorzystuje sieci neuronowe – warstwy funkcji matematycznych wzorowanych na biologicznych sieciach neuronowych (neurony) – do tworzenia fragmentów informacji. Film ma długość 32 klatek i rozmiar 64 × 64 piksele. Na podstawie wielu sugestywnych opisów, np. jako „gra w piłkę nożną na trawniku”. Jednak według nowego artykułu opublikowanego na Arxiv.org naukowcom z Disney Research i Rutgers udało się posunąć ten pomysł o krok dalej dzięki modelowi sztucznej inteligencji opartej na krzyżówkach. Od początku do końca możliwe jest stworzenie przybliżonej fabuły jako a także opisy wideo tekstów ze scenariuszy. W szczególności opracowany przez naukowców model zamiany tekstu na animację pomaga tworzyć animacje bez potrzeby stosowania danych adnotacji – jest to wstępny etap, który służy do zapewnienia opisowego tekstu wejściowego dla działań.

• Sztuczna inteligencja OpenAI pokonała panującego mistrza świata drużynę Dota 2

„Automatyczne generowanie animacji z tekstu w języku naturalnym to bardzo przydatna technologia, którą można zastosować w wielu dziedzinach, takich jak pisanie scenariuszy filmowych czy tworzenie filmów instruktażowych. Te systemy sztucznej inteligencji będą szczególnie cenne w zastosowaniu do skryptów, umożliwiając szybszą iterację, tworzenie prototypów i weryfikację koncepcji. W ramach tych badań z powodzeniem opracowaliśmy system zamiany tekstu na animację, który w zadowalający sposób radzi sobie ze złożonymi zdaniami. Celem tego systemu AI nie jest całkowite zastąpienie pisarzy czy scenarzystów, ale stworzenie asystenta AI, który będzie w stanie skutecznie wspierać i czynić pracę scenarzystów łatwiejszą i bardziej interesującą” – udostępnił zespół badawczy.

Jak wyjaśnili badacze, przełożenie tekstu na animację nie jest zadaniem prostym. W rzeczywistości zarówno zdania (dane wejściowe), jak i animacje (dane wyjściowe) nie mają ustalonej struktury. Jest to również powód, dla którego większość obecnych narzędzi do konwersji tekstu na wideo nie radzi sobie ze złożonymi wzorami zdań. Aby przezwyciężyć ograniczenia obecnych systemów, zespół badawczy zbudował modułową sieć neuronową zawierającą szereg komponentów, takich jak: Nowy moduł analizujący skrypt, który automatycznie i dynamicznie izoluje odpowiedni tekst od opisów scen w skrypcie; moduł przetwarzania języka naturalnego, który upraszcza złożone wzorce zdań przy użyciu zestawu reguł językowych i wyodrębnia informacje z uproszczonych zdań do predefiniowanych reprezentacji działań; oraz moduł animacji odpowiedzialny za przekształcanie wspomnianych reprezentacji w wiele sekwencji animacji.

• UE: Systemy sztucznej inteligencji należy budować i wdrażać w sposób przejrzysty i odpowiedzialny

Zdaniem badaczy to uproszczone podejście znacznie ułatwia wyodrębnienie kluczowych informacji ze skryptu, a ich system będzie w stanie automatycznie zidentyfikować, kiedy fragment kodu ma określoną strukturę syntaktyczną, a następnie rozłożyć go i złożyć na prostsze zdania, a następnie przetwarzając go rekurencyjnie, aż dalsze uproszczenie nie będzie możliwe. Następny „etap koordynacji” zostanie zastosowany do zdań, które mają ten sam związek składniowy i jednocześnie pełnią tę samą rolę funkcjonalną. I wreszcie symulator słownictwa odpowiadający czynnościom opisanym w zdaniach zostanie uproszczony o 52 różne animacje (które można rozszerzyć do 92 animacji za pomocą słownika synonimów).znaczenie) w predefiniowanej bibliotece.

System o nazwie Cardinal wykorzystuje następnie te animacje jako dane wejściowe do działań i tworzy wstępne wizualizacje w Unreal – popularnym silniku gier wideo opracowanym przez Epic Games. W oparciu o predefiniowaną bibliotekę animacji, obiekty i modele, których można użyć do tworzenia postaci, zostaną wstępnie załadowane, co pomoże w tworzeniu filmów animowanych 3D, które wiernie odzwierciedlają przetworzony scenariusz.

• Chatboty AI pomagają w wyszukiwaniu informacji o oszustwach i oszustwach

Aby wytrenować ten doskonały system, badacze rozpoczęli tworzenie bazy danych opisów scen składającej się z 996 scenariuszy, czerpiąc z ponad 1000 skryptów pobranych z ogólnodostępnych źródeł, w tym IMSDb, SimplyScripts i ScriptORama5. W sumie w korpusie tym znajduje się 525 708 opisów zawierających 1 402 864 zdań, z czego 920 817 (ponad 40%) zawiera co najmniej jeden czasownik opisujący czynność.

W eksperymencie jakościowym naukowcy poprosili 22 uczestników o ocenę 20 animacji wygenerowanych przez system w 5-punktowej skali (np. czy wyświetlany film jest odpowiednio animowany, biorąc pod uwagę treść tekstową? tekst? lub ile informacji tekstowych opisano w filmie). i ile informacji w filmie znalazło się w tekście), 68% uczestników stwierdziło, że system stworzył skuteczne animacje.Wartość godziwa na podstawie wejściowych scenariuszy - niezbyt wysoki wskaźnik, ale bardzo godny pochwały.

To pokazuje, że nie jest to system do końca doskonały. W rzeczywistości lista działań i ich obiektów nie jest wyczerpująca, a czasami proces upraszczania leksykalnego nie może skutecznie przyporządkować złożonych czasowników do podobnych animatorów lub można utworzyć tylko kilka prostych zdań dla czasownika, który w zdaniu oryginalnym ma wiele podmiotów . Jest to jednak wciąż młode badanie i takie ograniczenia są całkowicie zrozumiałe. Badacze zamierzają w najbliższej przyszłości zaradzić powyższym niedociągnięciom.

• Model sztucznej inteligencji MIT może samodzielnie uchwycić relacje między obiektami przy minimalnej ilości danych szkoleniowych

„Oceny wewnętrzne i zewnętrzne wykazały rozsądne działanie tego systemu, a my chcieliśmy wykorzystać informacje z dyskursu, badając sekwencję działań opisaną we fragmentach tekstu. Pomoże to również w rozwiązaniu niejasności w tekście dotyczących działań. Co więcej, nasz system można wykorzystać do generowania danych potrzebnych do szkolenia podobnych, kompleksowych systemów neuronowych” – stwierdził zespół. help share.