Model AI Disney menjana urutan animasi daripada skrip

Secara realistik, fakta bahawa AI boleh mencipta klip asal daripada satu atau lebih keping teks bukanlah berita seismik dalam dunia teknologi. Tahun lepas, penyelidik memperincikan cara sistem mengeksploitasi rangkaian saraf - lapisan fungsi matematik yang dimodelkan selepas rangkaian saraf biologi (neuron) - untuk mencipta coretan maklumat. Video itu berukuran 32 bingkai dan bersaiz 64 × 64 piksel daripada banyak perihalan yang menggugah, seperti sebagai "bermain bola sepak di halaman". Bagaimanapun, menurut artikel baharu yang diterbitkan di Arxiv.org, saintis di Disney Research dan Rutgers telah berjaya membawa idea ini selangkah lebih jauh dengan model AI silang kata. Dari awal hingga akhir, adalah mungkin untuk mencipta plot kasar sebagai serta penerangan video teks daripada lakon layar. Secara khusus, model teks-ke-animasi saintis membantu mencipta animasi tanpa memerlukan data anotasi - langkah awal yang digunakan untuk menyediakan teks input deskriptif untuk aktiviti. tertentu.

• Kecerdasan buatan OpenAI mengalahkan pasukan Dota 2 juara dunia yang memerintah

“Menjana animasi secara automatik daripada teks bahasa semula jadi adalah teknologi yang sangat berguna yang boleh digunakan dalam beberapa bidang seperti menulis skrip filem atau mencipta video pengajaran. Sistem AI ini akan menjadi sangat berharga apabila digunakan pada skrip dengan membenarkan lelaran, prototaip dan pembuktian konsep yang lebih pantas. Dalam penyelidikan ini, kami telah berjaya membangunkan sistem teks-ke-animasi yang mampu mengendalikan ayat kompleks dengan memuaskan. Tujuan sistem AI ini bukan untuk menggantikan sepenuhnya penulis atau penulis skrip, tetapi untuk mewujudkan pembantu AI yang mampu menyokong dan memudahkan kerja penulis skrip secara berkesan. lebih menarik,” kongsi pasukan penyelidik itu.

Seperti yang dijelaskan oleh penyelidik, menterjemah teks ke dalam animasi bukanlah satu tugas yang mudah. Sebenarnya, kedua-dua ayat (data input) dan animasi (data output) tidak mempunyai struktur tetap. Ini juga merupakan sebab mengapa kebanyakan alatan teks-ke-video semasa tidak dapat mengendalikan pola ayat yang kompleks. Untuk menangani batasan sistem semasa, pasukan penyelidik membina rangkaian saraf modular yang merangkumi beberapa komponen seperti: Modul penghuraian skrip baharu, yang secara automatik mengasingkan teks yang berkaitan daripada penerangan adegan dalam skrip; modul pemprosesan bahasa semula jadi yang memudahkan pola ayat kompleks menggunakan satu set peraturan bahasa dan mengekstrak maklumat daripada ayat yang dipermudahkan ke dalam perwakilan tindakan yang telah ditetapkan; dan modul animasi yang bertanggungjawab untuk menukar perwakilan tersebut kepada berbilang urutan animasi.

• EU: Sistem AI harus dibina dan digunakan secara telus dan bertanggungjawab

Menurut penyelidik, pendekatan yang dipermudahkan ini menjadikannya lebih mudah untuk mengekstrak maklumat skrip utama, dan sistem mereka akan dapat mengenal pasti secara automatik apabila sekeping kod diberikan struktur sintaksis tertentu, dan kemudian menguraikan dan memasangnya menjadi ayat yang lebih mudah, dan kemudian memprosesnya secara rekursif sehingga tiada pemudahan selanjutnya dapat dilakukan. "Langkah penyelarasan" seterusnya akan digunakan pada ayat yang mempunyai hubungan sintaksis yang sama dan pada masa yang sama memainkan peranan fungsi yang sama. Dan akhirnya, simulator perbendaharaan kata yang sepadan dengan tindakan yang diterangkan dalam ayat akan dipermudahkan dengan 52 animasi yang berbeza (yang boleh dikembangkan kepada 92 animasi menggunakan kamus sinonim). makna) dalam perpustakaan yang dipratentukan.

Sistem yang dipanggil Cardinal kemudian menggunakan animasi ini sebagai input untuk tindakan dan mencipta pravisualisasi dalam Unreal - enjin permainan video popular yang dibangunkan oleh Epic Games. Berdasarkan perpustakaan animasi yang dipratentukan, objek dan juga model yang boleh digunakan untuk mencipta aksara akan dipramuat, sekali gus membantu mencipta video animasi 3D yang menggambarkan betul dengan senario yang diproses.

• AI chatbots membantu dalam mencari maklumat tentang penipuan dan penipuan

Untuk melatih sistem unggul ini, para penyelidik mula menyusun pangkalan data perihalan adegan yang terdiri daripada 996 senario, menggunakan lebih daripada 1,000 skrip yang diambil daripada sumber yang tersedia secara percuma. termasuk IMSDb, SimplyScripts dan ScriptORama5. Secara keseluruhan, korpus ini merangkumi 525,708 perihalan yang mengandungi 1,402,864 ayat, 920,817 (lebih daripada 40%) daripadanya mempunyai sekurang-kurangnya satu kata kerja yang menerangkan tindakan.

Dalam percubaan kualitatif, saintis meminta 22 peserta menilai 20 animasi yang dijana sistem pada skala 5 mata (cth., Adakah video yang ditunjukkan dianimasikan dengan sewajarnya berdasarkan kandungan teks? teks?, atau berapa banyak maklumat teks yang diterangkan dalam video dan berapa banyak maklumat dalam video yang disebut dalam teks), 68% peserta berkata bahawa sistem mencipta animasi yang berkesan. nilai saksama daripada senario input - bukan kadar yang tinggi tetapi sangat dipuji.

Itu menunjukkan bahawa ini bukanlah sistem yang benar-benar sempurna. Sebenarnya, senarai tindakan dan objeknya tidak menyeluruh, dan kadangkala proses penyederhanaan leksikal tidak boleh berjaya memetakan kata kerja kompleks kepada animator yang serupa, atau hanya ada yang boleh mencipta beberapa ayat mudah untuk kata kerja yang mempunyai berbilang subjek dalam ayat asal. . Walau bagaimanapun, ini masih kajian muda dan batasan sedemikian boleh difahami sepenuhnya. Penyelidik berhasrat untuk menangani kelemahan di atas dalam masa terdekat.

• Model AI MIT boleh menangkap hubungan antara objek dengan sendirinya dengan data latihan yang minimum

“Penilaian dalaman dan luaran telah menunjukkan prestasi yang munasabah bagi sistem ini, dan kami ingin memanfaatkan maklumat wacana dengan meneliti urutan tindakan yang diterangkan dalam serpihan teks. Ini juga akan membantu menyelesaikan kekaburan dalam teks berkenaan tindakan. Tambahan pula, sistem kami boleh digunakan untuk menjana data yang diperlukan untuk melatih sistem saraf hujung ke hujung yang serupa," kata pasukan itu.