迪士尼的人工智慧模型從腳本生成動畫序列

實際上，人工智慧可以根據一段或多段文字創建原創剪輯這一事實在科技界並不是什麼令人震驚的新聞。去年，研究人員詳細介紹了系統如何利用神經網路（根據生物神經網路（神經元）建模的數學函數層）來創建資訊片段。該影片長32 幀，大小64 × 64 像素，來自許多令人回味的描述，例如例如「在草坪上踢足球」。然而，根據Arxiv.org 上發表的一篇新文章，迪士尼研究中心和羅格斯大學的科學家們成功地利用跨詞人工智慧模型將這一想法更進一步。從開始到結束，可以創建一個粗略的情節，如下所示以及劇本文本的視頻描述。具體來說，科學家的文本到動畫模型有助於創建動畫，而無需註釋資料——這是用於為活動提供描述性輸入文字的初步步驟。

• 人工智慧 OpenAI 擊敗衛冕世界冠軍 Dota 2 戰隊

「從自然語言文字自動產生動畫是一項非常有用的技術，可以應用於許多領域，例如編寫電影劇本或創建教學影片。這些人工智慧系統在應用於腳本編寫時尤其有價值，可以實現更快的迭代、原型設計和概念驗證。在這項研究中，我們成功開發了一個文字到動畫系統，能夠令人滿意地處理複雜的句子。「這個AI系統的目的並不是要完全取代作家或編劇，而是要創造一個能夠有效支持編劇的AI助手，讓編劇的工作變得更輕鬆、更有趣。」研究團隊分享道。

正如研究人員所解釋的那樣，將文字翻譯成動畫並不是一件簡單的任務。事實上，句子（輸入資料）和動畫（輸出資料）都沒有固定的結構。這也是目前大多數文字轉影片工具無法處理複雜句型的原因。為了解決當前系統的局限性，研究團隊建立了一個模組化神經網絡，其中包括許多組件，例如：一個新的腳本解析模組，它自動動態地將腳本中的場景描述與相關文本隔離；自然語言處理模組，使用一組語言規則簡化複雜的句子模式，並將簡化句子中的信息提取為預先定義的動作表示；以及動畫模組，負責將所述表示轉換為多個動畫序列。

• 歐盟：人工智慧系統應以透明和負責任的方式建構和部署

研究人員表示，這種簡化的方法使得提取關鍵腳本資訊變得更加容易，並且他們的系統將能夠自動識別一段程式碼何時給出特定的語法結構，然後將其分解和組裝成更簡單的句子，然後遞歸地處理它，直到不可能進一步簡化為止。下一個「協調步驟」將應用於具有相同句法關係且同時起到相同功能作用的句子。最後，與句子中描述的動作相符的詞彙模擬器將透過預定義庫中的 52 個不同動畫（可以使用同義詞詞典擴展到 92 個動畫）進行簡化。

然後，一個名為 Cardinal 的系統使用這些動畫作為動作的輸入，並在 Unreal（Epic Games 開發的流行電玩引擎）中創建預視覺化。基於預先定義的動畫庫，可用於創建角色的物件和模型將被預先加載，從而幫助創建緊密描繪真實處理場景的 3D 動畫影片。

• 人工智慧聊天機器人協助尋找有關詐騙和詐欺的資訊

為了訓練這個卓越的系統，研究人員開始編譯一個由 996 個場景組成的場景描述資料庫，該資料庫取自免費來源的 1,000 多個腳本，包括 IMSDb、SimplyScripts 和 ScriptORama5。這個語料庫總共包含 525,708 個描述，其中包含 1,402,864 個句子，其中 920,817 個句子（超過 40%）至少有一個描述動作的動詞。

在一項定性實驗中，科學家要求22 名參與者以5 分制對20 個系統產生的動畫進行評分（例如，根據文字內容，影片顯示的動畫是否適當？文字？或者影片中描述了多少文字訊息）以及文中提到了影片中的多少資訊），68%的參與者表示系統創建了有效的動畫。從輸入場景來看，價值公道——比率不是特別高，但非常值得稱讚。

這表明這並不是一個真正完美的系統。事實上，動作及其物件的清單並不詳盡，有時詞彙簡化過程無法成功地將複雜的動詞映射到相似的動畫師，或者只能為原始句子中具有多個主詞的動詞創建幾個簡單的句子。然而，這仍然是一項年輕的研究，這種限制是完全可以理解的。研究人員打算在不久的將來解決上述缺陷。

• 麻省理工學院的人工智慧模型可以用最少的訓練資料自行捕捉物件之間的關係

「內部和外部評估顯示了該系統的合理性能，我們希望透過檢查文本片段中描述的動作序列來利用話語訊息。這也將有助於解決文字中有關操作的歧義。此外，我們的系統可用於產生訓練類似的端到端神經系統所需的數據，」該團隊表示。幫助分享。