Модель искусственного интеллекта Диснея генерирует анимационные эпизоды из сценариев

Говоря реалистично, тот факт, что ИИ может создавать оригинальные клипы из одного или нескольких фрагментов текста, не является сейсмической новостью в мире технологий. В прошлом году исследователи подробно рассказали, как система использует нейронные сети — слои математических функций, смоделированные по образцу биологических нейронных сетей (нейронов) — для создания фрагментов информации. как «играть в футбол на газоне». Однако, согласно новой статье, опубликованной на Arxiv.org, ученым из Disney Research и Rutgers удалось продвинуть эту идею еще дальше с помощью модели ИИ-кроссворда. а также видеоописания текстов из сценариев. В частности, разработанная учеными модель преобразования текста в анимацию помогает создавать анимацию без необходимости использования данных аннотаций — это предварительный шаг, который используется для предоставления описательного входного текста для действий.

• Искусственный интеллект OpenAI победил команду действующего чемпиона мира по Dota 2

«Автоматическое создание анимации из текста на естественном языке — это очень полезная технология, которую можно применять в ряде областей, таких как написание сценариев фильмов или создание обучающих видеороликов. Эти системы искусственного интеллекта будут особенно ценны при применении к сценариям, поскольку позволят ускорить итерацию, создание прототипов и проверку концепции. В этом исследовании мы успешно разработали систему преобразования текста в анимацию, способную удовлетворительно обрабатывать сложные предложения. Цель этой системы ИИ — не полностью заменить писателей или сценаристов, а создать ИИ-помощника, способного эффективно поддерживать и делать работу сценаристов проще и интереснее», — поделилась исследовательская группа.

Как объяснили исследователи, перевод текста в анимацию — непростая задача. Фактически, как предложения (входные данные), так и анимации (выходные данные) не имеют фиксированной структуры. Это также причина, по которой большинство современных инструментов преобразования текста в видео не могут обрабатывать сложные шаблоны предложений. Чтобы устранить ограничения существующих систем, исследовательская группа создала модульную нейронную сеть, которая включает в себя ряд компонентов, таких как: новый модуль анализа сценария, который автоматически динамически изолирует соответствующий текст из описаний сцен в сценарии; модуль обработки естественного языка, который упрощает сложные шаблоны предложений с помощью набора языковых правил и извлекает информацию из упрощенных предложений в заранее определенные представления действий; и модуль анимации, отвечающий за преобразование упомянутых представлений в множество последовательностей анимации.

• ЕС: системы искусственного интеллекта должны создаваться и внедряться прозрачным и ответственным образом

По мнению исследователей, такой упрощенный подход значительно упрощает извлечение ключевой информации сценария, и их система сможет автоматически определять, когда фрагмент кода имеет определенную синтаксическую структуру, а затем разлагать и собирать его в более простые предложения, а затем рекурсивно обрабатывая его до тех пор, пока дальнейшее упрощение станет невозможным. Следующий «шаг координации» будет применен к предложениям, имеющим одинаковые синтаксические отношения и одновременно выполняющим одну и ту же функциональную роль. И, наконец, симулятор словаря, соответствующий действиям, описанным в предложениях, будет упрощен с помощью 52 различных анимаций (которые можно расширить до 92 анимаций с помощью словаря синонимов) в предопределенной библиотеке.

Система под названием Cardinal затем использует эти анимации в качестве входных данных для действий и создает предварительные визуализации в Unreal — популярном движке видеоигр, разработанном Epic Games. На основе предопределенной библиотеки анимации будут предварительно загружены объекты, а также модели, которые можно использовать для создания персонажей, что помогает создавать 3D-анимационные видеоролики, которые точно соответствуют обрабатываемому сценарию.

• Чат-боты с искусственным интеллектом помогают находить информацию о мошенничестве и мошенничестве.

Чтобы обучить эту превосходную систему, исследователи начали собирать базу данных описаний сцен, состоящую из 996 сценариев, основанных на более чем 1000 сценариев, взятых из свободно доступных источников, включая IMSDb, SimplyScripts и ScriptORama5. Всего в этот корпус вошли 525 708 описаний, содержащих 1 402 864 предложения, 920 817 (более 40%) из которых содержат хотя бы один глагол, описывающий действие.

В качественном эксперименте ученые попросили 22 участника оценить 20 анимаций, сгенерированных системой, по 5-балльной шкале (например, является ли показанное видео соответствующим образом анимированным с учетом текстового содержания? текста? или сколько текстовой информации было описано в видео). и сколько информации в видео было упомянуто в тексте), 68% участников отметили, что система создает эффективные анимации.Справедливая ценность входных сценариев - не особо высокий показатель, но весьма похвальный.

Это показывает, что это не совсем идеальная система. Фактически, список действий и их объектов не является исчерпывающим, и иногда процесс лексического упрощения не может успешно сопоставить сложные глаголы с подобными аниматорами, или же можно создать только несколько простых предложений для глагола, который имеет несколько подлежащих в исходном предложении. . Однако это еще молодое исследование, и такие ограничения вполне понятны. Исследователи намерены устранить вышеуказанные недостатки в ближайшем будущем.

• Модель искусственного интеллекта MIT может самостоятельно фиксировать отношения между объектами с минимальными обучающими данными.

«Внутренние и внешние оценки показали приемлемую производительность этой системы, и мы хотели использовать дискурсивную информацию, исследуя последовательность действий, описанную во фрагментах текста. Это также поможет устранить неясности в тексте относительно действий. Кроме того, нашу систему можно использовать для генерации данных, необходимых для обучения подобных комплексных нейронных систем», — заявили в команде.