Модель искусственного интеллекта DeepMind может научиться создавать видео, просто просматривая клипы на YouTube.

Возможно, вы слышали о FaceApp, мобильном приложении для редактирования фотографий, которое пользуется большим вниманием во всем мире благодаря возможности применять искусственный интеллект (ИИ) для редактирования селфи с чрезвычайно высокой степенью достоверности. Или этот человек не существует, еще одно приложение для редактирования фотографий, которое может создавать интересные портреты на основе вымышленных графических персонажей, созданных компьютером. Это лишь два из многих замечательных приложений, в которых присутствует искусственный интеллект для решения задач, связанных с редактированием и созданием фотографий. А как насчет редактирования видео?

Недавно компания DeepMind, дочерняя компания Alphabet, работающая в основном в области разработки искусственного интеллекта, анонсировала совершенно новое изобретение под названием «Эффективная генерация видео на сложных наборах данных». области видеомонтажа и постобработки в будущем. По сути, это алгоритм искусственного интеллекта, который может научиться создавать простые клипы из видеороликов, которые он просматривал в процессе обучения.

• Этот сайт может превратить ваше юное селфи в жуткий винтажный портрет.

DVD-GAN теперь может автоматически генерировать образцы видео с полными макетами объектов.

Исследователи из DeepMind заявили, что их самая производительная на сегодняшний день модель — Dual Video Discriminator GAN (DVD-GAN) — способна создавать видео с разрешением 256 x 256 пикселей в сочетании с высоким разрешением. до 48 кадров.

«Создание видеороликов с высоким уровнем естественности и реалистичности — самая большая задача для сегодняшних моделей искусственного интеллекта. Среди них наиболее значимыми сдерживающими факторами являются не что иное, как сложность требований к сбору данных и расчетам. По этой причине многие работы, связанные с созданием видео в прошлом, часто вращались вокруг относительно простых наборов данных или задач, в которых была доступна информация в реальном времени. В настоящее время мы концентрируемся на задачах синтеза и прогнозирования видео и стремимся распространить результаты ведущих сегодня моделей искусственного интеллекта по созданию изображений на видео — с более сложной стороны, — сказал представитель исследовательской группы.

Команда построила свою систему на основе передовой архитектуры искусственного интеллекта, а также внесла ряд настроек, специфичных для видео, что позволило проводить процесс обучения на основе Kinetic-600. Набор данных включает в себя «естественные» видеоролики, размер которых намного больше. масштаб, чем обычно. В частности, исследователи воспользовались преимуществами генеративно-состязательных сетей (GAN).

• Nvidia потребовалось всего 3 недели, чтобы создать один из самых мощных суперкомпьютеров с искусственным интеллектом в мире.

Набор 4-секундных синтетических видеороликов, обученных на 12 кадрах 128×128 из Kinetic-600.

Если вы не знаете, GAN — это система искусственного интеллекта, состоящая из двух отдельных частей: Первая — это генеративная сеть, которая помогает создавать обучающие выборки (фейковые данные) с целью создания обучающих данных и создания максимально реалистичного сходства. . И вторая — Дискриминационная сеть: она пытается отличить настоящие данные от фальшивых. Системы GAN применялись во многих интенсивных задачах, таких как преобразование подписей в контекстные истории, особенно при создании искусственных фотографий с чрезвычайно высоким уровнем реализма.

DVD-GAN содержит двойные дискриминационные сети: дискриминационный алгоритм может выявлять различия в содержании и структуре одного кадра путем случайной выборки кадров с полным разрешением, а затем их обработки.Обработка их индивидуально и дифференцировано во времени дает сигналы обучения для создания движения. Один модуль под названием Transformer позволяет распределять полученные данные и информацию по всей модели ИИ.

• Google выпускает огромное хранилище данных для обучения искусственному интеллекту, содержащее более 5 миллионов фотографий 200 000 достопримечательностей по всему миру

Что касается обучающего корпуса Kinetic-600, то это, по сути, гигантский датасет, составленный из более чем 500 000 YouTube-роликов в высоком разрешении длительностью не более 10 секунд. Первоначально эти видеоролики создавались для распознавания действий человека, а исследователи описывали этот корпус как «разнообразный» и «неограниченный», факторы, которые особенно актуальны при обучении открытых моделей, подобных DVD-GAN компании DeepMind. (В области машинного обучения существует термин «переоснащение», который используется для обозначения моделей, которые слишком близко подходят к определенному набору данных и в результате не могут надежно предсказать наблюдения в данных. будущее) .

Согласно отчету исследовательской группы, после непрерывного обучения с помощью системы Tensor Processing Units третьего поколения Google в течение периода от 12 до 96 часов, DVD-GAN теперь может генерировать видео самостоятельно.Модель обладает полными макетами объектов, движениями и даже сложные структуры, такие как отражения на поверхности рек, катки... DVD-GAN пришлось «бороться» за создание сложных объектов в этой области с более высоким разрешением, где в движении задействовано гораздо большее количество пикселей. Тем не менее, исследователи отметили, что после оценки на UCF-101 (меньший набор данных из 13 320 видеозаписей человеческих действий) образцы видео, созданные с помощью DVD-GAN, получили хорошие оценки.Inception Score составляет 32,97, что совсем неплохо.

• Модель искусственного интеллекта MIT может самостоятельно фиксировать отношения между объектами с минимальными обучающими данными.

Образец видео, созданный DVD-GAN, получил начальный балл 32,97.

«В дальнейшем мы хотим еще больше подчеркнуть преимущества обучения генеративных моделей на больших и сложных наборах видеоданных, таких как Kinetic-600. Хотя еще предстоит проделать большую работу, прежде чем можно будет последовательно создавать реалистичные видеоролики в неограниченном диапазоне настроек, мы считаем, что DVD-GAN является идеальным шагом на пути к реализации этой мечты», — сказал представитель компании. Исследовательская команда.

Что вы думаете о модели искусственного интеллекта DVD-GAN от DeepMind? Пожалуйста, оставьте свои комментарии ниже!