Успешно разработана модель искусственного интеллекта, которая может переводить язык в физические движения.

Исследователи искусственного интеллекта из Университета Карнеги-Меллона, штат Пенсильвания, США, недавно успешно разработали глубокую модель искусственного интеллекта, способную переводить языки (текст, голос) в движения и жесты физики с относительно высокой точностью.

Эта модель ИИ называется Joint Language-to-Pose (JL2P) и известна как метод, который обеспечивает возможность сочетать естественный язык с эффективными трехмерными моделями моделирования поз при практическом применении в ближайшем будущем.

• Модель искусственного интеллекта DeepMind может научиться создавать видео, просто просматривая клипы на YouTube.

Эта модель ИИ называется Joint Language-to-Pose (JL2P).

Способность JL2P анализировать и моделировать позы и жесты в трехмерном пространстве тщательно тренируется с помощью сквозных программ — мощный и эффективный подход к программированию. Программа обучения «разбивается» на отдельные последовательности. Модель ИИ должна будет выполнить короткие простые задачи, прежде чем ей будет позволено перейти к более сложным целям.

В настоящее время возможности симуляции анимации JL2P ограничены элементарными изображениями (состоящими из простых прямых линий), но способность имитировать человеческие движения основана на языке модели.Эта визуализация AI является относительно точной и интуитивно понятной. Команда считает, что такие модели, как JL2P, однажды смогут помочь роботам выполнять реальные физические задачи, аналогичные людям, или помочь в создании виртуальных анимированных персонажей для видеоигр, а также фильмов.

• Успешная разработка самоходных велосипедов с использованием чипов искусственного интеллекта, способных рассуждать и учиться, как люди.

Возможности моделирования анимации JL2P ограничены элементарными простыми изображениями.

На самом деле идея разработки модели ИИ, способной переводить язык в физические движения, не нова. До того, как Университет Карнеги-Меллон представил JL2P, Microsoft также успешно разработала модель под названием ObjGAN, задачей которой было создание эскизов изображений и раскадровок (доска, которая рисует историю, которую вы хотите рассказать в форме изображения) на основе лингвистических аннотаций. Другая модель искусственного интеллекта Disney также широко известна своей способностью использовать слова в сценарии для создания раскадровки. Или самой известной является модель GauGAN от Nvidia , которая может превратить рисунок, созданный с помощью трекпада или Microsoft Paint, в интеллектуальные цифровые эскизы с чрезвычайно высокой эстетикой.

Возвращаясь к JL2P, эта модель ИИ теперь может очень точно имитировать ряд движений, от простых до относительно сложных, таких как ходьба или бег, игра на музыкальных инструментах (например, гитаре или скрипке), следование заданным инструкциям, направление (влево или вправо) или скорость. управление (быстрое или медленное).

• Успешная разработка «воображаемой клавиатуры» для сенсорных экранов и виртуальной реальности на базе искусственного интеллекта.

JL2P теперь может очень точно моделировать ряд движений, от простых до относительно сложных.

«Сначала мы оптимизировали модель для прогнозирования двух временных шагов на основе полных предложений. Эта простая задача может помочь модели ИИ научиться моделировать очень короткие последовательности поз, такие как движения ног при ходьбе, движения рук при махании рукой или позу тела и позу при поклоне. Как только JL2P научится имитировать одни и те же жесты с высокой точностью, мы переходим к следующему этапу учебной программы. Теперь модели дается две (количества) поз для прогнозирования одновременно», — заявила исследовательская группа Университета Карнеги-Меллон.

• ИИ уже знает, как играть в покер, обыгрывая лучших игроков мира в игре для 6 игроков.

Имитирует беговую позу нормального человека.

Подробности о режиме работы JL2P, а также типичные «работы» были впервые представлены в научной статье, опубликованной 2 июля на сайте arXiv.org, и, как ожидается, будут представлены группой авторов и исследователей JL2P. Институт языковых технологий CMU Чайтанья Ахуджа 19 сентября на сцене Международной конференции по 3D Vision, проходящей в Квебеке, Канада.

Исследовательская группа уверенно утверждает, что JL2P может моделировать позу и физические движения на 9% точнее, чем другая «первоклассная» модель искусственного интеллекта, разработанная экспертами по искусственному интеллекту SRI International в 2018 году.

• Дипфейк от Samsung может заставить темного монаха Распутина петь по-настоящему

JL2P имитирует человеческое вставание с одной рукой.

Продукт, созданный JL2P после обучения с использованием набора данных языка движения KIT (KIT Motion-Language Dataset).

JL2P имитирует прыжки через препятствия и бег.

Этот набор данных для майнинга, впервые представленный в 2016 году компанией Performance Humanoid Technologies, Германия, представляет собой комбинацию движений человека с описаниями на естественном языке, отображая по одному 11 часов непрерывного движения людей, записанных в более чем 6200 английских предложений, каждое из которых состоит примерно из 8 слов. длинный.