Desenvolveu com sucesso um modelo de IA que pode traduzir a linguagem em movimentos físicos

Pesquisadores de IA da Universidade Carnegie Mellon, Pensilvânia, EUA, desenvolveram recentemente com sucesso um modelo de IA profundo, capaz de traduzir idiomas (texto, voz) em movimentos e gestos físicos com precisão relativamente alta.

Este modelo de IA é denominado Joint Language-to-Pose (JL2P) e é conhecido como um método que fornece a capacidade de combinar linguagem natural com modelos eficazes de simulação de pose 3D quando usado em aplicação prática em um futuro próximo.

• O modelo de IA da DeepMind pode aprender como criar vídeos apenas assistindo a clipes do YouTube

Este modelo de IA é denominado Joint Language-to-Pose (JL2P).

A capacidade do JL2P de analisar e simular posturas e gestos no espaço 3D é exaustivamente treinada por meio de programas completos - uma abordagem de programação poderosa e eficaz. O programa de treinamento é “dividido” em sequências individuais. O modelo de IA terá que completar tarefas curtas e simples antes de poder avançar para objetivos mais complexos.

Atualmente, os recursos de simulação de animação do JL2P são limitados a imagens rudimentares (compostas de linhas retas simples), mas a capacidade de simular movimentos semelhantes aos humanos é baseada na linguagem do modelo. Esta visualização de IA é relativamente precisa e intuitiva. A equipe acredita que modelos como o JL2P poderão um dia ajudar os robôs a realizar tarefas físicas no mundo real semelhantes às dos humanos, ou ajudar na criação de personagens animados virtuais para videogames e filmes.

• Bicicletas automotoras desenvolvidas com sucesso usando chips de IA que podem raciocinar e aprender como humanos

Os recursos de simulação de animação do JL2P são limitados a imagens simples e rudimentares

Na verdade, a ideia de desenvolver um modelo de IA com capacidade de traduzir a linguagem em movimentos físicos não é nova. Antes de a Carnegie Mellon University apresentar o JL2P, a Microsoft também desenvolveu com sucesso um modelo chamado ObjGAN, com a tarefa de esboçar imagens e storyboards (um quadro que esboça a história que você deseja contar em forma de imagem) a partir de anotações linguísticas. Outro modelo de IA da Disney também é amplamente conhecido por sua capacidade de usar as palavras do roteiro para criar storyboards. Ou o mais famoso é o modelo GauGAN da Nvidia , que pode transformar um doodle criado com um trackpad ou Microsoft Paint em esboços digitais inteligentes com estética extremamente elevada.

Voltando ao JL2P, este modelo de IA agora pode simular com muita precisão uma série de movimentos, desde simples até relativamente complexos, como caminhar ou correr, tocar instrumentos musicais (como violão ou violino), seguir instruções pré-determinadas, direção (esquerda ou direita) ou velocidade. controle (rápido ou lento).

• Desenvolveu com sucesso um “teclado imaginário” para telas sensíveis ao toque e VR, alimentado por IA

JL2P agora pode simular com muita precisão uma série de movimentos que variam de simples a relativamente complexos

“Primeiro otimizamos o modelo para prever dois intervalos de tempo com base em frases completas. Esta tarefa simples pode ajudar o modelo de IA a aprender a simular sequências de postura muito curtas, como movimentos das pernas ao caminhar, movimentos das mãos ao acenar ou postura corporal e postura ao se curvar. Depois que JL2P aprender como simular os mesmos gestos com alta precisão, passamos para a próxima etapa do currículo. O modelo agora recebe dois (números) de poses para prever ao mesmo tempo”, disse a equipe de pesquisa da Universidade Carnegie Mellon.

• A IA já sabe jogar pôquer, vencendo os melhores do mundo em um jogo para 6 jogadores

Simula a postura de corrida de uma pessoa normal

Detalhes do modo de operação do JL2P, bem como “trabalhos” típicos foram apresentados pela primeira vez em artigo científico publicado em 2 de julho no site arXiv.org, e deverão ser apresentados pelo painel de autores e pesquisadores do no Instituto de Tecnologia da Linguagem Chaitanya Ahuja da CMU no dia 19 de setembro, no palco da Conferência Internacional sobre Visão 3D que acontece em Quebec, Canadá.

A equipe de pesquisa afirma com segurança que o JL2P pode simular postura e movimentos físicos com 9% mais precisão do que outro modelo de IA de “alto nível” desenvolvido pelos especialistas em IA da SRI International em 2018.

• O deepfake da Samsung pode fazer o monge sombrio Rasputin cantar de verdade

JL2P simula a ação humana de se levantar com uma mão

Produto criado por JL2P após ser treinado com o conjunto de dados de linguagem de movimento KIT (KIT Motion-Language Dataset).

JL2P simula a ação de saltar obstáculos e correr

Introduzido pela primeira vez em 2016 pela Performance Humanoid Technologies, Alemanha, este conjunto de dados de mineração é uma combinação de movimento humano com descrições em linguagem natural, mapeando 11 horas de movimento contínuo de uma pessoa por vez, registrado em mais de 6.200 frases em inglês, cada uma com cerca de 8 palavras. longo.