O modelo de IA da DeepMind pode aprender como criar vídeos apenas assistindo a clipes do YouTube

Talvez você já tenha ouvido falar do FaceApp, um aplicativo móvel de edição de fotos que está recebendo grande atenção em todo o mundo com a capacidade de aplicar inteligência artificial (IA) para editar selfies com altíssimo grau de autenticidade. Or This Person Does Not Exist, outro aplicativo de edição de fotos que pode criar retratos interessantes baseados em personagens gráficos fictícios gerados por computador. Esses são apenas dois dos muitos aplicativos excelentes com presença de IA em tarefas relacionadas à edição e criação de fotos. E quanto à edição de vídeo?

Recentemente, a DeepMind, subsidiária da Alphabet, que atua principalmente na área de desenvolvimento de inteligência artificial, anunciou uma invenção completamente nova chamada "Geração Eficiente de Vídeo em Conjuntos de Dados Complexos". campo de edição e pós-produção de vídeo no futuro. Este é basicamente um algoritmo de IA que pode aprender como criar clipes simples a partir dos vídeos aos quais foi exposto durante o processo de treinamento.

• Este site pode transformar sua selfie jovem em um retrato vintage assustador

DVD-GAN agora pode gerar automaticamente vídeos de amostra com layouts completos de objetos

Pesquisadores da DeepMind disseram que seu modelo com melhor desempenho até o momento - Dual Video Discriminator GAN (DVD-GAN) - foi capaz de criar vídeos com uma resolução de 256 x 256 pixels, combinada com alta resolução. A fidelidade é louvável e a duração é alta. para 48 quadros.

“Criar vídeos com alto nível de naturalidade e realismo é o maior desafio dos modelos de IA atuais. Entre eles, os factores dificultadores mais significativos não são outros senão a complexidade da recolha de dados e dos requisitos de cálculo. Por esta razão, muitos trabalhos relacionados com a criação de vídeos no passado giravam frequentemente em torno de conjuntos de dados relativamente simples ou tarefas onde estavam disponíveis informações em tempo real. Atualmente, estamos nos concentrando em tarefas de síntese e previsão de vídeo e pretendemos estender os resultados dos principais modelos de IA de criação de imagens para vídeo - o lado complexo é muito melhor”, disse um representante da equipe de pesquisa.

A equipe construiu seu sistema em torno de uma arquitetura avançada de IA, ao mesmo tempo em que introduziu uma série de ajustes específicos de vídeo, permitindo assim que o processo de treinamento fosse conduzido com base no Kinetic-600 - um conjunto de dados inclui vídeos "naturais", que são muito maiores em termos de tamanho. escala do que o habitual. Especificamente, os pesquisadores aproveitaram as vantagens das redes adversárias generativas (GANs).

• A Nvidia levou apenas 3 semanas para criar um dos supercomputadores de IA mais poderosos do mundo

Um conjunto de videoclipes sintéticos de 4 segundos treinados em 12 quadros de 128 × 128 do Kinetic-600.

Se você não sabe, GAN é um sistema de IA que consiste em duas partes distintas: A primeira é uma rede generativa, que ajuda a criar amostras de treinamento (dados falsos), com o objetivo de criar a semelhança mais realista. . E a segunda é a rede Discriminativa: que tenta distinguir entre dados reais e dados falsos. Os sistemas GAN têm sido aplicados em muitas tarefas intensivas, como a conversão de legendas em histórias contextuais, especialmente a criação de fotos artificiais com realismo extremamente elevado.

DVD-GAN contém redes discriminativas duplas: o algoritmo discriminativo pode revelar diferenças no conteúdo e na estrutura de um único quadro, amostrando aleatoriamente quadros de resolução total e processando-os. Processá-los individualmente e diferenciados ao longo do tempo fornece dicas de aprendizagem para gerar movimento. Um único módulo – denominado Transformer – permite a distribuição de dados e informações aprendidas em todo o modelo de IA.

• O Google lança um enorme data warehouse de treinamento de IA com mais de 5 milhões de fotos de 200.000 pontos de referência em todo o mundo

Quanto ao corpus de treinamento do Kinetic-600, este é essencialmente um conjunto de dados gigante, compilado a partir de mais de 500.000 clipes de alta resolução do YouTube com duração não superior a 10 segundos. Esses vídeos foram inicialmente selecionados para reconhecer ações humanas, com os pesquisadores descrevendo esse corpus como “diversificado” e “irrestrito”, fatores que são particularmente relevantes no treinamento de modelos abertos semelhantes ao DVD-GAN da DeepMind. (No campo do aprendizado de máquina, existe um termo “overfitting”, que é usado para se referir a modelos que se ajustam muito de perto a um conjunto específico de dados e, como resultado, não conseguem prever as observações nos dados de maneira confiável.) .

De acordo com o relatório da equipe de pesquisa, após ser continuamente treinado pelo sistema Tensor Processing Units de 3ª geração do Google por um período de 12 a 96 horas, o DVD-GAN agora é capaz de gerar vídeos por conta própria. O modelo possui layouts completos de objetos, movimentos e até mesmo estruturas complexas, como reflexos em superfícies de rios, pistas de gelo... O DVD-GAN teve que "lutar" para criar objetos complexos nesta área de resolução mais alta, onde o movimento envolve um número muito maior de pixels. No entanto, os investigadores notaram que, depois de serem avaliadas no UCF-101 (um conjunto de dados mais pequeno de 13.320 vídeos de ações humanas), as amostras de vídeo geradas pelo DVD-GAN obtiveram uma boa pontuação.A pontuação inicial é 32,97 - nada mal.

• O modelo de IA do MIT pode capturar relacionamentos entre objetos por conta própria com dados de treinamento mínimos

A amostra de vídeo criada pelo DVD-GAN alcançou uma pontuação inicial de 32,97

“No futuro, queremos enfatizar ainda mais os benefícios do treinamento de modelos generativos em conjuntos de dados de vídeo grandes e complexos, como o Kinetic-600. Embora ainda haja muito trabalho a ser feito antes que vídeos realistas possam ser gerados de forma consistente em uma gama irrestrita de configurações, acreditamos que o DVD-GAN é o trampolim perfeito para realizar esse sonho”, disse um representante do time de pesquisa.

O que você acha do modelo DVD-GAN AI da DeepMind? Por favor, deixe seus comentários abaixo!