A IA da Microsoft leva três segundos para imitar a voz de qualquer pessoa

Vall-E, uma IA criada pela Microsoft, pode imitar o tom e a fala de pessoas reais ouvindo sua voz por três segundos, embora ainda soe um pouco como a voz de um robô.

IA Vall-E da Microsoft. Foto da ilustração: VallE-Demo.

Este sistema de IA da Microsoft é chamado de "modelo de linguagem de codec neural". Um codec é uma ferramenta que usa algoritmos para processar vídeo e armazená-lo em um fluxo de bytes. Arquivos de áudio ou vídeo são reduzidos e descompactados para diversos fins.

Vall-E foi construído pela Microsoft na plataforma EnCodec, um codec de áudio que utiliza técnicas de aprendizado de máquina desenvolvido em 2022 pela Meta. Vall-E cria codecs de áudio exclusivos capturando e analisando o áudio de cada pessoa e, em seguida, as informações são divididas em partes chamadas “tokens” por meio do EnCodec. Isso é diferente dos métodos anteriores de conversão de texto em fala, que geralmente são em forma de onda.

Vall-E então usa os dados de treinamento para comparar o que “sabe” sobre a entonação da fala, para que possa dizer outras frases de acordo com o que “aprendeu”.

Todo esse processo de imitação de fala é feito em três segundos – nunca antes alcançado por qualquer sistema de IA de imitação de linguagem hoje.

A Microsoft usa uma biblioteca contendo 60.000 horas de conversação em inglês de mais de 7.000 pessoas para treinar Vall-E. Esta biblioteca será adicionada ao longo do tempo e em mais idiomas.

A Microsoft espera que o Vall-E seja aplicado em software de conversão de texto em fala de alta qualidade.

No entanto, o Vall-E faz com que os especialistas se preocupem com a possibilidade de ele ser usado para fins maliciosos. Esta IA pode ser usada por bandidos para personificar vozes com fins de fraude e extorsão. Se esta IA for combinada com vídeos deepfake, o nível de perigo pode multiplicar-se muitas vezes.