O Facebook criou uma IA que pode traduzir 100 idiomas diferentes, sem precisar passar primeiro pelo inglês

O Facebook acaba de abrir o código-fonte de um modelo de IA com capacidades de tradução impressionantes em até 100 idiomas, sem a necessidade de traduzi-los primeiro para o inglês como uma etapa intermediária, o que é frequentemente encontrado em ferramentas de tradução baseadas na inteligência artificial atual.

Este modelo de IA é denominado M2M-100 e atualmente está apenas no nível de projeto de pesquisa. No entanto, uma vez concluídas as etapas de desenvolvimento (em um futuro próximo), ele poderá ser usado para resolver completamente a tarefa de traduzir postagens e comentários de usuários do Facebook – de vários idiomas ao redor do mundo. De acordo com as estatísticas mais recentes, atualmente mais de 2/3 dos utilizadores do Facebook não utilizam o inglês para comunicar nesta plataforma de rede social.

“Nossos pesquisadores de IA trabalharam duro por muitos anos para construir e desenvolver um modelo geral único que pudesse compreender uma variedade de idiomas em uma variedade de situações e tarefas. Um modelo único que suporta todos os idiomas, dialetos e traduções continuamente atualizadas e otimizadas nos ajudará a oferecer uma experiência melhor para bilhões de usuários do Facebook ”, disse a pesquisadora AI do Facebook Angela Fan em uma postagem colocada no blogpost.al.

O novo modelo de IA pode suportar muitos tipos diferentes de traduções no Facebook

O M2M-100 é treinado em um conjunto de dados de 7,5 bilhões de pares de frases comuns de 100 idiomas diferentes, todos coletados da Internet. O Facebook diz que todos os recursos são de código aberto e usam dados públicos.

Para gerenciar um banco de dados de treinamento em grande escala, os pesquisadores de IA do Facebook se concentram principalmente nas traduções de idiomas mais solicitadas, ao mesmo tempo em que limitam frases e idiomas raros. Eles irão então agrupar essas línguas em 14 grupos diferentes, com base em semelhanças linguísticas, geográficas e culturais. Esta abordagem é considerada mais óptima porque as pessoas em países que partilham as características comuns acima beneficiarão mais de traduções optimizadas num determinado grupo linguístico.

Idiomas pertencentes a diferentes grupos serão conectados por meio de um pequeno número de idiomas-ponte. No exemplo do grupo de línguas indianas, o hindi, o bengali e o tâmil atuam como línguas-ponte para as línguas indo-arianas. Ao longo de todo o processo de coleta e seleção, os pesquisadores alcançaram um conjunto de dados composto por 7,5 bilhões de frases paralelas, correspondendo a 2.200 direções de tradução.

Para idiomas que carecem de dados de tradução de qualidade, os pesquisadores usaram um método chamado retrotradução para criar traduções sintéticas que podem complementar os dados extraídos.

No geral, a combinação dessas técnicas resultou no primeiro modelo de tradução automática multilíngue (MMT) do mundo que pode traduzir entre qualquer um dos 100 idiomas sem depender de dados. O inglês é o padrão, de acordo com um comunicado do Facebook.

"Por exemplo, normalmente, ao traduzir do chinês para o francês, a maioria dos modelos de tradução multilíngue atuais serão centrados no inglês, eles traduzirão o chinês para o inglês e do inglês para o francês, porque os dados de treinamento em inglês são os mais disponíveis e também populares. Em vez disso, Seguindo esse motivo, nosso modelo traduz diretamente os dados chineses para o francês para garantir a máxima retenção do significado da tradução".

Atualmente o M2M-100 ainda não está integrado a nenhum produto, mas testes mostram que ele pode suportar diversos tipos de traduções no Facebook, onde as pessoas ainda postam conteúdo a cada hora em mais de 160 idiomas.