Facebook creó una IA que puede traducir 100 idiomas diferentes, sin necesidad de pasar primero por el inglés

Facebook acaba de abrir un modelo de IA con impresionantes capacidades de traducción en hasta 100 idiomas sin necesidad de traducirlos primero al inglés como paso intermedio, algo que a menudo se encuentra en las herramientas de traducción basadas en la inteligencia artificial actual.

Este modelo de IA se llama M2M-100 y actualmente solo se encuentra a nivel de proyecto de investigación. Sin embargo, una vez que se completen las etapas de desarrollo (en un futuro cercano), se podrá utilizar para resolver por completo la tarea de traducir las publicaciones y comentarios de los usuarios de Facebook, desde una variedad de idiomas diferentes en todo el mundo. Según las últimas estadísticas, actualmente más de 2/3 de los usuarios de Facebook no utilizan el inglés para comunicarse en esta plataforma de red social.

“Nuestros investigadores de IA han trabajado duro durante muchos años para construir y desarrollar un modelo general único que pueda comprender una variedad de idiomas en una variedad de situaciones y tareas. Un modelo único que admita todos los idiomas, dialectos y traducciones continuamente actualizadas y optimizadas nos ayudará a ofrecer una mejor experiencia a miles de millones de usuarios de Facebook ”, dijo la investigadora de IA de Facebook Angela Fan en una publicación publicada en blogpost.al.

El nuevo modelo de IA puede admitir muchos tipos diferentes de traducciones en Facebook

M2M-100 se entrena con un conjunto de datos de 7.500 millones de pares de oraciones comunes de 100 idiomas diferentes, todos recopilados de Internet. Facebook dice que todos los recursos son de código abierto y utilizan datos públicos.

Para gestionar una base de datos de formación a tan gran escala, los investigadores de inteligencia artificial de Facebook se centran principalmente en las traducciones de idiomas más solicitadas, al tiempo que limitan las frases y los idiomas poco comunes. Luego agruparán estas lenguas en 14 grupos diferentes, basándose en similitudes lingüísticas, geográficas y culturales. Este enfoque se considera más óptimo porque las personas de países que comparten las características comunes mencionadas anteriormente se beneficiarán más de las traducciones optimizadas en un grupo lingüístico determinado.

Los idiomas pertenecientes a diferentes grupos se conectarán a través de un pequeño número de idiomas puente. En el ejemplo del grupo lingüístico indio, el hindi, el bengalí y el tamil actúan como lenguas puente para las lenguas indoarias. A lo largo de todo el proceso de recopilación y selección, los investigadores han logrado un conjunto de datos que consta de 7.500 millones de frases paralelas, correspondientes a 2.200 direcciones de traducción.

Para los idiomas que carecen de datos de traducción de calidad, los investigadores han utilizado un método llamado retrotraducción para crear traducciones sintéticas que puedan complementar los datos extraídos.

En general, la combinación de estas técnicas dio como resultado el primer modelo de traducción automática multilingüe (MMT) del mundo que puede traducir entre cualquiera de 100 idiomas sin depender de datos. El inglés es el estándar, según un comunicado de Facebook.

"Por ejemplo, normalmente, al traducir del chino al francés, la mayoría de los modelos de traducción multilingüe actuales se centrarán en el inglés, traducirán del chino al inglés y del inglés al francés, porque los datos de capacitación en inglés son los más disponibles y los más populares. De seguir este motivo, nuestro modelo traduce directamente los datos chinos al francés para garantizar la máxima retención del significado de la traducción".

Actualmente, M2M-100 aún no está integrado en ningún producto, pero las pruebas muestran que puede admitir muchos tipos diferentes de traducciones en Facebook, donde la gente todavía publica contenido cada hora en más de 160 idiomas.