Facebook создал ИИ, который может переводить 100 разных языков без необходимости сначала изучать английский

Facebook только что открыл исходный код модели искусственного интеллекта с впечатляющими возможностями перевода на более чем 100 языков без необходимости предварительного перевода на английский в качестве промежуточного шага, что часто встречается в инструментах перевода, основанных на современном искусственном интеллекте.

Эта модель ИИ называется M2M-100 и в настоящее время находится только на уровне исследовательского проекта. Однако, как только этапы разработки будут завершены (в ближайшем будущем), его можно будет использовать для полного решения задачи по переводу постов и комментариев пользователей Facebook — с множества языков разных языков по всему миру. Согласно последним статистическим данным, в настоящее время более 2/3 пользователей Facebook не используют английский язык для общения на этой платформе социальной сети.

«Наши исследователи искусственного интеллекта в течение многих лет усердно работали над созданием и разработкой единой общей модели, способной понимать множество языков в самых разных ситуациях и задачах. Единая модель, которая поддерживает все языки и диалекты, а также постоянно обновляемые и оптимизированные переводы, поможет нам обеспечить лучший опыт для миллиардов пользователей Facebook », — заявила исследователь AI Facebook Анджела Фан в сообщении, размещенном на blogpost.al.

Новая модель искусственного интеллекта может поддерживать множество различных типов переводов на Facebook.

M2M-100 обучается на наборе данных из 7,5 миллиардов пар общих предложений со 100 разных языков, собранных из Интернета. Facebook заявляет, что все ресурсы имеют открытый исходный код и используют общедоступные данные.

Чтобы управлять такой масштабной базой данных обучения, исследователи искусственного интеллекта Facebook в основном сосредотачиваются на наиболее часто запрашиваемых языковых переводах, ограничивая при этом редкие предложения и языки. Затем они сгруппируют эти языки в 14 различных групп на основе лингвистического, географического и культурного сходства. Этот подход считается более оптимальным, поскольку люди в странах, которые имеют вышеуказанные общие характеристики, получат больше пользы от оптимизированных переводов в данной языковой группе.

Языки, принадлежащие к разным группам, будут связаны через небольшое количество языков-мостов. На примере индийской языковой группы хинди, бенгали и тамильский выступают в качестве языков-мостов для индоарийских языков. В ходе всего процесса сбора и отбора исследователи получили набор данных, состоящий из 7,5 миллиардов параллельных предложений, соответствующих 2200 направлениям перевода.

Для языков, которым не хватает качественных данных о переводе, исследователи использовали метод, называемый обратным переводом, для создания синтетических переводов, которые могут дополнять добытые данные.

В целом, сочетание этих методов привело к созданию первой в мире модели многоязычного машинного перевода (ММТ), которая может переводить на любой из 100 языков, не полагаясь на данные. Согласно заявлению Facebook, стандартом является английский.

«Например, обычно при переводе с китайского на французский большинство современных моделей многоязычного перевода ориентированы на английский язык: они переводят китайский на английский и с английского на французский, потому что данные обучения английскому языку являются наиболее доступными и популярными. Вместо этого они переводят китайский на английский и с английского на французский язык. Следуя этому мотиву, наша модель напрямую переводит китайские данные на французский, чтобы обеспечить максимальное сохранение смысла перевода».

В настоящее время M2M-100 еще не интегрирован ни в какие продукты, но тесты показывают, что он может поддерживать множество различных типов переводов на Facebook, где люди по-прежнему публикуют контент каждый час, на более чем 160 языках.