Facebook stworzył sztuczną inteligencję, która może przetłumaczyć 100 różnych języków bez konieczności wcześniejszej znajomości języka angielskiego

Facebook właśnie udostępnił na zasadach open source model sztucznej inteligencji z imponującymi możliwościami tłumaczenia na aż 100 języków bez konieczności tłumaczenia ich najpierw na angielski w ramach etapu pośredniego, co często można znaleźć w narzędziach tłumaczeniowych opartych na dzisiejszej sztucznej inteligencji.

Ten model sztucznej inteligencji nosi nazwę M2M-100 i znajduje się obecnie dopiero na poziomie projektu badawczego. Jednak po zakończeniu etapów rozwoju (w najbliższej przyszłości) będzie można go wykorzystać do całkowitego rozwiązania zadania tłumaczenia postów i komentarzy użytkowników Facebooka - z różnych języków, różnych języków na całym świecie. Według najnowszych statystyk, obecnie ponad 2/3 użytkowników Facebooka nie posługuje się językiem angielskim do komunikacji na tym portalu społecznościowym.

„Nasi badacze sztucznej inteligencji ciężko pracowali przez wiele lat, aby zbudować i opracować jeden ogólny model, który pozwala zrozumieć różne języki w różnych sytuacjach i zadaniach. Pojedynczy model obsługujący wszystkie języki i dialekty oraz stale aktualizowane i optymalizowane tłumaczenia pomogą nam zapewnić lepsze doświadczenia miliardom użytkowników Facebooka ” – stwierdziła badaczka AI Facebook Angela Fan w poście opublikowanym na blogpost.al.

Nowy model AI może obsługiwać wiele różnych rodzajów tłumaczeń na Facebooku

M2M-100 jest szkolony na zbiorze danych obejmującym 7,5 miliarda par wspólnych zdań ze 100 różnych języków, wszystkie zebrane z Internetu. Facebook twierdzi, że wszystkie zasoby mają charakter open source i korzystają z danych publicznych.

Aby zarządzać tak dużą bazą danych szkoleniowych, badacze sztucznej inteligencji z Facebooka skupiają się głównie na tłumaczeniach na najczęściej żądane języki, ograniczając jednocześnie rzadkie zdania i języki. Następnie podzielą te języki na 14 różnych grup w oparciu o podobieństwa językowe, geograficzne i kulturowe. Takie podejście uważa się za bardziej optymalne, ponieważ osoby w krajach, które mają powyższe wspólne cechy, odniosą większe korzyści ze zoptymalizowanych tłumaczeń w danej grupie językowej.

Języki należące do różnych grup zostaną połączone poprzez niewielką liczbę języków pomostowych. W przykładzie grupy języków indyjskich hindi, bengalski i tamilski pełnią rolę języków pomostowych dla języków indoaryjskich. W trakcie całego procesu gromadzenia i selekcji badacze uzyskali zbiór danych składający się z 7,5 miliarda równoległych zdań odpowiadających 2200 kierunkom tłumaczenia.

W przypadku języków, którym brakuje wysokiej jakości danych tłumaczeniowych, badacze zastosowali metodę zwaną tłumaczeniem wstecznym, aby utworzyć tłumaczenia syntetyczne, które mogą uzupełniać wydobywane dane.

Ogólnie rzecz biorąc, połączenie tych technik zaowocowało pierwszym na świecie wielojęzycznym modelem tłumaczenia maszynowego (MMT), który umożliwia tłumaczenie na dowolny ze 100 języków bez polegania na danych. Jak wynika z oświadczenia Facebooka, standardem jest język angielski.

„Na przykład zwykle podczas tłumaczenia z chińskiego na francuski większość obecnych modeli tłumaczeń wielojęzycznych będzie skoncentrowana na języku angielskim, będą one tłumaczyć język chiński na angielski i z angielskiego na francuski, ponieważ dane szkoleniowe w języku angielskim są najbardziej dostępne i popularne. Zamiast tego podążając za tym motywem, nasz model bezpośrednio tłumaczy chińskie dane na francuski, aby zapewnić maksymalne zachowanie znaczenia tłumaczenia”.

Obecnie M2M-100 nie jest jeszcze zintegrowany z żadnym produktem, ale testy pokazują, że może obsługiwać wiele różnych typów tłumaczeń na Facebooku, gdzie ludzie nadal publikują treści co godzinę w ponad 160 językach.