Facebook a creat AI care poate traduce 100 de limbi diferite, fără a fi nevoie să treacă mai întâi prin engleză

Facebook tocmai a deschis un model AI cu capabilități impresionante de traducere în până la 100 de limbi, fără a fi nevoie să le traducă mai întâi în engleză ca pas intermediar, care se găsește adesea pe instrumentele de traducere bazate pe inteligența artificială de astăzi.

Acest model AI se numește M2M-100 și este în prezent doar la nivel de proiect de cercetare. Cu toate acestea, odată ce etapele de dezvoltare sunt finalizate (în viitorul apropiat), poate fi folosit pentru a rezolva complet sarcina de a traduce postările și comentariile utilizatorilor Facebook - dintr-o varietate de limbi, diferite limbi din întreaga lume. Conform ultimelor statistici, în prezent, mai mult de 2/3 dintre utilizatorii Facebook nu folosesc limba engleză pentru a comunica pe această platformă de socializare.

„Cercetătorii noștri AI au muncit din greu de mulți ani pentru a construi și dezvolta un singur model general care poate înțelege o varietate de limbi într-o varietate de situații și sarcini. Un singur model care acceptă toate limbile, dialectele și traducerile actualizate și optimizate continuu ne va ajuta să oferim o experiență mai bună pentru miliarde de utilizatori Facebook ”, a spus cercetătorul AI Facebook Angela Fan într-o postare postată pe blogpost.al.

Noul model AI poate suporta multe tipuri diferite de traduceri pe Facebook

M2M-100 este antrenat pe un set de date de 7,5 miliarde de perechi de propoziții comune din 100 de limbi diferite, toate colectate de pe internet. Facebook spune că toate resursele sunt open source și folosesc date publice.

Pentru a gestiona o astfel de bază de date de instruire la scară largă, cercetătorii Facebook AI se concentrează în principal pe traducerile lingvistice cele mai frecvent solicitate, limitând în același timp propozițiile și limbile rare. Ei vor grupa apoi aceste limbi în 14 grupuri diferite, pe baza asemănărilor lingvistice, geografice și culturale. Această abordare este considerată mai optimă deoarece oamenii din țările care împărtășesc caracteristicile comune de mai sus vor beneficia mai mult de pe urma traducerilor optimizate într-un anumit grup de limbi.

Limbile aparținând unor grupuri diferite vor fi conectate printr-un număr mic de limbi punte. În exemplul grupului de limbi indiene, hindi, bengali și tamil acționează ca limbi punte pentru limbile indo-ariane. Pe parcursul întregului proces de colectare și selecție, cercetătorii au realizat un set de date format din 7,5 miliarde de propoziții paralele, corespunzătoare a 2.200 de direcții de traducere.

Pentru limbile cărora le lipsesc date de traducere de calitate, cercetătorii au folosit o metodă numită retro-traducere pentru a crea traduceri sintetice care pot completa datele extrase.

În general, combinația acestor tehnici a dus la primul model de traducere automată multilingvă (MMT) din lume care poate traduce între oricare dintre cele 100 de limbi fără a se baza pe date. Engleza este standardul, potrivit unui comunicat de la Facebook.

„De exemplu, în mod normal, atunci când traduceți din chineză în franceză, majoritatea modelelor actuale de traducere multilingvă vor fi centrate pe engleză, vor traduce chineza în engleză și din engleză în franceză, deoarece datele de instruire în limba engleză sunt cele mai disponibile și mai populare. de a urmări acest motiv, modelul nostru traduce direct datele din chineză în franceză pentru a asigura reținerea maximă a sensului traducerii".

În prezent, M2M-100 nu este încă integrat în niciun produs, dar testele arată că poate suporta multe tipuri diferite de traduceri pe Facebook, unde oamenii încă postează conținut în fiecare oră în peste 160 de limbi.