Facebook ha creato unintelligenza artificiale in grado di tradurre 100 lingue diverse, senza dover prima passare attraverso linglese

Facebook ha appena reso open source un modello di intelligenza artificiale con impressionanti capacità di traduzione in un massimo di 100 lingue senza bisogno di tradurle prima in inglese come passaggio intermedio, cosa che spesso si trova negli strumenti di traduzione basati sull'intelligenza artificiale di oggi.

Questo modello di intelligenza artificiale si chiama M2M-100 ed è attualmente solo a livello di progetto di ricerca. Tuttavia, una volta completate le fasi di sviluppo (nel prossimo futuro), sarà possibile risolvere completamente il compito di tradurre i post e i commenti degli utenti di Facebook, da una varietà di lingue diverse in tutto il mondo. Secondo le ultime statistiche, attualmente più di 2/3 degli utenti di Facebook non usano l'inglese per comunicare su questa piattaforma di social network.

“I nostri ricercatori sull’intelligenza artificiale hanno lavorato duramente per molti anni per costruire e sviluppare un unico modello generale in grado di comprendere una varietà di linguaggi in una varietà di situazioni e compiti. . Un unico modello che supporta tutte le lingue, i dialetti e le traduzioni continuamente aggiornate e ottimizzate ci aiuterà a offrire un'esperienza migliore a miliardi di utenti di Facebook ", ha affermato la ricercatrice AI Facebook Angela Fan in un post pubblicato su blogpost.al.

Il nuovo modello di intelligenza artificiale può supportare molti tipi diversi di traduzioni su Facebook

M2M-100 viene addestrato su un set di dati di 7,5 miliardi di coppie di frasi comuni provenienti da 100 lingue diverse, tutte raccolte da Internet. Facebook afferma che le risorse sono tutte open source e utilizzano dati pubblici.

Per gestire un database di formazione così ampio, i ricercatori di Facebook AI si concentrano principalmente sulle traduzioni linguistiche più comunemente richieste, limitando frasi e lingue rare. Raggrupperanno quindi queste lingue in 14 gruppi diversi, in base a somiglianze linguistiche, geografiche e culturali. Questo approccio è considerato più ottimale perché le persone che vivono in paesi che condividono le caratteristiche comuni di cui sopra trarranno maggiori benefici da traduzioni ottimizzate in un dato gruppo linguistico.

Le lingue appartenenti a gruppi diversi saranno collegate attraverso un piccolo numero di lingue ponte. Nell'esempio del gruppo linguistico indiano, l'hindi, il bengalese e il tamil fungono da lingue ponte per le lingue indo-ariane. Attraverso l'intero processo di raccolta e selezione, i ricercatori hanno ottenuto un set di dati composto da 7,5 miliardi di frasi parallele, corrispondenti a 2.200 direzioni di traduzione.

Per le lingue prive di dati di traduzione di qualità, i ricercatori hanno utilizzato un metodo chiamato back-translation per creare traduzioni sintetiche che possano integrare i dati estratti.

Nel complesso, la combinazione di queste tecniche ha dato vita al primo modello di traduzione automatica multilingue (MMT) al mondo in grado di tradurre tra 100 lingue senza fare affidamento sui dati. L'inglese è lo standard, secondo una dichiarazione di Facebook.

"Ad esempio, normalmente, quando si traduce dal cinese al francese, la maggior parte dei modelli di traduzione multilingue attuali saranno incentrati sull'inglese, tradurranno dal cinese all'inglese e dall'inglese al francese, perché i dati di addestramento dell'inglese sono i più disponibili e popolari. Invece Seguendo questo motivo, il nostro modello traduce direttamente i dati cinesi in francese per garantire la massima conservazione del significato della traduzione".

Attualmente M2M-100 non è ancora integrato in nessun prodotto, ma i test dimostrano che può supportare molti tipi diversi di traduzioni su Facebook, dove le persone pubblicano ancora contenuti ogni ora in più di 160 lingue.