Facebook hat eine KI entwickelt, die 100 verschiedene Sprachen übersetzen kann, ohne dass zuerst Englisch gelernt werden muss

Facebook hat gerade ein KI-Modell mit beeindruckenden Übersetzungsfähigkeiten in bis zu 100 Sprachen als Open-Source-Lösung bereitgestellt, ohne dass diese als Zwischenschritt zunächst ins Englische übersetzt werden müssen, was häufig bei Übersetzungstools zu finden ist, die auf der heutigen künstlichen Intelligenz basieren.

Dieses KI-Modell heißt M2M-100 und befindet sich derzeit nur auf Forschungsprojektebene. Sobald die Entwicklungsphasen jedoch abgeschlossen sind (in naher Zukunft), kann damit die Aufgabe, Beiträge und Kommentare von Facebook-Nutzern zu übersetzen, vollständig gelöst werden – und zwar aus einer Vielzahl von Sprachen. Verschiedene Sprachen auf der ganzen Welt. Aktuellen Statistiken zufolge verwenden derzeit mehr als zwei Drittel der Facebook-Nutzer kein Englisch, um auf dieser Social-Networking-Plattform zu kommunizieren.

„Unsere KI-Forscher haben viele Jahre lang hart daran gearbeitet, ein einziges allgemeines Modell zu erstellen und zu entwickeln, das eine Vielzahl von Sprachen in einer Vielzahl von Situationen und Aufgaben verstehen kann.“ „Ein einziges Modell, das alle Sprachen, Dialekte und kontinuierlich aktualisierte und optimierte Übersetzungen unterstützt, wird uns dabei helfen, Milliarden von Facebook-Nutzern ein besseres Erlebnis zu bieten “, sagte die KI-Forscherin Facebook Angela Fan in einem auf blogpost.al veröffentlichten Beitrag.

Das neue KI-Modell kann viele verschiedene Arten von Übersetzungen auf Facebook unterstützen

M2M-100 wird anhand eines Datensatzes von 7,5 Milliarden gängigen Satzpaaren aus 100 verschiedenen Sprachen trainiert, die alle aus dem Internet gesammelt wurden. Facebook sagt, dass die Ressourcen alle Open Source sind und öffentliche Daten verwenden.

Um eine so große Trainingsdatenbank zu verwalten, konzentrieren sich die KI-Forscher von Facebook hauptsächlich auf die am häufigsten angeforderten Sprachübersetzungen und begrenzen gleichzeitig seltene Sätze und Sprachen. Anschließend werden sie diese Sprachen basierend auf sprachlichen, geografischen und kulturellen Ähnlichkeiten in 14 verschiedene Gruppen einteilen. Dieser Ansatz wird als optimaler angesehen, da Menschen in Ländern, die die oben genannten gemeinsamen Merkmale aufweisen, mehr von optimierten Übersetzungen in einer bestimmten Sprachgruppe profitieren.

Sprachen, die zu verschiedenen Gruppen gehören, werden durch eine kleine Anzahl von Brückensprachen verbunden. Am Beispiel der indischen Sprachgruppe fungieren Hindi, Bengali und Tamil als Brückensprachen zu den indoarischen Sprachen. Durch den gesamten Sammlungs- und Auswahlprozess haben die Forscher einen Datensatz erreicht, der aus 7,5 Milliarden parallelen Sätzen besteht, was 2.200 Übersetzungsrichtungen entspricht.

Für Sprachen, denen qualitativ hochwertige Übersetzungsdaten fehlen, haben Forscher eine Methode namens Rückübersetzung verwendet, um synthetische Übersetzungen zu erstellen, die die ermittelten Daten ergänzen können.

Insgesamt führte die Kombination dieser Techniken zum weltweit ersten mehrsprachigen maschinellen Übersetzungsmodell (MMT), das ohne Rückgriff auf Daten zwischen 100 Sprachen übersetzen kann. Laut einer Aussage von Facebook ist Englisch der Standard.

„Beim Übersetzen vom Chinesischen ins Französische sind beispielsweise die meisten aktuellen mehrsprachigen Übersetzungsmodelle normalerweise auf Englisch ausgerichtet, sie übersetzen Chinesisch ins Englische und vom Englischen ins Französische, da englische Trainingsdaten am häufigsten verfügbar und am beliebtesten sind. Stattdessen.“ Um diesem Motiv zu folgen, übersetzt unser Modell chinesische Daten direkt ins Französische, um eine maximale Aufbewahrung der Übersetzungsbedeutung zu gewährleisten.“

Derzeit ist M2M-100 noch in keinem Produkt integriert, aber Tests zeigen, dass es viele verschiedene Arten von Übersetzungen auf Facebook unterstützen kann, wo Menschen immer noch jede Stunde Inhalte posten. in mehr als 160 Sprachen.