Das neue KI-Modell von Google kann ein ganzes Buch lesen und verstehen

Eine der größten Herausforderungen von Modellen der künstlichen Intelligenz (KI) in der heutigen Sprachverarbeitung besteht darin, den Kontext und Kontext jedes einzelnen Segments zu verstehen und so den Inhalt des gesamten Absatzes, des Textes oder allgemeiner die genaue Bedeutung des gesamten Werks zu verstehen - anstatt wie heute einfach die Bedeutung jedes einzelnen Wortes zu verstehen.

Um dieses Problem zu lösen, hat Google ein neues Modell für maschinelles Lernen namens Reformer eingeführt, das den Inhalt und Kontext eines 1 Million Zeilen langen Werks verstehen kann – was einem Roman entspricht, und dabei nur etwa 16 GB Speicherplatz benötigt. Reformer wurde entwickelt, um die Mängel von Transformer zu überwinden – einem altmodischen neuronalen Netzwerk, das auf dem Prinzip basiert, Wörter in einem Absatz miteinander zu vergleichen, um die Beziehung zwischen ihnen zu verstehen.

Da es jedoch mit der Methode der Kombinationspaarung arbeitet, beansprucht Transformer viel Datenraum, wenn Texte mit mehr als ein paar tausend Wörtern verarbeitet werden müssen. Aufgrund dieser Schwäche ist die Verwendung von Transformer für die Verarbeitung langer Artikel oder eines Buches äußerst unpraktikabel.

Google hat Reformer entwickelt, um die beiden oben genannten Hauptprobleme zu lösen: die Fähigkeit, lange Dokumente zu verarbeiten, und den Speicherverbrauch des alten Modells.

Um das erste Problem zu lösen, verwendet das neue Modell von Google eine Methode namens Locality-Sensitive-Hashing (LSH). Das heißt, anstatt wie zuvor alle Wörter miteinander zu vergleichen, verwendet das neue Modell eine Hash-Funktion, um ähnliche Wörter in einer Gruppe zusammenzufassen und dann Wörter innerhalb derselben Gruppe oder innerhalb von Gruppen in der Nähe zu vergleichen, was dazu beiträgt, die Verarbeitungsüberlastung zu begrenzen Gleichzeitig bietet es die Möglichkeit, größere Textmengen zu verarbeiten.

Um das Problem des Speicherverbrauchs zu lösen, verwenden Forscher eine Technik namens Reversible Residual Network (RevNet). RevNet wurde aus Deep Residual Networks (ResNets) entwickelt – einer Technologie, die durch eine Leistungssteigerung funktioniert, wenn Netzwerke tiefer und breiter werden. RevNets eigene Schichten, in denen die Ausgabedaten jeder Schicht rekonstruiert und in einer anderen Schicht verwendet werden können. Daher müssen die Ausgabedaten für die meisten Schichten während der Backpropagation nicht im Speicher gespeichert werden.

Um die Wirksamkeit dieses Modells zu testen, stellte Google Reformer einige kleine zugeschnittene Bilder zur Verfügung und erstellte daraus ein Vollbildfoto.

Google-Ingenieure sagen, dass das neue Modell problemlos ein ganzes Buch mit hoher Genauigkeit verarbeiten kann, was das Potenzial für eine groß angelegte Textverarbeitung eröffnet.