Het nieuwe AI-model van Google kan een heel boek lezen en begrijpen

Een van de grootste uitdagingen van kunstmatige intelligentie (AI) -modellen in de huidige taalverwerking is het begrijpen van de context en context van elk specifiek segment, en daarmee de inhoud van de hele paragraaftekst, of breder, de exacte betekenis van het hele werk. - in plaats van simpelweg de betekenis van elk afzonderlijk woord te begrijpen, zoals vandaag.

Om dit probleem op te lossen heeft Google een nieuw machine learning-model geïntroduceerd, Reformer genaamd, dat de inhoud en context van een werk van 1 miljoen regels kan begrijpen - wat overeenkomt met een roman, terwijl het slechts ongeveer 16 GB opslagruimte hoeft te gebruiken. Reformer is ontwikkeld om de tekortkomingen van Transformer te ondervangen: een ouderwets neuraal netwerk dat werkt volgens het principe om woorden in een alinea met elkaar te vergelijken om de relatie daartussen te begrijpen.

Omdat het echter werkt volgens een combinatie-koppelingsmethode, zal Transformer veel dataruimte in beslag nemen als het teksten van meer dan een paar duizend woorden moet verwerken. Deze zwakte maakt het gebruik van Transformer voor het verwerken van lange artikelen of een boek uiterst onhaalbaar.

Google heeft Reformer ontwikkeld om beide bovengenoemde problemen op te lossen: de mogelijkheid om lange documenten te verwerken en het geheugenverbruik van het oude model.

Om het eerste probleem op te lossen, maakt het nieuwe model van Google gebruik van een methode genaamd locality-sensitive-hashing (LSH). Dat wil zeggen, in plaats van alle woorden met elkaar te vergelijken zoals voorheen, zal het nieuwe model een hash-functie gebruiken om soortgelijke woorden samen te voegen in een groep, en vervolgens woorden binnen dezelfde groep of binnen groepen in de buurt vergelijken, waardoor de overbelasting van de verwerking wordt beperkt en Tegelijkertijd biedt het de mogelijkheid om grotere hoeveelheden tekst te verwerken.

Om het probleem van geheugengebruik op te lossen, gebruiken onderzoekers een techniek genaamd Reversible Residual Network (RevNet). RevNet is ontwikkeld op basis van Deep Residual Networks (ResNets) - een technologie die werkt door de prestaties te verbeteren naarmate netwerken dieper en breder worden. RevNet's eigen lagen, waar de uitvoergegevens van elke laag kunnen worden gereconstrueerd en in een andere laag kunnen worden gebruikt. Daarom hoeven de uitvoergegevens voor de meeste lagen tijdens de backpropagatie niet in het geheugen te worden opgeslagen.

Om de effectiviteit van dit model te testen, heeft Google Reformer een paar kleine bijgesneden afbeeldingen ter beschikking gesteld en van daaruit een full-frame foto gemaakt.

Google-ingenieurs zeggen dat het nieuwe model gemakkelijk een heel boek met hoge nauwkeurigheid kan verwerken, wat mogelijkheden biedt voor grootschalige tekstverwerking.