Il nuovo modello di intelligenza artificiale di Google può leggere e comprendere un intero libro

Una delle maggiori sfide dei modelli di intelligenza artificiale (AI) nell'elaborazione del linguaggio oggi è comprendere il contesto e il contesto di ciascun segmento specifico, comprendendo così il contenuto dell'intero paragrafo del testo o, più in generale, il significato esatto dell'intera opera. - invece di comprendere semplicemente il significato di ogni singola parola come oggi.

Per risolvere questo problema, Google ha introdotto un nuovo modello di apprendimento automatico chiamato Reformer, in grado di comprendere il contenuto e il contesto di un'opera lunga 1 milione di righe, equivalente a un romanzo, pur dovendo utilizzare solo circa 16 GB di spazio di archiviazione. Reformer è stato sviluppato per superare le carenze di Transformer, una rete neurale vecchio stile che funziona secondo il principio del confronto tra le parole di un paragrafo per comprendere la relazione tra loro.

Tuttavia, poiché funziona con un metodo di abbinamento combinato, Transformer occuperà molto spazio dati nel caso in cui debba elaborare testi di più di qualche migliaio di parole. Questa debolezza rende estremamente impraticabile l'utilizzo di Transformer per gestire articoli lunghi o un libro.

Google ha sviluppato Reformer per risolvere entrambi i principali problemi sopra menzionati: la capacità di elaborare documenti lunghi e il consumo di memoria del vecchio modello.

Per risolvere il primo problema, il nuovo modello di Google utilizza un metodo chiamato locality-sensitive-hashing (LSH). Cioè, invece di confrontare tutte le parole insieme come prima, il nuovo modello utilizzerà una funzione hash per unire insieme parole simili in un gruppo, quindi confronterà le parole all'interno dello stesso gruppo o all'interno di gruppi vicini, contribuendo a limitare il sovraccarico di elaborazione e allo stesso tempo allo stesso tempo fornendo la possibilità di gestire quantità maggiori di testo.

Per risolvere il problema del consumo di memoria, i ricercatori utilizzano una tecnica chiamata Reversible Residual Network (RevNet). RevNet è stato sviluppato da Deep Residual Networks (ResNets), una tecnologia che funziona aumentando le prestazioni man mano che le reti diventano più profonde e più ampie. I livelli di RevNet sono propri, in cui i dati di output di ciascun livello possono essere ricostruiti e utilizzati in un altro livello. Pertanto, i dati di output per la maggior parte dei livelli non necessitano di essere archiviati in memoria durante la backpropagation.

Per testare l'efficacia di questo modello, Google ha fornito a Reformer alcune piccole immagini ritagliate e da lì ha creato una foto a pieno formato.

Gli ingegneri di Google affermano che il nuovo modello può facilmente elaborare un intero libro con elevata precisione, aprendo il potenziale per l'elaborazione di testi su larga scala.