Le nouveau modèle dIA de Google peut lire et comprendre un livre entier

L'un des plus grands défis des modèles d'intelligence artificielle (IA) dans le traitement du langage aujourd'hui est de comprendre le contexte et le contexte de chaque segment spécifique, comprenant ainsi le contenu de l'ensemble du paragraphe du texte, ou plus largement, la signification exacte de l'ensemble de l'œuvre. - au lieu de simplement comprendre le sens de chaque mot comme c'est le cas aujourd'hui.

Pour résoudre ce problème, Google a introduit un nouveau modèle d'apprentissage automatique appelé Reformer, capable de comprendre le contenu et le contexte d'une œuvre d'un million de lignes - l'équivalent d'un roman, tout en n'utilisant qu'environ 16 Go de stockage. Reformer a été développé pour surmonter les lacunes de Transformer - un réseau neuronal à l'ancienne qui fonctionne sur le principe de comparer les mots d'un paragraphe les uns avec les autres pour comprendre la relation entre eux.

Cependant, comme il fonctionne selon une méthode de couplage-combinaison, Transformer occupera beaucoup d'espace de données au cas où il devrait traiter des textes de plus de quelques milliers de mots. Cette faiblesse rend l’utilisation de Transformer pour gérer de longs articles ou un livre extrêmement irréalisable.

Google a développé Reformer pour résoudre les deux principaux problèmes mentionnés ci-dessus : la capacité de traiter des documents longs et la consommation de mémoire de l'ancien modèle.

Pour résoudre le premier problème, le nouveau modèle de Google utilise une méthode appelée LSH (locality-sensitive-hashing). Autrement dit, au lieu de comparer tous les mots ensemble comme auparavant, le nouveau modèle utilisera une fonction de hachage pour réunir des mots similaires dans un groupe, puis comparera les mots au sein du même groupe ou au sein de groupes à proximité, contribuant ainsi à limiter la surcharge de traitement et au en offrant en même temps la possibilité de gérer de plus grandes quantités de texte.

Pour résoudre le problème de consommation de mémoire, les chercheurs utilisent une technique appelée Reversible Residual Network (RevNet). RevNet a été développé à partir de Deep Residual Networks (ResNets) - une technologie qui fonctionne en augmentant les performances à mesure que les réseaux deviennent plus profonds et plus larges. Les RevNets possèdent des couches, où les données de sortie de chaque couche peuvent être reconstruites et utilisées dans une autre couche. Par conséquent, les données de sortie de la plupart des couches n'ont pas besoin d'être stockées en mémoire lors de la rétropropagation.

Pour tester l'efficacité de ce modèle, Google a fourni à Reformer quelques petites images recadrées et a créé une photo plein format à partir de là.

Les ingénieurs de Google affirment que le nouveau modèle peut facilement traiter un livre entier avec une grande précision, ouvrant ainsi la voie au traitement de texte à grande échelle.