El nuevo modelo de IA de Google puede leer y comprender un libro completo

Uno de los mayores desafíos de los modelos de inteligencia artificial (IA) en el procesamiento del lenguaje hoy en día es comprender el contexto y el contexto de cada segmento específico, comprendiendo así el contenido de todo el texto, o más ampliamente, el significado exacto de toda la obra. - en lugar de simplemente entender el significado de cada palabra individual como hoy.

Para resolver este problema, Google ha introducido un nuevo modelo de aprendizaje automático llamado Reformer, que puede comprender el contenido y el contexto de un trabajo de 1 millón de líneas, equivalente a una novela, y solo necesita usar alrededor de 16 GB de almacenamiento. Reformer fue desarrollado para superar las deficiencias de Transformer, una red neuronal antigua que funciona según el principio de comparar palabras de un párrafo entre sí para comprender la relación entre ellas.

Sin embargo, debido a que opera en un método de emparejamiento combinado, Transformer ocupará una gran cantidad de espacio de datos en caso de que tenga que procesar textos de más de unos pocos miles de palabras. Esta debilidad hace que usar Transformer para manejar artículos largos o un libro sea extremadamente inviable.

Google desarrolló Reformer para resolver los dos problemas principales mencionados anteriormente: la capacidad de procesar documentos largos y el consumo de memoria del modelo anterior.

Para resolver el primer problema, el nuevo modelo de Google utiliza un método llamado hash sensible a la localidad (LSH). Es decir, en lugar de comparar todas las palabras como antes, el nuevo modelo utilizará una función hash para unir palabras similares en un grupo, luego comparará palabras dentro del mismo grupo o dentro de grupos cercanos, lo que ayudará a limitar la sobrecarga de procesamiento y al mismo tiempo al mismo tiempo que proporciona la capacidad de manejar grandes cantidades de texto.

Para solucionar el problema del consumo de memoria, los investigadores utilizan una técnica llamada Red Residual Reversible (RevNet). RevNet se desarrolló a partir de Deep Residual Networks (ResNets), una tecnología que funciona aumentando el rendimiento a medida que las redes se hacen más profundas y amplias. Capas propias de RevNet, donde los datos de salida de cada capa se pueden reconstruir y utilizar en otra capa. Por lo tanto, no es necesario almacenar en la memoria los datos de salida de la mayoría de las capas durante la retropropagación.

Para probar la efectividad de este modelo, Google proporcionó a Reformer algunas imágenes pequeñas recortadas y creó una foto de fotograma completo a partir de ahí.

Los ingenieros de Google dicen que el nuevo modelo puede procesar fácilmente un libro completo con alta precisión, abriendo el potencial para el procesamiento de textos a gran escala.