O novo modelo de IA do Google pode ler e compreender um livro inteiro

Um dos maiores desafios dos modelos de inteligência artificial (IA) no processamento de linguagem hoje é compreender o contexto e o contexto de cada segmento específico, compreendendo assim o conteúdo de todo o parágrafo do texto, ou mais amplamente, o significado exato de toda a obra. - em vez de simplesmente compreender o significado de cada palavra individual como hoje.

Para resolver esse problema, o Google introduziu um novo modelo de aprendizado de máquina chamado Reformer, que pode entender o conteúdo e o contexto de um trabalho de 1 milhão de linhas - equivalente a um romance, mas usa apenas cerca de 16 GB de armazenamento. O Reformer foi desenvolvido para superar as deficiências do Transformer - uma rede neural antiquada que funciona com base no princípio de comparar palavras em um parágrafo entre si para entender a relação entre elas.

Porém, por operar em um método de emparelhamento combinado, o Transformer ocupará muito espaço de dados caso tenha que processar textos com mais de alguns milhares de palavras. Essa fraqueza torna o uso do Transformer para lidar com artigos longos ou um livro extremamente inviável.

O Google desenvolveu o Reformer para resolver os dois principais problemas mencionados acima: a capacidade de processar documentos longos e o consumo de memória do modelo antigo.

Para resolver o primeiro problema, o novo modelo do Google usa um método chamado hashing sensível à localidade (LSH). Ou seja, em vez de comparar todas as palavras como antes, o novo modelo usará uma função hash para juntar palavras semelhantes em um grupo e, em seguida, comparar palavras dentro do mesmo grupo ou dentro de grupos próximos, ajudando a limitar a sobrecarga de processamento e ao mesmo tempo ao mesmo tempo, fornecendo a capacidade de lidar com grandes quantidades de texto.

Para resolver o problema de consumo de memória, os pesquisadores utilizam uma técnica chamada Rede Residual Reversível (RevNet). RevNet foi desenvolvido a partir de Deep Residual Networks (ResNets) – uma tecnologia que funciona aumentando o desempenho à medida que as redes se tornam mais profundas e amplas. Camadas próprias do RevNet, onde os dados de saída de cada camada podem ser reconstruídos e usados ​​em outra camada. Portanto, os dados de saída para a maioria das camadas não precisam ser armazenados na memória durante a retropropagação.

Para testar a eficácia deste modelo, o Google forneceu ao Reformer algumas pequenas imagens recortadas e criou uma foto em tamanho cheio a partir delas.

Os engenheiros do Google dizem que o novo modelo pode processar facilmente um livro inteiro com alta precisão, abrindo potencial para processamento de texto em grande escala.