Google의 새로운 AI 모델은 책 전체를 읽고 이해할 수 있습니다.

오늘날 언어 처리 분야에서 인공지능 (AI) 모델 의 가장 큰 과제 중 하나 는 각 특정 세그먼트의 문맥과 맥락을 이해하여 전체 단락의 내용을 이해하는 것입니다. - 단순히 오늘날처럼 단어 하나하나의 의미를 단순히 이해하기보다는.

이 문제를 해결하기 위해 구글은 리포머(Reformer)라는 새로운 머신러닝 모델을 도입했다. 이 모델은 약 16GB의 저장용량만 사용해도 소설 한 권에 해당하는 100만 줄 길이의 작품의 내용과 맥락을 이해할 수 있다. Reformer는 단락의 단어를 서로 비교하여 단어 사이의 관계를 이해하는 원리에 따라 작동하는 구식 신경망인 Transformer의 단점을 극복하기 위해 개발되었습니다.

그러나 Transformer는 조합 페어링 방식으로 동작하기 때문에 수천 단어 이상의 텍스트를 처리해야 할 경우 많은 데이터 공간을 차지하게 됩니다. 이러한 약점으로 인해 Transformer를 사용하여 긴 기사나 책을 처리하는 것이 매우 불가능해졌습니다.

Google은 위에서 언급한 두 가지 주요 문제, 즉 긴 문서를 처리하는 능력과 이전 모델의 메모리 소비를 모두 해결하기 위해 Reformer를 개발했습니다.

첫 번째 문제를 해결하기 위해 Google의 새로운 모델은 LSH(Locality-sensitive-hashing)라는 방법을 사용합니다. 즉, 이전처럼 모든 단어를 함께 비교하는 대신, 새로운 모델은 해시 함수를 사용하여 유사한 단어를 그룹으로 묶은 다음 동일한 그룹 내의 단어 또는 그룹 내의 단어를 비교하여 처리 과부하를 제한하고 동시에 더 많은 양의 텍스트를 처리할 수 있는 기능도 제공합니다.

메모리 소비 문제를 해결하기 위해 연구자들은 RevNet(Reversible Residual Network)이라는 기술을 사용합니다. RevNet은 ResNets(Deep Residual Networks)에서 개발되었습니다. ResNets는 네트워크가 더 깊고 넓어짐에 따라 성능을 높여 작동하는 기술입니다. RevNets는 각 레이어의 출력 데이터를 재구성하여 다른 레이어에서 사용할 수 있는 자체 레이어를 보유하고 있습니다. 따라서 대부분의 레이어에 대한 출력 데이터는 역전파 중에 메모리에 저장될 필요가 없습니다.

이 모델의 효율성을 테스트하기 위해 Google은 Reformer에 몇 개의 작게 자른 이미지를 제공했고 거기서부터 전체 프레임 사진을 만들었습니다.

Google 엔지니어들은 새 모델이 책 전체를 높은 정확도로 쉽게 처리할 수 있어 대규모 텍스트 처리의 가능성이 열렸다고 말합니다.