Новая модель искусственного интеллекта Google может прочитать и понять целую книгу

Одной из самых больших задач моделей искусственного интеллекта (ИИ) в языковой обработке сегодня является понимание контекста и контекста каждого конкретного сегмента, тем самым понимая содержание всего абзаца текста или, шире, точный смысл всей работы. - вместо того, чтобы просто понимать значение каждого отдельного слова, как сегодня.

Чтобы решить эту проблему, Google представил новую модель машинного обучения под названием Reformer, которая может понимать содержание и контекст произведения длиной в 1 миллион строк, что эквивалентно роману, при этом ему нужно использовать всего около 16 ГБ памяти. Реформер был разработан для преодоления недостатков Трансформера — старомодной нейросети, работающей по принципу сравнения слов в абзаце друг с другом, чтобы понять взаимосвязь между ними.

Однако, поскольку он работает по методу сочетания комбинаций, Transformer будет занимать много места для данных, если ему придется обрабатывать тексты объемом более нескольких тысяч слов. Эта слабость делает использование Transformer для обработки длинных статей или книг крайне невозможным.

Google разработал Reformer для решения обеих основных проблем, упомянутых выше: возможности обработки длинных документов и потребления памяти старой модели.

Чтобы решить первую проблему, новая модель Google использует метод, называемый локально-зависимым хешированием (LSH). То есть вместо сравнения всех слов вместе, как раньше, новая модель будет использовать хеш-функцию для объединения похожих слов в группу, а затем сравнивать слова внутри одной группы или внутри групп рядом, что помогает ограничить перегрузку обработки и одновременно в то же время обеспечивая возможность обработки больших объемов текста.

Чтобы решить проблему потребления памяти, исследователи используют метод под названием Reversible Residual Network (RevNet). RevNet был разработан на основе Deep Residual Networks (ResNets) — технологии, которая работает за счет повышения производительности по мере того, как сети становятся глубже и шире. Собственные слои RevNet, где выходные данные каждого слоя можно реконструировать и использовать в другом слое. Следовательно, выходные данные для большинства слоев не нужно сохранять в памяти во время обратного распространения ошибки.

Чтобы проверить эффективность этой модели, Google предоставил Reformer несколько небольших обрезанных изображений и создал на их основе полнокадровую фотографию.

Инженеры Google говорят, что новая модель может легко обработать всю книгу с высокой точностью, открывая потенциал для крупномасштабной обработки текста.