Oprogramowanie biznesowe

Nowy model sztucznej inteligencji Google może przeczytać i zrozumieć całą książkę

Jednym z największych wyzwań stojących obecnie przed modelami sztucznej inteligencji (AI) w przetwarzaniu języka jest zrozumienie kontekstu i kontekstu każdego konkretnego segmentu.

Jednym z największych wyzwań stojących dziś przed modelami sztucznej inteligencji (AI) w przetwarzaniu języka jest zrozumienie kontekstu i kontekstu każdego konkretnego segmentu, a tym samym zrozumienie treści całego tekstu akapitu, lub szerzej, dokładnego znaczenia całego dzieła - zamiast po prostu rozumieć znaczenie każdego pojedynczego słowa, jak dzisiaj.

Aby rozwiązać ten problem, Google wprowadziło nowy model uczenia maszynowego o nazwie Reformer, który może zrozumieć treść i kontekst dzieła o długości 1 miliona wierszy – co odpowiada powieści, a jednocześnie wymaga użycia jedynie około 16 GB pamięci. Reformer został opracowany, aby przezwyciężyć wady Transformera - staromodnej sieci neuronowej, która działa na zasadzie porównywania słów w akapicie ze sobą, aby zrozumieć związek między nimi.

Nowy model sztucznej inteligencji Google może przeczytać i zrozumieć całą książkę

Ponieważ jednak działa w metodzie parowania kombinacyjnego, Transformer zajmie dużo miejsca na dane w przypadku, gdy będzie musiał przetworzyć teksty dłuższe niż kilka tysięcy słów. Ta słabość sprawia, że ​​używanie Transformera do obsługi długich artykułów lub książek jest wyjątkowo niewykonalne.

Google opracował Reformer, aby rozwiązać oba główne problemy wymienione powyżej: możliwość przetwarzania długich dokumentów i zużycie pamięci przez stary model.

Aby rozwiązać pierwszy problem, nowy model Google wykorzystuje metodę zwaną hashowaniem uwzględniającym lokalizację (LSH). Oznacza to, że zamiast porównywać wszystkie słowa razem, jak poprzednio, nowy model użyje funkcji skrótu, aby połączyć podobne słowa w grupę, a następnie porównać słowa w tej samej grupie lub w grupach w pobliżu, pomagając ograniczyć przeciążenie przetwarzania i na jednocześnie zapewniając możliwość obsługi większej ilości tekstu.

Aby rozwiązać problem zużycia pamięci, badacze stosują technikę zwaną odwracalną siecią resztkową (RevNet). RevNet powstał na bazie Deep Residual Networks (ResNets) – technologii, która działa poprzez zwiększanie wydajności w miarę pogłębiania się i poszerzania sieci. RevNets posiada własne warstwy, w których dane wyjściowe każdej warstwy można zrekonstruować i wykorzystać w innej warstwie. Dlatego dane wyjściowe dla większości warstw nie muszą być przechowywane w pamięci podczas propagacji wstecznej.

Aby przetestować skuteczność tego modelu, Google udostępniło Reformerowi kilka małych, przyciętych zdjęć, z których utworzył pełnoklatkowe zdjęcie.

Inżynierowie Google twierdzą, że nowy model może z łatwością przetworzyć całą książkę z dużą dokładnością, co otwiera możliwości przetwarzania tekstu na dużą skalę.

More in Oprogramowanie biznesowe