Noul model AI al Google poate citi și înțelege o carte întreagă

Una dintre cele mai mari provocări ale modelelor de inteligență artificială (AI) în procesarea limbajului de astăzi este înțelegerea contextului și contextului fiecărui segment specific, înțelegând astfel conținutul întregului paragraf text sau, mai larg, sensul exact al întregii lucrări. - în loc să înțelegem pur și simplu sensul fiecărui cuvânt individual ca astăzi.

Pentru a rezolva această problemă, Google a introdus un nou model de învățare automată numit Reformer, care poate înțelege conținutul și contextul unei lucrări lungi de 1 milion de linii - echivalent cu un roman, în timp ce trebuie să folosească doar aproximativ 16 GB de spațiu de stocare. Reformer a fost dezvoltat pentru a depăși neajunsurile Transformer - o rețea neuronală de modă veche care funcționează pe principiul comparării cuvintelor dintr-un paragraf între ele pentru a înțelege relația dintre ele.

Cu toate acestea, deoarece funcționează într-o metodă de combinare-împerechere, Transformer va ocupa mult spațiu de date în cazul în care va trebui să proceseze texte de mai mult de câteva mii de cuvinte. Această slăbiciune face ca utilizarea Transformerului să gestioneze articole lungi sau o carte extrem de imposibilă.

Google a dezvoltat Reformer pentru a rezolva ambele probleme principale menționate mai sus: capacitatea de a procesa documente lungi și consumul de memorie al vechiului model.

Pentru a rezolva prima problemă, noul model Google folosește o metodă numită locality-sensitive-hashing (LSH). Adică, în loc să compare toate cuvintele împreună ca înainte, noul model va folosi o funcție hash pentru a uni cuvinte similare într-un grup, apoi va compara cuvintele din același grup sau din grupurile din apropiere, ajutând la limitarea supraîncărcării de procesare și la nivelul oferind în același timp capacitatea de a gestiona cantități mai mari de text.

Pentru a rezolva problema consumului de memorie, cercetătorii folosesc o tehnică numită Reversible Residual Network (RevNet). RevNet a fost dezvoltat din Deep Residual Networks (ResNets) - o tehnologie care funcționează prin creșterea performanței pe măsură ce rețelele devin mai adânci și mai largi. RevNets propriile straturi, unde datele de ieșire ale fiecărui strat pot fi reconstruite și utilizate într-un alt strat. Prin urmare, datele de ieșire pentru majoritatea straturilor nu trebuie să fie stocate în memorie în timpul propagării inverse.

Pentru a testa eficacitatea acestui model, Google a oferit lui Reformer câteva imagini mici decupate și a creat o fotografie full-frame de acolo.

Inginerii Google spun că noul model poate procesa cu ușurință o carte întreagă cu o acuratețe ridicată, deschizând potențialul de procesare a textului la scară largă.