โมเดล AI ใหม่ของ Google สามารถอ่านและเข้าใจหนังสือทั้งเล่มได้

หนึ่งในความท้าทายที่ใหญ่ที่สุดของ โมเดลปัญญาประดิษฐ์ (AI) ในการประมวลผลภาษาในปัจจุบันคือการเข้าใจบริบทและบริบทของแต่ละส่วนเฉพาะ ดังนั้นจึงเข้าใจเนื้อหาของทั้งย่อหน้า ข้อความ หรือกว้างกว่านั้นคือความหมายที่แท้จริงของงานทั้งหมด - แทนที่จะเข้าใจความหมายของคำแต่ละคำเหมือนทุกวันนี้

เพื่อแก้ไขปัญหานี้ Google ได้เปิดตัวโมเดลการเรียนรู้ของเครื่องใหม่ที่เรียกว่า Reformer ซึ่งสามารถเข้าใจเนื้อหาและบริบทของงานยาว 1 ล้านบรรทัด เทียบเท่ากับนวนิยายในขณะที่ต้องใช้พื้นที่เก็บข้อมูลประมาณ 16GB เท่านั้น Reformer ได้รับการพัฒนาเพื่อเอาชนะข้อบกพร่องของ Transformer ซึ่งเป็นโครงข่ายประสาทเทียมแบบเก่าที่ทำงานบนหลักการของการเปรียบเทียบคำในย่อหน้าระหว่างกันเพื่อทำความเข้าใจความสัมพันธ์ระหว่างคำเหล่านั้น

อย่างไรก็ตาม เนื่องจากทำงานด้วยวิธีการจับคู่แบบผสม Transformer จะใช้พื้นที่ข้อมูลจำนวนมาก ในกรณีที่ต้องประมวลผลข้อความที่มีความยาวมากกว่าสองสามพันคำ จุดอ่อนนี้ทำให้การใช้ Transformer จัดการกับบทความขนาดยาวหรือหนังสือเป็นไปไม่ได้อย่างยิ่ง

Google พัฒนา Reformer เพื่อแก้ปัญหาหลักทั้งสองที่กล่าวถึงข้างต้น: ความสามารถในการประมวลผลเอกสารขนาดยาวและการใช้หน่วยความจำของรุ่นเก่า

เพื่อแก้ไขปัญหาแรก โมเดลใหม่ของ Google ใช้วิธีการที่เรียกว่า locality-sensitive-hashing (LSH) คือแทนที่จะเปรียบเทียบคำทั้งหมดเข้าด้วยกันเหมือนเมื่อก่อน โมเดลใหม่ จะใช้ฟังก์ชันแฮชเพื่อรวมคำที่คล้ายกันเข้าด้วยกันเป็นกลุ่มแล้วเปรียบเทียบคำภายในกลุ่มเดียวกันหรือภายในกลุ่มใกล้เคียงช่วยจำกัดการประมวลผลที่โอเวอร์โหลดและที่ ในขณะเดียวกันก็ให้ความสามารถในการจัดการข้อความจำนวนมากขึ้น

เพื่อแก้ปัญหาการใช้หน่วยความจำ นักวิจัยใช้เทคนิคที่เรียกว่า Reversible Residual Network (RevNet) RevNet ได้รับการพัฒนาจาก Deep Residual Networks (ResNets) ซึ่งเป็นเทคโนโลยีที่ทำงานโดยเพิ่มประสิทธิภาพในขณะที่เครือข่ายเติบโตในเชิงลึกและกว้างขึ้น เลเยอร์ของ RevNets เอง ซึ่งข้อมูลเอาต์พุตของแต่ละเลเยอร์สามารถสร้างขึ้นใหม่และใช้ในเลเยอร์อื่นได้ ดังนั้นข้อมูลเอาต์พุตสำหรับเลเยอร์ส่วนใหญ่จึงไม่จำเป็นต้องจัดเก็บไว้ในหน่วยความจำระหว่างการเผยแพร่กลับ

เพื่อทดสอบประสิทธิภาพของโมเดลนี้ Google ได้จัดเตรียมรูปภาพที่ครอบตัดเล็กๆ น้อยๆ ให้กับ Reformer และสร้างรูปภาพเต็มเฟรมจากที่นั่น

วิศวกรของ Google กล่าวว่าโมเดลใหม่สามารถประมวลผลหนังสือทั้งเล่มได้อย่างง่ายดายด้วยความแม่นยำสูง ซึ่งเปิดศักยภาพในการประมวลผลข้อความขนาดใหญ่