พัฒนาโมเดล AI ที่สามารถแปลภาษาเป็นการเคลื่อนไหวร่างกายได้สำเร็จ

นักวิจัย AI จากมหาวิทยาลัย Carnegie Mellon รัฐเพนซิลเวเนีย สหรัฐอเมริกา เพิ่งประสบความสำเร็จในการพัฒนาโมเดล AI แบบเชิงลึก ซึ่งสามารถแปลภาษา (ข้อความ เสียง) เป็นการเคลื่อนไหวและท่าทางทางฟิสิกส์ที่มีความแม่นยำสูง

โมเดล AI นี้มีชื่อว่า Joint Language-to-Pose (JL2P) และเป็นที่รู้จักในฐานะวิธีการที่ให้ความสามารถในการรวมภาษาธรรมชาติเข้ากับโมเดลจำลองท่าทาง 3 มิติที่มีประสิทธิภาพ เมื่อนำไปใช้จริงในอนาคตอันใกล้นี้

• โมเดล AI ของ DeepMind สามารถเรียนรู้วิธีสร้างวิดีโอได้เพียงแค่ดูคลิป YouTube

โมเดล AI นี้ชื่อว่า Joint Language-to-Pose (JL2P)

ความสามารถของ JL2P ในการวิเคราะห์และจำลองท่าทางและท่าทางในพื้นที่ 3D ได้รับการฝึกฝนอย่างละเอียดผ่านโปรแกรมแบบ end-to-end ตลอดทั้งโปรแกรม - ซึ่งเป็นแนวทางการเขียนโปรแกรมที่ทรงพลังและมีประสิทธิภาพ โปรแกรมการฝึกอบรมจะ "แยกย่อย" ออกเป็นลำดับส่วนบุคคล โมเดล AI จะต้องทำงานที่สั้นและเรียบง่ายให้เสร็จสิ้นก่อนที่จะได้รับอนุญาตให้ก้าวไปสู่เป้าหมายที่ซับซ้อนมากขึ้น

ปัจจุบัน ความสามารถในการจำลองภาพเคลื่อนไหวของ JL2P จำกัดอยู่เพียงภาพพื้นฐาน (ประกอบด้วยเส้นตรงธรรมดา) แต่ความสามารถในการจำลองการเคลื่อนไหวเหมือนมนุษย์จะขึ้นอยู่กับภาษาของแบบจำลอง การสร้างภาพ AI นี้ค่อนข้างแม่นยำและใช้งานง่าย ทีมงานเชื่อว่าวันหนึ่งโมเดลอย่าง JL2P สามารถช่วยหุ่นยนต์ทำงานทางกายภาพในโลกแห่งความเป็นจริงคล้ายกับมนุษย์หรือช่วยในการสร้างตัวละครแอนิเมชั่นเสมือนจริงสำหรับวิดีโอเกม เช่นเดียวกับภาพยนตร์

• ประสบความสำเร็จในการพัฒนาจักรยานขับเคลื่อนด้วยตนเองโดยใช้ชิป AI ที่สามารถให้เหตุผลและเรียนรู้ได้เหมือนมนุษย์

ความสามารถในการจำลองแอนิเมชั่นของ JL2P นั้นจำกัดอยู่เพียงรูปภาพพื้นฐานและเรียบง่ายเท่านั้น

ที่จริงแล้วแนวคิดในการพัฒนาโมเดล AI ที่สามารถแปลภาษาเป็นการเคลื่อนไหวทางกายภาพไม่ใช่เรื่องใหม่ ก่อนที่มหาวิทยาลัย Carnegie Mellon จะเปิดตัว JL2P นั้น Microsoft ก็ประสบความสำเร็จในการพัฒนาแบบจำลองที่เรียกว่า ObjGAN โดยมีหน้าที่ในการร่างภาพและสตอรี่บอร์ด (กระดานที่ร่างเรื่องราวที่คุณต้องการบอกเล่าในรูปแบบภาพ) จากคำอธิบายประกอบทางภาษา โมเดล Disney AI อีกรุ่นหนึ่งยังเป็นที่รู้จักกันอย่างแพร่หลายในด้านความสามารถในการใช้คำในสคริปต์เพื่อสร้างสตอรี่บอร์ด หรือที่มีชื่อเสียงที่สุดคือรุ่น GauGAN ของ Nvidiaซึ่งสามารถเปลี่ยนดูเดิลที่สร้างขึ้นด้วยแทร็กแพดหรือ Microsoft Paint ให้กลายเป็นภาพร่างดิจิทัลอัจฉริยะที่มีความสวยงามที่สูงมาก

กลับมาที่ JL2P โมเดล AI นี้สามารถจำลองการเคลื่อนไหวจำนวนหนึ่งจากง่ายไปจนถึงค่อนข้างซับซ้อน เช่น การเดินหรือการวิ่ง การเล่นเครื่องดนตรี (เช่น กีตาร์หรือไวโอลิน) ได้อย่างแม่นยำมาก โดยทำตามคำแนะนำที่กำหนดไว้ล่วงหน้า ทิศทาง (ซ้ายหรือขวา) หรือความเร็ว ควบคุม (เร็วหรือช้า)

• ประสบความสำเร็จในการพัฒนา "คีย์บอร์ดในจินตนาการ" สำหรับหน้าจอสัมผัสและ VR ที่ขับเคลื่อนโดย AI

ขณะนี้ JL2P สามารถจำลองการเคลื่อนไหวต่างๆ ได้อย่างแม่นยำมาก ตั้งแต่แบบง่ายไปจนถึงค่อนข้างซับซ้อน

“ขั้นแรกเราได้ปรับโมเดลให้เหมาะสมเพื่อทำนายขั้นตอนเวลาสองขั้นตอนโดยพิจารณาจากประโยคที่สมบูรณ์ งานง่ายๆ นี้ช่วยให้โมเดล AI เรียนรู้การจำลองลำดับท่าทางที่สั้นมาก เช่น การเคลื่อนไหวของขาขณะเดิน การเคลื่อนไหวของมือขณะโบกมือ หรือท่าทางและท่าทางของร่างกายเมื่อโค้งคำนับ เมื่อ JL2P ได้เรียนรู้วิธีจำลองท่าทางเดียวกันด้วยความแม่นยำสูงแล้ว เราจะไปยังขั้นตอนต่อไปในหลักสูตร ขณะนี้แบบจำลองได้รับท่าโพสสอง (ตัวเลข) เพื่อทำนายในเวลาเดียวกัน” ทีมวิจัยของมหาวิทยาลัยคาร์เนกีเมลลอนกล่าว

• AI รู้วิธีเล่นโป๊กเกอร์แล้ว โดยเอาชนะผู้เล่นที่ดีที่สุดในโลกในเกมที่มีผู้เล่น 6 คน

จำลองท่าวิ่งของคนปกติ

รายละเอียดเกี่ยวกับรูปแบบการทำงานของ JL2P รวมถึง "ผลงาน" ทั่วไปถูกนำเสนอเป็นครั้งแรกในรายงานทางวิทยาศาสตร์ที่ตีพิมพ์เมื่อวันที่ 2 กรกฎาคมบนเว็บไซต์ arXiv.org และคาดว่าจะนำเสนอโดยคณะผู้เขียนและนักวิจัยของ สถาบันเทคโนโลยีภาษา CMU Chaitanya Ahuja เมื่อวันที่ 19 กันยายน บนเวทีการประชุมนานาชาติเรื่อง 3D Vision ที่เมืองควิเบก ประเทศแคนาดา

ทีมวิจัยยืนยันอย่างมั่นใจว่า JL2P สามารถจำลองท่าทางและการเคลื่อนไหวทางกายภาพได้แม่นยำกว่าโมเดล AI "ชั้นนำ" อื่นๆ ที่พัฒนาโดยผู้เชี่ยวชาญด้าน AI ของ SRI International ถึง 9% ในปี 2561

• การดีพเฟคของ Samsung สามารถทำให้พระ Rasputin แห่งความมืดร้องเพลงได้จริง

JL2P จำลองการกระทำของมนุษย์ในการยืนด้วยมือเดียว

ผลิตภัณฑ์ที่สร้างโดย JL2P หลังจากได้รับการฝึกอบรมกับชุดข้อมูลภาษาการเคลื่อนไหว KIT (ชุดข้อมูล KIT Motion-Language)

JL2P จำลองการกระทำของการกระโดดข้ามสิ่งกีดขวางและการวิ่ง

เปิดตัวครั้งแรกในปี 2559 โดย Performance Humanoid Technologies ประเทศเยอรมนี ชุดข้อมูลการขุดนี้เป็นการผสมผสานระหว่างการเคลื่อนไหวของมนุษย์กับคำอธิบายภาษาธรรมชาติ จัดทำแผนที่การเคลื่อนไหวต่อเนื่อง 11 ชั่วโมงทีละคน บันทึกเป็นประโยคภาษาอังกฤษมากกว่า 6,200 ประโยค แต่ละประโยคยาวประมาณ 8 คำ ยาว.