Berjaya membangunkan model AI yang boleh menterjemahkan bahasa kepada pergerakan fizikal

Penyelidik AI dari Carnegie Mellon University, Pennsylvania, Amerika Syarikat baru-baru ini berjaya membangunkan model AI yang mendalam, mampu menterjemah bahasa (teks, suara) kepada pergerakan dan gerak isyarat. fizik dengan ketepatan yang agak tinggi.

Model AI ini dinamakan Joint Language-to-Pose (JL2P), dan dikenali sebagai kaedah yang menyediakan keupayaan untuk menggabungkan bahasa semula jadi dengan model simulasi pose 3D yang berkesan apabila digunakan.aplikasi praktikal dalam masa terdekat.

• Model AI DeepMind boleh belajar cara membuat video hanya dengan menonton klip YouTube

Model AI ini dinamakan Joint Language-to-Pose (JL2P).

Keupayaan JL2P untuk menganalisis dan mensimulasikan postur dan gerak isyarat dalam ruang 3D dilatih secara menyeluruh melalui program hujung ke hujung sepanjang - pendekatan yang berkuasa dan berkesan untuk pengaturcaraan. Program latihan "dipecahkan" kepada urutan individu. Model AI perlu menyelesaikan tugasan ringkas dan ringkas sebelum dibenarkan beralih kepada matlamat yang lebih kompleks.

Pada masa ini, keupayaan simulasi animasi JL2P terhad kepada imej asas (terdiri daripada garis lurus mudah), tetapi keupayaan untuk mensimulasikan pergerakan seperti manusia adalah berdasarkan bahasa model. Visualisasi AI ini agak tepat dan intuitif. Pasukan ini percaya bahawa model seperti JL2P suatu hari nanti boleh membantu robot melaksanakan tugas fizikal dunia sebenar yang serupa dengan manusia, atau membantu dalam penciptaan watak animasi maya untuk permainan video dan juga filem.

• Berjaya membangunkan basikal gerak sendiri menggunakan cip AI yang boleh menaakul dan belajar seperti manusia

Keupayaan simulasi animasi JL2P adalah terhad kepada imej asas dan ringkas

Sebenarnya, idea untuk membangunkan model AI dengan keupayaan untuk menterjemah bahasa ke dalam pergerakan fizikal bukanlah perkara baru. Sebelum Carnegie Mellon University memperkenalkan JL2P, Microsoft juga berjaya membangunkan model yang dipanggil ObjGAN, dengan tugas melakar imej dan papan cerita (papan yang melakar cerita yang ingin anda ceritakan dalam bentuk imej) daripada anotasi linguistik. Satu lagi model AI Disney juga terkenal dengan keupayaannya menggunakan perkataan dalam skrip untuk mencipta papan cerita. Atau yang paling terkenal ialah model GauGAN Nvidia , yang boleh menukar doodle seperti yang dibuat dengan pad jejak atau Microsoft Paint menjadi lakaran digital pintar dengan estetika yang sangat tinggi.

Berbalik kepada JL2P, model AI ini kini boleh mensimulasikan beberapa pergerakan dengan tepat kepada yang agak kompleks seperti berjalan atau berlari, bermain alat muzik (seperti gitar atau biola), mengikut arahan yang telah ditetapkan. arah (kiri atau kanan) atau kelajuan kawalan (cepat atau lambat).

• Berjaya membangunkan "papan kekunci khayalan" untuk skrin sentuh dan VR, dikuasakan oleh AI

JL2P kini boleh mensimulasikan dengan tepat beberapa pergerakan daripada yang mudah kepada yang agak kompleks

“Kami mula-mula mengoptimumkan model untuk meramalkan dua langkah masa berdasarkan ayat lengkap. Tugas mudah ini boleh membantu model AI belajar untuk mensimulasikan urutan postur yang sangat pendek, seperti pergerakan kaki semasa berjalan, pergerakan tangan semasa melambai, atau postur dan postur badan semasa tunduk. Sebaik sahaja JL2P telah mempelajari cara mensimulasikan gerak isyarat yang sama dengan ketepatan yang tinggi, kami meneruskan ke peringkat seterusnya dalam kurikulum. Model itu kini diberikan dua (bilangan) pose untuk diramal pada masa yang sama,” kata pasukan penyelidik Universiti Carnegie Mellon.

• AI sudah tahu cara bermain poker, mengalahkan pemain terbaik dunia dalam permainan 6 pemain

Mensimulasikan postur larian orang normal

Butiran cara operasi JL2P serta "karya" tipikal telah dibentangkan buat pertama kali dalam kertas saintifik yang diterbitkan pada 2 Julai di laman web arXiv.org, dan dijangka akan dibentangkan oleh panel pengarang dan penyelidik Institut Teknologi Bahasa CMU Chaitanya Ahuja pada 19 September, di pentas Persidangan Antarabangsa mengenai Visi 3D yang berlangsung di Quebec, Kanada.

Pasukan penyelidik dengan yakin menegaskan bahawa JL2P boleh mensimulasikan postur dan pergerakan fizikal 9% lebih tepat daripada model AI "top notch" lain yang dibangunkan oleh pakar AI SRI International. pada tahun 2018.

• Deepfake Samsung boleh membuatkan sami gelap Rasputin menyanyi dengan nyata

JL2P mensimulasikan tindakan manusia berdiri dengan sebelah tangan

Produk yang dicipta oleh JL2P selepas dilatih dengan set data bahasa gerakan KIT (KIT Motion-Language Dataset).

JL2P mensimulasikan tindakan melompat melepasi halangan dan berlari

Pertama kali diperkenalkan pada 2016 oleh Performance Humanoid Technologies, Jerman, set data perlombongan ini adalah gabungan pergerakan manusia dengan penerangan bahasa semula jadi, memetakan 11 jam pergerakan berterusan satu demi satu. orang, direkodkan ke dalam lebih daripada 6,200 ayat bahasa Inggeris, setiap satu kira-kira 8 perkataan panjang.