Model AI baharu Google boleh membaca dan memahami keseluruhan buku

Model AI baharu Google boleh membaca dan memahami keseluruhan buku

Salah satu cabaran terbesar model kecerdasan buatan (AI) dalam pemprosesan bahasa hari ini adalah untuk memahami konteks dan konteks setiap segmen tertentu, dengan itu memahami kandungan keseluruhan perenggan. teks, atau secara lebih luas, makna tepat keseluruhan karya - bukannya sekadar memahami maksud setiap perkataan individu seperti hari ini.

Untuk menyelesaikan masalah ini, Google telah memperkenalkan model pembelajaran mesin baharu yang dipanggil Reformer, yang boleh memahami kandungan dan konteks karya sepanjang 1 juta baris - bersamaan dengan novel, sementara hanya perlu menggunakan storan lebih kurang 16GB. Reformer telah dibangunkan untuk mengatasi kelemahan Transformer - rangkaian saraf kuno yang berfungsi berdasarkan prinsip membandingkan perkataan dalam perenggan antara satu sama lain untuk memahami hubungan antara mereka.

Model AI baharu Google boleh membaca dan memahami keseluruhan buku

Walau bagaimanapun, kerana ia beroperasi dalam kaedah gabungan-pasangan, Transformer akan mengambil banyak ruang data sekiranya ia perlu memproses teks lebih daripada beberapa ribu perkataan. Kelemahan ini menjadikan penggunaan Transformer untuk mengendalikan artikel panjang atau buku sangat tidak dapat dilaksanakan.

Google membangunkan Reformer untuk menyelesaikan kedua-dua masalah utama yang dinyatakan di atas: keupayaan untuk memproses dokumen panjang dan penggunaan memori model lama.

Untuk menyelesaikan masalah pertama, model baharu Google menggunakan kaedah yang dipanggil locality-sensitive-hashing (LSH). Iaitu, daripada membandingkan semua perkataan bersama-sama seperti sebelum ini, model baharu akan menggunakan fungsi cincang untuk menggabungkan perkataan yang serupa bersama-sama dalam kumpulan, kemudian membandingkan perkataan dalam kumpulan yang sama atau dalam kumpulan. berdekatan, membantu mengehadkan lebihan pemprosesan dan pada masa yang sama menyediakan keupayaan untuk mengendalikan jumlah teks yang lebih besar.

Untuk menyelesaikan masalah penggunaan ingatan, penyelidik menggunakan teknik yang dipanggil Reversible Residual Network (RevNet). RevNet dibangunkan daripada Rangkaian Sisa Dalam (ResNets) - teknologi yang berfungsi dengan meningkatkan prestasi apabila rangkaian berkembang lebih mendalam dan lebih luas. RevNets lapisan sendiri, di mana data output setiap lapisan boleh dibina semula dan digunakan dalam lapisan lain. Oleh itu, data output untuk kebanyakan lapisan tidak perlu disimpan dalam ingatan semasa perambatan belakang.

Untuk menguji keberkesanan model ini, Google menyediakan Reformer dengan beberapa imej yang dipotong kecil dan ia mencipta foto bingkai penuh dari sana.

Jurutera Google berkata model baharu itu boleh memproses keseluruhan buku dengan mudah dengan ketepatan yang tinggi, membuka potensi pemprosesan teks berskala besar.


Pasukan petugas ChatGPT akan ditubuhkan oleh Eropah

Pasukan petugas ChatGPT akan ditubuhkan oleh Eropah

Badan yang menyatukan pemerhati privasi negara Eropah berkata pada hari Khamis ia telah menubuhkan pasukan petugas khusus untuk ChatGPT

AI meramalkan masa kematian manusia dengan ketepatan 78%.

AI meramalkan masa kematian manusia dengan ketepatan 78%.

Para saintis Denmark dan Amerika telah bekerjasama untuk membangunkan sistem AI yang dipanggil life2vec, yang mampu meramalkan masa kematian manusia dengan ketepatan yang tinggi.

AI meramalkan penyakit kencing hanya dengan bunyi air kencing

AI meramalkan penyakit kencing hanya dengan bunyi air kencing

Algoritma AI yang dipanggil Audioflow boleh mendengar bunyi kencing untuk mengenal pasti aliran tidak normal dan masalah kesihatan pesakit yang sepadan dengan berkesan dan berjaya.

Pelayan bar, berhati-hati: Robot ini boleh mencampurkan koktel dalam masa 1 minit sahaja

Pelayan bar, berhati-hati: Robot ini boleh mencampurkan koktel dalam masa 1 minit sahaja

Penduduk Jepun yang semakin tua dan semakin berkurangan menyebabkan negara itu kekurangan sejumlah besar pekerja muda, terutamanya dalam sektor perkhidmatan.

Beratus-ratus orang kecewa apabila mereka mengetahui bahawa gadis yang mereka cintai adalah produk AI

Beratus-ratus orang kecewa apabila mereka mengetahui bahawa gadis yang mereka cintai adalah produk AI

Pengguna Reddit bernama u/LegalBeagle1966 ialah salah satu daripada ramai pengguna yang terpikat dengan Claudia, seorang gadis seperti bintang filem yang sering berkongsi swafoto yang menggoda, malah bogel. di platform ini.

12 lagi syarikat berpotensi menyertai AI alliance Microsoft.

12 lagi syarikat berpotensi menyertai AI alliance Microsoft.

Microsoft baru sahaja mengumumkan bahawa 12 lagi syarikat teknologi akan mengambil bahagian dalam program AI for Goodnya.

AI mencipta semula watak Dragon Ball dalam daging dan darah

AI mencipta semula watak Dragon Ball dalam daging dan darah

Pengguna @mortecouille92 telah meletakkan kuasa alat reka bentuk grafik Midjourney untuk berfungsi dan mencipta versi unik realistik watak Dragon Ball yang terkenal seperti Goku, Vegeta, Bulma dan Kame yang lebih tua. .

7 teknik untuk meningkatkan respons ChatGPT

7 teknik untuk meningkatkan respons ChatGPT

Hanya dengan menambah beberapa syarat atau menyediakan beberapa senario, ChatGPT boleh memberikan jawapan yang lebih berkaitan kepada pertanyaan anda. Mari lihat beberapa cara anda boleh meningkatkan kualiti respons ChatGPT anda.

Kagum dengan lukisan cantik yang dilukis oleh kecerdasan buatan

Kagum dengan lukisan cantik yang dilukis oleh kecerdasan buatan

Midjourney ialah sistem kecerdasan buatan yang baru-baru ini menyebabkan "demam" dalam komuniti dalam talian dan dunia artis kerana lukisannya yang sangat cantik yang tidak kalah dengan lukisan artis sebenar.

Model AI ini adalah salah seorang pakar pertama yang menemui berita tentang wabak pneumonia Wuhan.

Model AI ini adalah salah seorang pakar pertama yang menemui berita tentang wabak pneumonia Wuhan.

Beberapa hari selepas China mengumumkan wabak itu, dengan akses kepada data jualan tiket penerbangan global, sistem AI BlueDot terus meramalkan dengan tepat penyebaran virus Wuhan Corona ke Bangkok, Seoul, Taipei dan Tokyo.