Meta memperkenalkan Voicebox, model AI yang menyokong pemprosesan audio untuk pencipta

Selepas khabar angin yang tidak terkira banyaknya, Meta akhirnya secara rasmi mengumumkan model AI generasi terbarunya yang dipanggil Voicebox. Model ini direka bentuk untuk membantu pencipta kandungan mengendalikan tugas berkaitan penjanaan suara dengan cekap seperti penyuntingan audio, pensampelan dan penggayaan, walaupun tanpa latihan khusus. mungkin melalui data dalam konteks.

Meta dengan yakin mengesahkan bahawa model AI baharu ini akan "memanfaat ramai orang di seluruh dunia", bukan hanya dalam bidang penciptaan kandungan. Contohnya, membantu orang buta mendengar mesej teks menggunakan suara mereka, serta membenarkan orang bercakap bahasa asing dengan suara mereka sendiri.

Kotak suara sendiri diiklankan sebagai boleh mencipta klip audio berkualiti tinggi dan mengedit klip audio prarakam untuk mengalih keluar gangguan yang tidak diingini, seperti hon kereta, sambil mengekalkan kandungan dan gaya berbilang bahasa yang sama, (menghasilkan pertuturan dalam enam bahasa berbeza). Perkembangan masa depan Meta yang dirancang untuk model itu termasuk menyediakan suara semula jadi untuk pembantu visual atau watak dalam permainan dalam metaverse.

Meta juga membandingkan Voicebox dengan model AI dikuasakan pemprosesan audio lain yang sedang berada di pasaran, khususnya pesaing utama seperti Vall-E dan YourTTS. Secara keseluruhan, model Meta adalah maju dan mengatasi prestasi persaingan apabila membandingkan kadar ralat Word dan persamaan Gaya.

Kotak Suara dibina pada Padanan Aliran. Ini ialah model generatif bukan autoregresif terbaru Meta, yang boleh mengendalikan pemetaan yang sangat tidak menentukan antara teks dan pertuturan. Ini membolehkan Voicebox belajar daripada pelbagai jenis data pertuturan tanpa perlu melabelkannya dengan teliti, memberikannya peluang untuk mengakses data latihan yang lebih pelbagai dan berskala besar. Sehingga kini, Voicebox telah dilatih mengenai lebih daripada 50,000 jam rakaman pertuturan dan transkripsi buku audio dalam bahasa Inggeris, Perancis, Sepanyol, Jerman, Poland dan Portugis.

Walaupun teknologi ini boleh membawa kepada era baharu AI dalam pemprosesan audio, Meta mengakui bahawa ia boleh memperkenalkan potensi penyalahgunaan dan bahaya yang tidak diingini. Kertas penyelidikan Meta kongsikan tentang Voicebox termasuk butiran tentang cara syarikat membina pengelas yang sangat berkesan yang boleh membezakan antara suara tulen dan suara yang dijana oleh Voicebox.

Meta tidak akan menjadikan program AI ​​Voicebox tersedia untuk kegunaan awam, dan ia juga tidak akan mengeluarkan kod sumber, sekurang-kurangnya buat masa ini.