Meta, yaratıcılar için ses işlemeyi destekleyen bir yapay zeka modeli olan Voiceboxı tanıtıyor

Sayısız söylentinin ardından Meta nihayet Voicebox adlı yeni nesil yapay zeka modelini resmen duyurdu. Bu model, içerik oluşturucuların, özel bir eğitim gerektirmeden bile ses düzenleme, örnekleme ve stilizasyon gibi ses üretimiyle ilgili görevleri verimli bir şekilde gerçekleştirmelerine yardımcı olmak için tasarlanmıştır.

Meta, bu yeni yapay zeka modelinin yalnızca içerik oluşturma alanında değil, "dünya çapında birçok insana fayda sağlayacağını" güvenle doğruluyor. Örneğin, görme engelli kişilerin kendi sesleriyle kısa mesajları duymalarına yardımcı olmanın yanı sıra, insanların kendi sesleriyle yabancı dil konuşmasına da olanak sağlamak.

Voicebox'un hem yüksek kaliteli ses klipleri oluşturabildiği hem de araba kornaları gibi istenmeyen kesintileri ortadan kaldırmak için önceden kaydedilmiş ses kliplerini düzenleyebildiği ve aynı çok dilli içeriği ve stili koruyabildiği (altı farklı dilde konuşma üretebildiği) tanıtılıyor. Meta'nın model için gelecekte yapmayı planladığı geliştirmeler arasında meta veri evrenindeki oyunlardaki görsel asistanlar veya karakterler için doğal sesler sağlanması yer alıyor.

Meta ayrıca Voicebox'u şu anda piyasada bulunan diğer ses işleme destekli yapay zeka modelleriyle, özellikle de Vall-E ve YourTTS gibi önemli rakiplerle karşılaştırdı. Genel olarak Meta'nın modeli ileri düzeydedir ve Word hata oranı ile Stil benzerliği karşılaştırıldığında rakiplerinden daha iyi performans göstermektedir.

Voicebox, Akış Eşleştirme üzerine kurulmuştur. Bu, Meta'nın metin ve konuşma arasındaki son derece deterministik olmayan eşlemeyi işleyebilen en son otoregresif olmayan üretken modelidir. Bu, Voicebox'un dikkatli bir şekilde etiketlemeye gerek kalmadan birçok farklı türde konuşma verisinden öğrenmesine olanak tanır ve ona daha çeşitli ve büyük ölçekli eğitim verilerine erişme fırsatı verir. Bugüne kadar Voicebox, İngilizce, Fransızca, İspanyolca, Almanca, Lehçe ve Portekizce dillerinde 50.000 saatten fazla konuşma kaydı ve sesli kitap transkripsiyonuyla ilgili eğitim aldı.

Bu teknoloji, ses işlemede yeni bir yapay zeka çağını başlatabilirken Meta, bunun kötüye kullanım ve kasıtsız zarar potansiyeli ortaya çıkarabileceğini kabul ediyor. Meta'nın Voicebox hakkında paylaştığı araştırma makalesi, şirketin orijinal sesler ile Voicebox tarafından oluşturulan sesleri ayırt edebilen son derece etkili bir sınıflandırıcıyı nasıl geliştirdiğine dair ayrıntıları içeriyor.

Meta, AI Voicebox programını genel kullanıma sunmayacak ve kaynak kodunu da en azından şimdilik yayınlamayacak.