Meta เปิดตัว Voicebox ซึ่งเป็นโมเดล AI ที่รองรับการประมวลผลเสียงสำหรับผู้สร้าง

หลังจากข่าวลือนับไม่ถ้วน ในที่สุด Meta ก็ได้ประกาศอย่างเป็นทางการถึงโมเดล AI รุ่นล่าสุดที่เรียกว่า Voicebox โมเดลนี้ได้รับการออกแบบมาเพื่อช่วยให้ผู้สร้างเนื้อหาจัดการงานที่เกี่ยวข้องกับการสร้างเสียงได้อย่างมีประสิทธิภาพ เช่น การตัดต่อเสียง การสุ่มตัวอย่าง และการจัดสไตล์ แม้ว่าจะไม่ได้รับการฝึกอบรมเฉพาะก็ตาม เป็นไปได้ผ่านข้อมูลในบริบท

Meta ยืนยันอย่างมั่นใจว่าโมเดล AI ใหม่นี้จะ "เป็นประโยชน์ต่อผู้คนจำนวนมากทั่วโลก" ไม่ใช่แค่ในด้านการสร้างเนื้อหาเท่านั้น เช่น การช่วยให้คนตาบอดได้ยินข้อความด้วยเสียง ตลอดจนให้คนตาบอดพูดภาษาต่างประเทศด้วยเสียงของตนเองได้

กล่องเสียงได้รับการโฆษณาว่าสามารถสร้างคลิปเสียงคุณภาพสูงและแก้ไขคลิปเสียงที่บันทึกไว้ล่วงหน้าเพื่อลบการรบกวนที่ไม่ต้องการ เช่น แตรรถ ในขณะที่ยังคงเนื้อหาและสไตล์หลายภาษาไว้เหมือนเดิม (สร้างเสียงพูดในหกภาษาที่แตกต่างกัน) การพัฒนาในอนาคตที่วางแผนไว้ของ Meta สำหรับโมเดลนี้รวมถึงการให้เสียงที่เป็นธรรมชาติสำหรับผู้ช่วยภาพหรือตัวละครในเกมใน metaverse

Meta ยังเปรียบเทียบ Voicebox กับโมเดล AI ที่ขับเคลื่อนด้วยการประมวลผลเสียงอื่นๆ ที่มีอยู่ในตลาดปัจจุบัน โดยเฉพาะคู่แข่งสำคัญ เช่น Vall-E และ YourTTS โดยรวมแล้ว แบบจำลองของ Meta นั้นล้ำหน้าและมีประสิทธิภาพเหนือกว่าคู่แข่งเมื่อเปรียบเทียบอัตราข้อผิดพลาดของ Word และความคล้ายคลึงกันของสไตล์

กล่องเสียงสร้างขึ้นจาก Flow Matching นี่คือโมเดลการสร้างแบบไม่ถดถอยอัตโนมัติล่าสุดของ Meta ซึ่งสามารถจัดการการแมปที่ไม่สามารถกำหนดได้สูงระหว่างข้อความและคำพูด ซึ่งช่วยให้ Voicebox เรียนรู้จากข้อมูลคำพูดหลายประเภทโดยไม่ต้องติดป้ายกำกับอย่างระมัดระวัง ทำให้มีโอกาสเข้าถึงข้อมูลการฝึกอบรมที่หลากหลายและมีขนาดใหญ่มากขึ้น จนถึงปัจจุบัน Voicebox ได้รับการฝึกอบรมเกี่ยวกับการบันทึกเสียงพูดและการถอดเสียงหนังสือเสียงมากกว่า 50,000 ชั่วโมงในภาษาอังกฤษ ฝรั่งเศส สเปน เยอรมัน โปแลนด์ และโปรตุเกส

แม้ว่าเทคโนโลยีนี้สามารถนำไปสู่ยุคใหม่ของ AI ในการประมวลผลเสียงได้ แต่ Meta ยอมรับว่าอาจก่อให้เกิดการละเมิดและอันตรายที่ไม่ได้ตั้งใจได้ บทความวิจัยที่ Meta แบ่งปันเกี่ยวกับ Voicebox มีรายละเอียดเกี่ยวกับวิธีที่บริษัทสร้างตัวแยกประเภทที่มีประสิทธิภาพสูง ซึ่งสามารถแยกแยะระหว่างเสียงจริงและเสียงที่สร้างโดย Voicebox

Meta จะไม่ทำให้โปรแกรม AI Voicebox พร้อมใช้งานสาธารณะ และจะไม่ปล่อยซอร์สโค้ด อย่างน้อยก็ในตอนนี้