Искусственному интеллекту Microsoft требуется три секунды, чтобы имитировать чей-либо голос

Vall-E, искусственный интеллект, созданный Microsoft, может имитировать тон и речь реальных людей, слушая их голос в течение трех секунд, хотя он все равно будет немного напоминать голос робота.

Искусственный интеллект Vall-E от Microsoft. Фото иллюстрации: VallE-Demo.

Эта система искусственного интеллекта от Microsoft называется «Языковая модель нейронного кодека». Кодек — это инструмент, который использует алгоритмы для обработки видео и сохранения его в потоке байтов. Аудио- или видеофайлы минимизируются, а затем распаковываются для различных целей.

Vall-E был создан Microsoft на платформе EnCodec — аудиокодеке с использованием методов машинного обучения, разработанном компанией Meta в 2022 году. Vall-E создает уникальные аудиокодеки, захватывая и анализируя звук каждого человека, затем информация разбивается на части, называемые «токенами», с помощью EnCodec. Это отличается от предыдущих методов преобразования текста в речь, которые обычно имеют волновую форму.

Затем Vall-E использует данные обучения, чтобы сопоставить то, что он «знает» об интонации речи, чтобы он мог произносить другие фразы в соответствии с тем, что он «изучил».

Весь этот процесс имитации речи выполняется за три секунды — никогда раньше это не достигалось ни одной системой искусственного интеллекта, имитирующей язык.

Для обучения Валл-Э Microsoft использует библиотеку, содержащую 60 000 часов разговорного английского языка от более чем 7 000 человек. Эта библиотека будет добавляться со временем и на других языках.

Microsoft надеется, что Vall-E будет применяться в высококачественном программном обеспечении для преобразования текста в речь.

Однако Vall-E заставляет экспертов беспокоиться о том, что его могут использовать в злонамеренных целях. Этот ИИ может использоваться злоумышленниками для выдачи себя за голоса с целью мошенничества и вымогательства. Если этот ИИ объединить с дипфейковыми видеороликами, уровень опасности может увеличиться во много раз.