Sztuczna inteligencja Microsoftu potrzebuje trzech sekund, aby naśladować czyjś głos

Vall-E, sztuczna inteligencja stworzona przez Microsoft, może naśladować ton i mowę prawdziwych ludzi, słuchając ich głosu przez trzy sekundy, chociaż nadal będzie on brzmiał trochę jak głos robota.

Sztuczna inteligencja Vall-E firmy Microsoft. Zdjęcie ilustracyjne: VallE-Demo.

Ten system sztucznej inteligencji firmy Microsoft nazywany jest „modelem języka kodeka neuronowego”. Kodek to narzędzie wykorzystujące algorytmy do przetwarzania wideo i przechowywania go w strumieniu bajtów. Pliki audio lub wideo są minimalizowane, a następnie dekompresowane w różnych celach.

Vall-E został zbudowany przez firmę Microsoft na platformie EnCodec, kodeku audio wykorzystującym techniki uczenia maszynowego opracowane w 2022 roku przez firmę Meta. Vall-E tworzy unikalne kodeki audio, przechwytując i analizując dźwięk każdej osoby, a następnie informacje są dzielone na części zwane „tokenami” za pomocą EnCodec. Różni się to od poprzednich metod zamiany tekstu na mowę, które zwykle mają formę falową.

Następnie Vall-E wykorzystuje dane szkoleniowe, aby dopasować swoją „wiedzę” o intonacji mowy, dzięki czemu może wypowiadać inne frazy zgodnie z tym, czego się „nauczył”.

Cały proces imitacji mowy trwa trzy sekundy – nigdy wcześniej nie udało się tego osiągnąć żadnemu współczesnemu systemowi sztucznej inteligencji imitującej język.

Do szkolenia Vall-E Microsoft korzysta z biblioteki zawierającej 60 000 godzin rozmów po angielsku od ponad 7 000 osób. Ta biblioteka będzie z czasem dodawana w większej liczbie języków.

Microsoft ma nadzieję, że Vall-E zostanie zastosowany w wysokiej jakości oprogramowaniu do zamiany tekstu na mowę.

Jednak Vall-E budzi wśród ekspertów obawy, że może on zostać wykorzystany do szkodliwych celów. Ta sztuczna inteligencja może być wykorzystywana przez złoczyńców do podszywania się pod głosy w celu oszustwa i wymuszenia. Jeśli tę sztuczną inteligencję połączymy z filmami typu deepfake, poziom zagrożenia może wielokrotnie wzrosnąć.