Il modello AI di DeepMind può imparare come creare video semplicemente guardando le clip di YouTube

Forse hai sentito parlare di FaceApp, un'applicazione di fotoritocco mobile che sta ricevendo grande attenzione in tutto il mondo con la capacità di applicare l'intelligenza artificiale (AI) per modificare i selfie con un grado di autenticità estremamente elevato. Oppure Questa persona non esiste, un'altra app di fotoritocco in grado di creare ritratti interessanti basati su personaggi grafici immaginari generati dal computer. Queste sono solo due delle tante fantastiche applicazioni che vedono la presenza dell'intelligenza artificiale in attività legate al fotoritocco e alla creazione. E per quanto riguarda l'editing video?

Recentemente, DeepMind, una filiale di Alphabet, che opera principalmente nel campo dello sviluppo dell'intelligenza artificiale, ha annunciato un'invenzione completamente nuova chiamata "Efficient Video Generation on Complex Datasets" (video effettivamente basato su set di dati complessi), promette di apportare molti cambiamenti nel campo del montaggio video e della post-produzione in futuro. Si tratta fondamentalmente di un algoritmo AI che può imparare a creare semplici clip dai video a cui è stato esposto durante il processo di formazione.

• Questo sito Web può trasformare il tuo selfie giovanile in uno spettrale ritratto vintage

DVD-GAN ora può generare automaticamente video di esempio con layout di oggetti completi

I ricercatori di DeepMind hanno affermato che il loro modello più performante fino ad oggi, il Dual Video Discriminator GAN (DVD-GAN), è stato in grado di creare video con una risoluzione di 256 x 256 pixel, combinata con un'alta risoluzione. La fedeltà è encomiabile e la lunghezza è elevata. a 48 fotogrammi.

“Creare video con un alto livello di naturalezza e realismo è la sfida più grande per i modelli di intelligenza artificiale di oggi. Tra questi, i fattori ostacolanti più significativi non sono altro che la complessità della raccolta dei dati e dei requisiti di calcolo. Per questo motivo, in passato molti lavori legati alla creazione di video ruotavano spesso attorno a set di dati relativamente semplici o attività in cui erano disponibili informazioni in tempo reale. Attualmente ci stiamo concentrando sulla sintesi video e sulle attività di previsione e puntiamo a estendere i risultati degli attuali modelli di intelligenza artificiale per la creazione di immagini ai video, il lato complesso molto meglio", ha affermato un rappresentante del gruppo di ricerca.

Il team ha costruito il proprio sistema attorno a un'architettura AI avanzata, introducendo anche una serie di modifiche specifiche per i video, consentendo così di condurre il processo di formazione sulla base di Kinetic-600: un set di dati include video "naturali", che sono molto più grandi in scala del solito. Nello specifico, i ricercatori hanno sfruttato le reti generative avversarie (GAN).

• Nvidia ha impiegato solo 3 settimane per creare uno dei supercomputer IA più potenti al mondo

Una serie di videoclip sintetici di 4 secondi addestrati su 12 fotogrammi 128 × 128 di Kinetic-600.

Se non lo sai, GAN è un sistema di intelligenza artificiale composto da due parti separate: la prima è una rete generativa, che aiuta a creare campioni di addestramento (dati falsi), con l'obiettivo di creare dati di addestramento per creare la somiglianza più realistica. . E la seconda è la rete Discriminativa: che cerca di distinguere tra dati reali e dati falsi. I sistemi GAN sono stati applicati in molti compiti intensivi come la conversione di didascalie in storie contestuali, in particolare la creazione di foto artificiali con un realismo estremamente elevato.

DVD-GAN contiene doppie reti discriminative: l'algoritmo discriminativo può rivelare differenze nel contenuto e nella struttura di un singolo fotogramma campionando casualmente i fotogrammi a piena risoluzione, quindi elaborandoli. Elaborandoli individualmente e differenziati nel tempo fornisce spunti di apprendimento per generare movimento. Un singolo modulo, denominato Transformer, consente la distribuzione dei dati e delle informazioni apprese nell'intero modello AI.

• Google rilascia un enorme data warehouse di formazione sull'intelligenza artificiale con oltre 5 milioni di foto di 200.000 punti di riferimento in tutto il mondo

Per quanto riguarda il corpus di formazione Kinetic-600, si tratta essenzialmente di un gigantesco set di dati, compilato da oltre 500.000 clip YouTube ad alta risoluzione con una durata non superiore a 10 secondi. Questi video sono stati inizialmente curati per riconoscere le azioni umane, con i ricercatori che descrivono questo corpus come “diverso” e “non vincolato”, fattori particolarmente rilevanti nella formazione di modelli aperti simili al DVD-GAN di DeepMind. (Nel campo dell’apprendimento automatico, esiste un termine “overfitting”, che viene utilizzato per riferirsi a modelli che si adattano troppo strettamente a un particolare insieme di dati e di conseguenza non riescono a prevedere in modo affidabile le osservazioni nei dati futuri) .

Secondo il rapporto del gruppo di ricerca, dopo essere stato continuamente addestrato dal sistema Tensor Processing Units di terza generazione di Google per un periodo compreso tra 12 e 96 ore, DVD-GAN è ora in grado di generare video da solo. Il modello possiede layout, movimenti e movimenti completi degli oggetti. anche strutture complesse come i riflessi sulle superfici dei fiumi, piste di pattinaggio... DVD-GAN ha dovuto "lottare" per creare oggetti complessi in quest'area con una risoluzione più elevata, dove il movimento coinvolge un numero molto maggiore di pixel. Tuttavia, i ricercatori hanno notato che, dopo essere stati valutati su UCF-101 (un set di dati più piccolo di 13.320 video di azioni umane), i campioni video generati da DVD-GAN hanno ottenuto buoni risultati: il punteggio Inception è 32,97, niente affatto male.

• Il modello di intelligenza artificiale del MIT è in grado di acquisire autonomamente le relazioni tra gli oggetti con dati di addestramento minimi

Il campione video creato da DVD-GAN ha ottenuto un punteggio iniziale di 32,97

“Andando avanti, vogliamo enfatizzare ulteriormente i vantaggi dell’addestramento di modelli generativi su set di dati video grandi e complessi, come Kinetic-600. Sebbene ci sia ancora molto lavoro da fare prima che i video realistici possano essere generati in modo coerente in una gamma illimitata di impostazioni, crediamo che DVD-GAN sia il trampolino di lancio perfetto per realizzare questo sogno", ha affermato un rappresentante del gruppo di ricerca.

Cosa ne pensi del modello AI DVD-GAN di DeepMind? Per favore lascia i tuoi commenti qui sotto!