DeepMindın yapay zeka modeli, yalnızca YouTube kliplerini izleyerek nasıl video oluşturulacağını öğrenebilir

Belki de son derece yüksek düzeyde özgünlükle özçekimleri düzenlemek için yapay zeka (AI) uygulama becerisiyle dünya çapında büyük ilgi gören bir mobil fotoğraf düzenleme uygulaması olan FaceApp'i duymuşsunuzdur. Or This Person Does Not Exist, bilgisayar tarafından oluşturulan kurgusal grafik karakterlere dayalı ilginç portreler oluşturabilen başka bir fotoğraf düzenleme uygulaması. Bunlar, fotoğraf düzenleme ve oluşturma ile ilgili görevlerde yapay zekanın yer aldığı pek çok harika uygulamadan sadece ikisi. Peki video düzenlemeye ne dersiniz?

Geçtiğimiz günlerde ağırlıklı olarak yapay zeka geliştirme alanında faaliyet gösteren Alphabet'in bir yan kuruluşu olan DeepMind, "Karmaşık Veri Kümelerinde Verimli Video Üretimi" adı verilen tamamen yeni bir buluşu duyurdu. Gelecekte video düzenleme ve post prodüksiyon alanı. Bu temelde eğitim sürecinde maruz kaldığı videolardan basit klipler oluşturmayı öğrenebilen bir yapay zeka algoritmasıdır.

• Bu web sitesi gençlik selfienizi ürkütücü bir vintage portreye dönüştürebilir

DVD-GAN artık tam nesne düzenleriyle otomatik olarak örnek videolar oluşturabiliyor

DeepMind'deki araştırmacılar, bugüne kadarki en iyi performans gösteren modelin - Çift Video Ayırıcı GAN'ın (DVD-GAN) - yüksek çözünürlükle birlikte 256 x 256 piksel çözünürlükte videolar oluşturabildiğini söyledi. 48 kareye kadar.

“Yüksek düzeyde doğallık ve gerçekçiliğe sahip videolar oluşturmak günümüzün yapay zeka modelleri için en büyük zorluktur. Bunlar arasında en önemli engelleyici faktörler veri toplama ve hesaplama gerekliliklerinin karmaşıklığından başkası değildir. Bu nedenle, geçmişte video oluşturmayla ilgili birçok iş genellikle nispeten basit veri kümeleri veya gerçek zamanlı bilgilerin mevcut olduğu görevler etrafında dönüyordu. Şu anda video sentezi ve tahmin görevlerine odaklanıyoruz ve günümüzün önde gelen görüntü oluşturma yapay zeka modellerinin sonuçlarını, karmaşık tarafı çok daha iyi olan videoya genişletmeyi hedefliyoruz" dedi araştırma ekibinden bir temsilci.

Ekip, sistemlerini gelişmiş bir yapay zeka mimarisi etrafında kurdu ve aynı zamanda videoya özgü bir dizi ince ayar sunarak eğitim sürecinin Kinetic-600'e dayalı olarak yürütülmesine olanak sağladı. normalden daha büyük ölçekli. Araştırmacılar özellikle üretken rakip ağların (GAN'lar) avantajlarından yararlandılar.

• Nvidia'nın dünyanın en güçlü yapay zekalı süper bilgisayarlarından birini yaratması yalnızca 3 hafta sürdü

Kinetic-600'den 12 128 × 128 kareyle eğitilmiş 4 saniyelik sentetik video klip seti.

Bilmiyorsanız GAN, iki ayrı bölümden oluşan bir yapay zeka sistemidir: Birincisi, eğitim verilerinin nasıl oluşturulacağı hedefiyle, eğitim örneklerinin (sahte veriler) oluşturulmasına yardımcı olan Üretken bir ağdır. en gerçekçi benzerliği yaratın. . İkincisi ise Ayırıcı ağdır: gerçek verilerle sahte veriler arasında ayrım yapmaya çalışır. GAN sistemleri, altyazıları bağlamsal hikayelere dönüştürmek, özellikle son derece yüksek gerçekçiliğe sahip yapay fotoğraflar oluşturmak gibi birçok yoğun görevde uygulanmıştır.

DVD-GAN ikili ayırt edici ağlar içerir: Ayırt edici algoritma, tam çözünürlüklü kareleri rastgele örnekleyerek ve ardından bunları işleyerek tek bir karenin içerik ve yapısındaki farklılıkları ortaya çıkarabilir.Bunları ayrı ayrı işlemek ve zaman içinde farklılaştırmak, hareket oluşturmak için öğrenme ipuçları sağlar. Transformer adlı tek bir modül, öğrenilen veri ve bilgilerin tüm yapay zeka modeli boyunca dağıtılmasına olanak tanır.

• Google, dünya çapında 200.000 önemli noktaya ait 5 milyondan fazla fotoğrafın yer aldığı devasa bir AI eğitim veri ambarını kullanıma sunuyor

Kinetic-600 eğitim külliyatına gelince, bu aslında süresi 10 saniyeyi aşmayan 500.000'den fazla yüksek çözünürlüklü YouTube klibinden derlenen dev bir veri kümesidir. Bu videolar başlangıçta insan eylemlerini tanıyacak şekilde seçilmişti ve araştırmacılar bu külliyatı DeepMind'in DVD-GAN'ına benzer "çeşitli" ve "kısıtlamasız" faktörler olarak özellikle eğitimle ilgili açık modeller olarak tanımladılar. (Makine öğrenimi alanında, belirli bir veri kümesine çok yakından uyan ve bunun sonucunda verilerdeki gözlemleri geleceği güvenilir bir şekilde tahmin edemeyen modelleri ifade etmek için kullanılan "aşırı uyum" terimi vardır.) .

Araştırma ekibinin raporuna göre, Google'ın 3. nesil Tensör İşleme Birimleri sistemi tarafından 12 ila 96 saat arasında sürekli olarak eğitilen DVD-GAN, artık kendi başına video oluşturabiliyor.Model, eksiksiz nesne düzenlerine, hareketlerine ve hareketlerine sahip. nehir yüzeylerindeki yansımalar, buz pateni pistleri gibi karmaşık yapılar bile... DVD-GAN, hareketin çok daha fazla sayıda piksel içerdiği daha yüksek çözünürlükteki bu alanda karmaşık nesneler oluşturmak için "mücadele etmek" zorunda kaldı. Ancak araştırmacılar, UCF-101 (insan eylemlerini gösteren 13.320 videodan oluşan daha küçük bir veri kümesi) üzerinde değerlendirildikten sonra, DVD-GAN tarafından oluşturulan video örneklerinin iyi puan aldığını, Başlangıç ​​Puanının 32,97 olduğunu ve hiç de kötü olmadığını belirtti.

• MIT'in yapay zeka modeli, minimum eğitim verisiyle kendi başına nesneler arasındaki ilişkileri yakalayabilir

DVD-GAN'ın oluşturduğu video örneği 32,97 Başlangıç ​​Puanına ulaştı

"İleriye dönük olarak, Kinetic-600 gibi büyük ve karmaşık video veri kümeleri üzerinde üretken modellerin eğitiminin faydalarını daha da vurgulamak istiyoruz. Sınırsız bir dizi ortamda gerçekçi videoların tutarlı bir şekilde oluşturulabilmesi için hala yapılması gereken çok iş olmasına rağmen, DVD-GAN'ın bu hayali gerçekleştirmenin mükemmel bir basamak olduğuna inanıyoruz" dedi. Araştırma takımı.

DeepMind'ın DVD-GAN AI modeli hakkındaki düşünceleriniz nelerdir? Lütfen yorumlarınızı aşağıya bırakın!