Disneyin yapay zeka modeli, komut dosyalarından animasyonlu diziler üretiyor

Gerçekçi olmak gerekirse yapay zekanın bir veya daha fazla metin parçasından orijinal klipler oluşturabilmesi teknoloji dünyasında sarsıcı bir haber değil. Geçtiğimiz yıl araştırmacılar, bir sistemin bilgi parçacıkları oluşturmak için sinir ağlarından (biyolojik sinir ağlarından (nöronlar) sonra modellenen matematiksel fonksiyon katmanları) nasıl yararlandığını ayrıntılı olarak açıkladı.Video, 32 kare uzunluğunda ve 64 × 64 piksel boyutunda olup, birçok çağrıştırıcı tanımdan gelmektedir. “çimlerde futbol oynamak” gibi. Ancak Arxiv.org'da yayınlanan yeni bir makaleye göre Disney Research ve Rutgers'taki bilim insanları, çapraz kelimeli yapay zeka modeliyle bu fikri bir adım daha ileri götürmeyi başardılar.Baştan sona, şu şekilde kaba bir olay örgüsü oluşturmak mümkün: senaryolardaki metinlerin video açıklamalarının yanı sıra. Spesifik olarak, bilim adamlarının metinden animasyona modeli, etkinlikler için açıklayıcı girdi metni sağlamak için kullanılan bir ön adım olan açıklama verilerine ihtiyaç duymadan animasyonlar oluşturmaya yardımcı oluyor.

• Yapay zeka OpenAI, son dünya şampiyonu Dota 2 takımını yendi

“Doğal dildeki metinlerden otomatik olarak animasyon oluşturmak, film senaryosu yazmak veya eğitici videolar oluşturmak gibi birçok alanda uygulanabilen çok kullanışlı bir teknolojidir. Bu yapay zeka sistemleri, daha hızlı yineleme, prototip oluşturma ve kavram kanıtlamasına izin vererek komut dosyası oluşturmaya uygulandığında özellikle değerli olacaktır. Bu araştırmada, karmaşık cümleleri tatmin edici bir şekilde işleyebilen bir metinden animasyona sistemi başarıyla geliştirdik. Bu yapay zeka sisteminin amacı, yazarların veya senaristlerin tamamen yerini almak değil, senaristlerin işini etkili bir şekilde destekleyebilecek ve işlerini kolaylaştırabilecek, daha ilginç hale getirebilecek bir yapay zeka asistanı yaratmaktır" diye paylaştı araştırma ekibi.

Araştırmacıların açıkladığı gibi metni animasyona çevirmek basit bir iş değil. Aslında hem cümleler (giriş verileri) hem de animasyonlar (çıkış verileri) sabit bir yapıya sahip değildir. Bu aynı zamanda mevcut metinden videoya dönüştürme araçlarının çoğunun karmaşık cümle kalıplarını idare edememesinin de nedenidir. Mevcut sistemlerin sınırlamalarını ele almak için araştırma ekibi, aşağıdaki gibi bir dizi bileşeni içeren modüler bir sinir ağı oluşturdu: İlgili metni, senaryodaki sahne açıklamalarından dinamik olarak otomatik olarak izole eden yeni bir senaryo ayrıştırma modülü; bir dizi dil kuralı kullanarak karmaşık cümle kalıplarını basitleştiren ve basitleştirilmiş cümlelerden bilgileri önceden tanımlanmış eylem temsillerine çıkaran bir doğal dil işleme modülü; ve bahsedilen temsillerin çoklu animasyon sekanslarına dönüştürülmesinden sorumlu bir animasyon modülü.

• AB: Yapay zeka sistemleri şeffaf ve sorumlu bir şekilde oluşturulmalı ve dağıtılmalıdır

Araştırmacılara göre, bu basitleştirilmiş yaklaşım, önemli kod bilgilerinin çıkarılmasını çok daha kolay hale getirecek ve sistemleri, bir kod parçasına belirli bir sözdizimsel yapı verildiğinde bunu otomatik olarak tanımlayabilecek ve ardından onu daha basit cümleler halinde ayrıştırıp bir araya getirebilecek ve ardından daha fazla basitleştirme mümkün olmayana kadar yinelemeli olarak işlenir. Bir sonraki “koordinasyon adımı” aynı sözdizimsel ilişkiye sahip olan ve aynı zamanda aynı işlevsel role sahip cümlelere uygulanacaktır. Ve son olarak, cümlelerde açıklanan eylemleri eşleştiren bir kelime simülatörü, önceden tanımlanmış bir kütüphanede 52 farklı animasyon (bir eşanlamlı sözlüğü kullanılarak 92 animasyona genişletilebilir) anlamı ile basitleştirilecektir.

Cardinal adı verilen bir sistem daha sonra bu animasyonları eylemler için girdi olarak kullanıyor ve Epic Games tarafından geliştirilen popüler bir video oyun motoru olan Unreal'da ön görselleştirmeler oluşturuyor. Önceden tanımlanmış animasyon kütüphanesine dayalı olarak, karakterleri oluşturmak için kullanabileceği nesneler ve modeller önceden yüklenecek ve böylece işlenmiş senaryoyu yakından yansıtan 3D animasyon videolarının oluşturulmasına yardımcı olacak.

• Yapay zeka sohbet robotları dolandırıcılık ve dolandırıcılık hakkında bilgi bulmaya yardımcı oluyor

Bu üstün sistemi eğitmek için araştırmacılar, IMSDb, SimplyScripts ve ScriptORama5'i içeren, ücretsiz olarak erişilebilen kaynaklardan alınan 1.000'den fazla komut dosyasından yararlanarak 996 senaryodan oluşan bir sahne açıklama veritabanını derlemeye başladı. Toplamda bu külliyat, 1.402.864 cümle içeren 525.708 açıklama içermektedir; bunların 920.817'si (%40'tan fazlası) bir eylemi tanımlayan en az bir fiil içerir.

Niteliksel bir deneyde, bilim insanları 22 katılımcıdan sistem tarafından oluşturulan 20 animasyonu 5 puanlık bir ölçekte derecelendirmelerini istedi (örneğin, gösterilen video metin içeriğine göre uygun şekilde canlandırılıyor mu? metin mi? veya videoda ne kadar metin bilgisi anlatılıyor?) ve videodaki bilgilerin metinde ne kadar belirtildiği), katılımcıların %68'i sistemin etkili animasyonlar oluşturduğunu söyledi. girdi senaryolarından gerçeğe uygun değer elde edildi - çok yüksek bir oran olmasa da oldukça övgüye değer.

Bu da bunun gerçekten mükemmel bir sistem olmadığını gösteriyor. Aslında, eylemlerin ve nesnelerinin listesi kapsamlı değildir ve bazen sözcüksel basitleştirme süreci karmaşık fiilleri benzer canlandırıcılarla başarılı bir şekilde eşleştiremez veya orijinal cümlede birden fazla öznesi olan bir fiil için yalnızca birkaç basit cümle oluşturulabilir. . Ancak bu henüz genç bir çalışmadır ve bu tür sınırlamalar tamamen anlaşılabilir. Araştırmacılar yakın gelecekte yukarıdaki eksiklikleri gidermeyi planlıyorlar.

• MIT'in yapay zeka modeli, minimum eğitim verisiyle kendi başına nesneler arasındaki ilişkileri yakalayabilir

"İç ve dış değerlendirmeler bu sistemin makul performansını gösterdi ve biz de metin parçalarında açıklanan eylem sırasını inceleyerek söylem bilgisinden yararlanmak istedik. Bu aynı zamanda metindeki eylemlerle ilgili belirsizliklerin çözülmesine de yardımcı olacaktır. Ayrıca sistemimiz, benzer uçtan uca sinir sistemlerini eğitmek için gereken verileri oluşturmak için de kullanılabilir" dedi ekip.