Project Genie: Google DeepMind'ın Etkileşimli Dünya Modellerine Yaratıcı Rehberi (Genie, Genie 2, Genie 3)

Giriş#

Project Genie, Google DeepMind'ın metin istemleri, tekil görseller ve etiketlenmemiş videolar gibi günlük medyadan etkileşimli, oynanabilir ortamlar üreten çığır açan bir "dünya modelleri" serisidir. İçerik oluşturucular için Project Genie, yeni bir yaratıcı tuval vaat ediyor: etkileşimsiz bir klip oluşturmak yerine, canlı bir sahne içinde yönlendirebilir, keşfedebilir ve yineleyebilirsiniz. İster bir sekansı planlayan bir film yapımcısı, ister bir mekaniği prototipleştiren bir oyun tasarımcısı, ister mekanları keşfeden bir tasarımcı veya bir dünyayı görselleştiren bir yazar olun, Project Genie ön görselleştirme günlerini dakikalara sıkıştırabilir. Basitçe söylemek gerekirse, Project Genie hayal gücünü harekete dönüştürür ve aslında kontrol edebileceğiniz bir harekete.

Project Genie üç nesil boyunca gelişir: Genie (orijinal model), Genie 2 (eylem kontrolü ile görüntüden 3D dünya üretimi) ve Genie 3 (gerçek zamanlı navigasyon ile metinden dünya üretimi). Her adım sizi tutarlı görünen, makul davranan ve saniyede 24 kare hızında girdilerinize yanıt veren dünyalara yaklaştırır. Bu modeller araştırmada ortaya çıkmış olsa da, Project Genie, etkileşimli deneyleri prototiplemenin ve hattınızda kullanabileceğiniz görüntüleri yakalamanın hızlı ve esnek bir yolunu sunarak yaratıcı iş akışlarını zaten yeniden şekillendiriyor.

Project Genie nedir?#

Project Genie, etiketlenmemiş İnternet videoları üzerinde denetimsiz bir şekilde eğitilmiş temel bir dünya modeli olan Genie olarak başladı. Genie, manuel etiketlere güvenmek yerine, doğrudan dünyadaki görsel ve fiziksel desenlerden öğrendi ve yaklaşık 11 milyar parametre ölçeğine ulaştı. Sonuç: Project Genie, etkileşimli ortamları kare kare sentezleyebilir ve kullanıcıların bunlar içinde hareket etmesine izin verebilir.

Oradan, Project Genie, tek bir istem görüntüsünden zengin bir eylem kontrol edilebilir, oynanabilir 3D dünyalar üreten Genie 2'ye ilerledi. İçerik oluşturucular için bu, bir görüntü konseptini etrafta hareket edebileceğiniz, etkileşimleri test edebileceğiniz ve görünüm ve his üzerinde hızla yineleme yapabileceğiniz keşifsel bir alana dönüştürebileceğiniz anlamına gelir. Project Genie, Genie 2 biçiminde, somutlaştırılmış aracıları eğitmek ve değerlendirmek için de güçlü bir araç haline geldi - bu oynanabilir dünyalarda yaparak öğrenen simüle edilmiş aktörler.

Genie 3 ile Project Genie yeni bir sınıra ulaştı: etkileşimli ortamları doğrudan metin istemlerinden oluşturmak ve bunları gerçek zamanlı olarak saniyede yaklaşık 24 kare hızında 720p çözünürlükte çalıştırmak, birkaç dakika boyunca zamansal tutarlılığı korumak. Bu gerçek zamanlı kontrol, Project Genie'yi yaratıcı çalışmalar için özellikle çekici kılan şeydir - canlı olarak yineleyebilir, bir çekimi yönetebilir veya bir alanı keşfedebilir ve sonucu anında kaydedebilirsiniz.

Project Genie içerik oluşturucular için neden önemli?#

Project Genie, bir araştırma kilometre taşından daha fazlasıdır; yaratıcı iş akışları için pratik bir hızlandırıcıdır:

Hızlı ön görselleştirme: Project Genie, sahneleri, kamera hareketlerini ve etkileşimleri hızlı bir şekilde kabataslak çizmenizi sağlayarak statik storyboard'ları oynanabilir dünyalarla değiştirir.
Yinelemeli dünya inşa etme: Project Genie ile farklı sanat yönlerini, aydınlatma ruh hallerini veya mekansal düzenleri dakikalar içinde test edebilir ve isteğe bağlı olarak b-roll veya referans görüntüleri yakalayabilirsiniz.
Erken oyun prototiplemesi: Oyun tasarımcıları, tam bir motor yapısı oluşturmadan Project Genie içinde mekanikleri ve hızı deneyebilirler.
Aracı odaklı fikir üretimi: Project Genie dünyaları, somutlaştırılmış aracıları eğitmek ve değerlendirmek için uygundur ve daha akıllı NPC davranış testlerini veya otonom kamera yollarını mümkün kılar.
Disiplinler arası işbirliği: Project Genie, yazarların, seslendirme sanatçılarının, tasarımcıların ve yönetmenlerin sahneleri etkileşimli olarak keşfederek ton, sahneleme ve hız konusunda uyum sağlamalarına yardımcı olur.

Kısacası, Project Genie fikir ve ekrandaki sonuç arasındaki sürtünmeyi azaltır, geri bildirim döngülerini kısaltır ve daha fazla denemeyi mümkün kılar.

Project Genie nasıl çalışır (Genie, Genie 2, Genie 3)#

Yüksek bir düzeyde, Project Genie dünya dinamiklerini videodan öğrenir. Genie'nin temel içgörüsü, etiketlenmemiş videonun zengin bir yapı içerdiğiydi - nesneler, fizik, hareket ve neden/sonuç - yeterince yetenekli bir modelin içselleştirebileceği ve ardından simüle edebileceği. Project Genie, bu anlayışı eylemler gerçekleştirirken adım adım ilerleyebileceğiniz etkileşimli karelere dönüştürür.

Genie: Project Genie'nin ilk yinelemesi, etiketlenmemiş İnternet videolarından öğrendi ve kare kare etkileşimi ortaya çıkardı. Dünya modellerinin tek başına ham videodan oynanabilir ve kullanışlı olabileceğini kanıtladı.
Genie 2: Project Genie, tek bir görüntü isteminden oynanabilir 3D dünyalar oluşturmak için gelişti. Çeşitli stilleri ve fiziksel özellikleri modelleyebilir, bu da onu somutlaştırılmış aracı eğitimi ve yaratıcı prototipleme için ideal hale getirir.
Genie 3: Project Genie artık metin istemlerinden dünyalar oluşturuyor ve dakikalarca 720p'de tutarlılıkla 24 fps'de gerçek zamanlı navigasyonu sürdürüyor. İçerik oluşturucular için bu, bir sahneyi tanımlayabileceğiniz, içine girebileceğiniz, etrafta hareket edebileceğiniz ve kaydedebileceğiniz anlamına gelir.

Bu ilerleme, Project Genie'yi etkileşimli medya için temel bir model olarak konumlandırıyor - metinden görüntüye ve metinden videoya araçların bir karşılığı, ancak kontrol yerleşik olarak.

Project Genie nasıl kullanılır: adım adım kılavuz#

Project Genie'ye erişim, sürüme (araştırma önizlemeleri, demolar veya ortak programlar) göre değişebilir, ancak aşağıdaki iş akışı, içerik oluşturucuların kullanılabilir olduğunda onunla pratik olarak nasıl çalışabileceğini gösterir.

Yaratıcı niyetinizi tanımlayın

Test etmek istediğiniz hikaye vuruşunu, estetiği ve etkileşimi açıklığa kavuşturun. Project Genie, amaçlı yön verildiğinde gelişir.
Metin istemleri (Genie 3) için kısa bir sahne açıklaması yazın. Görüntü tohumları (Genie 2) için, Project Genie'nin keşfetmesini istediğiniz düzeni, stili veya paleti yakalayan bir referans görüntü seçin.

Giriş noktanızı seçin

Metinden dünyaya (Genie 3): Project Genie'yi "Geceleri retro-fütüristik bir neon pazarı, hafif yağmur, su birikintileri, dar sokaklar, yansıtıcı yüzeyler" gibi bir istemden oynanabilir bir ortam oluşturmak için kullanın.
Görüntüden dünyaya (Genie 2): Ruh halini ve kompozisyonu eşleştiren gezinilebilir bir sahne oluşturmak için bir konsept sanat görüntüsünü Project Genie'ye besleyin.
Video türetilmiş kurulumlar (Genie/Genie 2): Destekleniyorsa, Project Genie'nin hareketi ve düzeni nasıl yorumlayacağını yönlendirmek için referans görüntüleri kullanın.

Etkili istemler oluşturun

Stil ipuçları: Görsel bağlantılar sağlayın (aydınlatma, dokular, günün saati, lens hissi). Project Genie, belirli, sinematik dile yanıt verir.
Etkileşim ipuçları: Yürümek, zıplamak, araba kullanmak, etrafa bakmak veya basit nesne etkileşimleri gibi önemsediğiniz eylemleri belirtin.
Kısıtlamalar: Project Genie'nin odaklanmasına yardımcı olmak için kapsam sınırları ekleyin (örneğin, "dar sokak, kalabalık yok", "seyrek aksesuarlarla geniş açık çöl").

Dünyayı oluşturun ve girin

Üretimi başlatın ve Project Genie'nin bir ortam üretmesini bekleyin. Genie 3 ile, birkaç dakikalık tutarlı oyun süresi için yaklaşık 24 fps ve 720p çözünürlükte gerçek zamanlı navigasyon bekleyin.
Keşfetmek için klavye, fare veya bir gamepad (destekleniyorsa) kullanın. Project Genie'nin kontrolleri tipik olarak hareket, kamera görünümü ve bazen bağlam eylemleri içerir.

Yönetin ve yakalayın

Project Genie'ye bir ön görselleştirme aşaması gibi davranın. Çekimleri engelleyin, kamera hareketlerini test edin ve bakış açılarını keşfedin.
Ekran yakalama veya araç içi çıktıyı kaydedin. Project Genie'nin oynanabilir çıktıları, niyeti iletmek için animatikler, referans plakaları veya konsept makaraları olarak hizmet edebilir.

Hızla yineleyin

Ruh halini, yoğunluğu veya ölçeği iyileştirmek için istemleri ayarlayın. Project Genie, kısa yineleme döngülerini tercih eder - varyasyonları keşfetmek için metin parametrelerini ayarlayın veya tohum görüntüsünü değiştirin.
Umut vadeden dünyaları kaydedin ve yinelemeleri dallandırın. Project Genie, yaratıcı yolları yan yana test ettiğiniz sürüm kontrollü bir sahne laboratuvarı gibi kullanılabilir.

Dışa aktarın ve entegre edin

Erişim düzeyine bağlı olarak, Premiere, Resolve veya Final Cut'ta düzenlemek için kayıtları dışa aktarın veya cilalamak için klipleri üretken video araçlarına besleyin.
Araç sağlanıyorsa, daha sonraki üretim için kılavuz olarak Project Genie referanslarını Unreal veya Unity gibi motorlara getirmek için meta verileri (kamera yolu, kaba düzen) dışa aktarın.

İsteğe bağlı: aracıları eğitin veya test edin

AI yoğun iş akışları için, somutlaştırılmış aracıları veya otonom kameraları eğitmek için Project Genie dünyalarını kullanın. Bu, üretimden önce kontrollü ortamlarda davranışı, hızı veya sinematografi stratejilerini değerlendirmenizi sağlar.

Project Genie tarafından desteklenen yaratıcı iş akışları#

Film ön görselleştirmesi: Karmaşık aksiyon vuruşlarını sahnelemek, engellemeyi denemek ve kapsamı test etmek için Project Genie'yi kullanın. Statik animatiklerin yerini keşifsel oyun alanı yakalamalarıyla değiştirin.
Oyun konsepti oluşturma: Geçiş, platform oluşturma veya keşif döngülerini prototipleştirin. Project Genie size eğlenceyi erken doğrulamak için hızlı, kontrol edilebilir alanlar sunar.
Hareket tasarımı ve VFX: Hareketli grafiklere veya aydınlatma şemalarına seçmeler yapmak için stilize ortamlar oluşturun. Project Genie, yüksek kaliteli oluşturmadan önce hızlı bir görünüm geliştirme sunar.
Tasarım ve mimari ruh hali panoları: CAD yoğun süreçlere başlamadan önce kompozisyonu ve ışığı doğrulamak için ruh hali odaklı alanlarda gezinmek için Project Genie'yi kullanın.
Anlatı fikir üretimi: Yazarlar ve seslendirme sanatçıları, tonu, hızı ve duygusal vuruşları belirlemek için bir Project Genie sahnesini senaryolu satırlar veya ses testleriyle eşleştirebilir.
Eğitim ve demo içeriği: Öğretmenler ve içerik oluşturucular, neden-sonuç, fizik sezgisi veya mekansal akıl yürütmeyi gösteren etkileşimli örnekler üretmek için Project Genie'yi kullanabilir.

Project Genie ile istem ve yineleme için en iyi uygulamalar#

Belirli olun, sonra genişletin: Hassas istemlerle (stil, günün saati, palet) başlayın, ardından keşfetmek için genişletin. Project Genie, sabitlenmiş yöne en iyi şekilde yanıt verir.
Görüntü tohumlarından yararlanın: Güçlü bir görsel referansınız olduğunda, Genie 2, Project Genie'nin onu test edebileceğiniz harekete ve alana çevirmesini sağlar.
Küçük adımlarla yineleyin: Project Genie'nin niyetinizi nasıl yorumladığını anlamak için her seferinde bir değişkeni (aydınlatma, yoğunluk, kamera davranışı) değiştirin.
Erken ve sık yakalayın: Referans toplamak için kısa oyun oturumları kullanın. Project Genie, hızlı fikir üretmede mükemmeldir; "mükemmel" için beklemeyin.
Tutarlılık pencerelerine saygı gösterin: Genie 3, sahne tutarlılığını 720p'de birkaç dakika sürdürür. Çekimleri ve çekimleri bu pencereye sığacak şekilde planlayın, ardından gerektiğinde sıfırlayın veya yeniden oluşturun.
Araçları birleştirin: Keşif için Project Genie'yi kullanın, ardından son işlemde veya oyun motorlarında iyileştirin. Son hattınızın yerini almaz, bir kuvvet çarpanıdır.

Project Genie'nin Sora ve Runway Gen-3 ile karşılaştırması#

Odak: Project Genie, etkileşimli, kontrol edilebilir ortamlar oluşturma konusunda uzmanlaşmıştır; Sora ve Runway Gen-3, güçlü zamansal kontrolle ancak oyuncu benzeri etkileşim olmadan yüksek kaliteli video oluşturma ve düzenlemeyi vurgular.
Giriş/Çıkış: Project Genie, oynanabilir dünyalar elde etmek için metin veya görüntü girişlerini kabul eder; Sora tipik olarak fotogerçekçi video klipleri (demolarda 1080p'de yaklaşık 60 saniyeye kadar) üretmek için metin alır; Runway Gen-3, içerik oluşturucular için sağlam metin/videodan videoya araçlar sağlar.
Kullanım durumları: Project Genie, hızlı prototipleme, ön görselleştirme ve aracı eğitimi için uygundur. Sora ve Runway Gen-3, cilalı sinematik sekanslar, post prodüksiyon ve hareket tasarımı için parlıyor. Birçok ekip, etkileşimli fikir üretimi için Project Genie'yi, son sınıf klipler için Sora/Runway ile eşleştiriyor.

Birlikte, bu araçlar yeni bir yaratıcı yığını sabitleyebilir - etkileşimli keşif için Project Genie, sinematik bitiş için Sora/Runway.

Project Genie'de sınırlamalar, etik ve güvenlik#

Tutarlılık pencereleri: Genie 3, tutarlılığı 720p'de dakikalarca korur; daha uzun veya daha yüksek çözünürlüklü oturumlar kayabilir. Project Genie'yi kullanırken çekimleri buna göre planlayın.
Fiziksel gerçekçilik: Etkileyici olsa da, Project Genie'nin fiziği stilize veya yaklaşık olabilir. Taahhütte bulunmadan önce kritik çekimleri doğrulayın.
Varlık doğruluğu: Project Genie, fotogerçek varlık doğruluğu değil, etkileşim ve çeşitlilik için optimize eder. Çıktıları, aşağı akışta iyileştirilmedikçe konsept ve önizleme olarak ele alın.
Kullanılabilirlik ve lisanslama: Project Genie'ye erişim, araştırma önizlemeleri veya seçilmiş ortaklarla sınırlı olabilir. Görüntü kullanımı, türetilmiş haklar ve ticari politikalar için şartları inceleyin.
Kaynak ve atıf: Project Genie'den sonuçlar sergiliyorsanız, platform yönergelerini izleyin ve araştırmaya uygun şekilde atıfta bulunun.
Sorumlu içerik: Project Genie'ye istemde bulunurken zararlı, güvensiz veya yasaklanmış içerikten kaçının. Platform güvenlik politikalarına ve topluluk standartlarına uyun.

Project Genie için sırada ne var ve nasıl hazırlanılır#

Project Genie, yaratıcıların düşünce hızında dünyaları çizdiği ve anında içeri girdiği bir geleceğe işaret ediyor. Daha iyi kontrol kolları (kamera donanımları, fizik geçişleri), daha uzun tutarlı oturumlar, daha yüksek çözünürlük ve motorlara geliştirilmiş dışa aktarma bekleyin. Project Genie olgunlaştıkça, iş akışları muhtemelen şunları içerecektir:

Sahne grafikleri ve düzen düzenleme: Geometriyi ve aksesuarları Project Genie içinde ayarlayın veya DCC araçlarına dışa aktarın.
Kamera ve aydınlatma donanımları: Project Genie ile yeniden üretilebilir çekimler için "performansları" kaydedin, paylaşın ve yeniden çalıştırın.
Aracı koreografisi: Kalabalıkları, NPC'leri veya kamera dronlarını simüle etmek için somutlaştırılmış aracı sürülerini yönetin.
Çapraz araç köprüleri: Ölçeklendirme, yeniden aydınlatma veya stil eşleşmesi için Project Genie animatiklerini Sora veya Runway'e gönderin.

Hazırlanmak için ekipler istem kitaplıklarını standartlaştırabilir, referans paketleri (görüntüler ve stil kılavuzları) oluşturabilir ve Project Genie çıktılarının düzenleme veya motor hattına düzgün bir şekilde düşmesi için yakalama protokollerini tanımlayabilir.

Project Genie'yi kullanan içerik oluşturucular için hızlı SSS#

Karakterleri mi yoksa sadece kamerayı mı kontrol edebilirim? Kuruluma bağlı olarak, Project Genie navigasyonu ve basit eylemleri destekler; bazı demolar kamera ve hareketi vurgularken, diğerleri nesne etkileşimleri ekler.
Tek çekimde ne kadar süre kayıt yapabilirim? Genie 3 tipik olarak tutarlılığı 720p ve ~24 fps'de birkaç dakika korur. Daha uzun sekanslar için birden fazla çekim planlayın.
Bugün müşteri çalışması için uygun mu? Son teslimat için açık haklarınız ve kalite garantileriniz olmadığı sürece Project Genie'yi bir önizleme ve prototipleme aracı olarak ele alın.
Bir oyun motorunun yerini alır mı? Hayır. Project Genie, fikir üretmeyi ve test etmeyi hızlandırır. Motorlar hala oyun sistemlerini, cilalamayı, performansı ve dağıtımı ele alır.

Sonuç: fikirlerinizi Project Genie ile hayata geçirmek#

Project Genie, konsept ve etkileşim arasındaki boşluğu doldurur. Videodaki desenlerden öğrenerek ve metni veya görüntüleri oynanabilir dünyalara çevirerek, Project Genie yaratıcıların fikirleri benzeri görülmemiş bir hızla keşfetmelerini, yinelemelerini ve iletmelerini sağlar. Project Genie'yi en iyi yaptığı şey için kullanın - hızlı, kontrol edilebilir ön görselleştirme - ve çıktılarını güvenle bitirmek için mevcut araçlarınıza entegre edin. Teknoloji ilerledikçe, Project Genie mümkün olanı genişletmeye devam edecek ve bir sonraki büyük fikrinizi içine girebileceğiniz, yönetebileceğiniz ve paylaşabileceğiniz bir dünyaya dönüştürecektir.