ByteDance, OmniHuman 2.0 ile tek görselden 5 dakikaya varan videolar üretebiliyor
ByteDance’in OmniHuman 2.0 sürümü, tek görsel ve ses Kaydıyla videoları 5 dakikaya kadar çıkarabiliyor; hareketler ve yüz ifadeleri sesle uyumlu şekilde senkronize ediliyor.
Webrazzi'nin haberine göre, ByteDance çatısı altındaki TikTok ekosisteminin yapay zeka temelli video üretim modeli OmniHuman'ın yeni sürümü OmniHuman 2.0 kullanıma sunuldu. BytePlus üzerinden erişilebilen bu model, yalnızca bir görsel ve bir ses kaydından 5 dakikaya varan videolar oluşturabiliyor; karakterlerin konuşmaları, mimikleri ve vücut hareketleri ses içeriğiyle uyumlu biçimde işleniyor.
Kullanıcılar için sahnelerde hareketler ve kamera davranışları yönlendirilebilir halde; metin komutlarıyla nesnelerin üretimi, belirli hareketler ve kamera hareketlerinin kontrol edilmesi mümkün. OmniHuman 2.0’ın öne çıkan yeniliklerinden biri, sadece dudak senkronizasyonuna odaklanmayı aşarak sesin ritmi, tonlaması ve anlamını da karakter hareketlerine yansıtması. BytePlus’a göre, ses içeriği analizi uygun jestler ve duygusal tepkiler üretimini destekliyor; böylece söyledikler ile beden dili arasındaki uyum daha doğal hale geliyor.
Model, metin komutları üzerinden sahneye yeni öğeler eklemek için nesne üretimi ve hareket/ kamera kontrolünü de sunuyor. Çok karakterli sahneler desteklenirken, sistem insan görsellerinin ötesine geçerek hayvanlar, 3D karakterler ve farklı görsel stillerdeki karakterleri de hareketlendirebiliyor. Referans görsellerde bulunmayan öğelerin sahneye dahil edilmesini sağlayan bir yapı da mevcut.
BytePlus'ın paylaştığı bilgilere göre OmniHuman 2.0, 30 saniyeden 300 saniyeye kadar videolar üretebiliyor ve 5 dakikaya kadar ulaşabiliyor. Yeni sürümde hareket kalitesinin artırıldığı ve maliyetin yüzde 40 düştüğü belirtiliyor; kullanım maliyeti ise saniye başına 0,07 dolar olarak ifade ediliyor.
OmniHuman 2.0’ın kullanım alanları arasında reklam ve marka içerikleri, kısa videolar, film ve televizyon prodüksiyonları, yapay zeka videoları ve kullanıcı tarafından oluşturulan içerikler bulunuyor. Özellikle müzik videolarında ritme bağlı hareketler, müziğin duygusuna uygun performanslar ve dinamik kamera hareketleri üretiliyor. BytePlus, OmniHuman 2.0’ı API üzerinden geliştiricilerin kullanımına açıyor; böylece şirketler modeli kendi içerik üretim araçlarına, pazarlama çözümlerine veya dijital karakter uygulamalarına entegre edebilecekler.
TürkAta Haber Ajansı