NVIDIA Audio2Face, Sesleri Yüz Mimiklerine Çeviriyor

NVIDIA Audio2Face, şirketin açık gerçek zamanlı simülasyon platformu Omniverse’de çalışan etkileyici bir araç. Teknoloji, bir ses dosyası ile dahil edilen Digital Mark 3D karakter modeline şaşırtıcı derecede iyi eşleşen animasyonlar uygulama yeteneğine sahip. Teknoloji karakterleri oyun, film, gerçek zamanlı dijital asistanlar veya sadece eğlence için canlandırıyor olun, herhangi bir seslendirme parçasına uyacak şekilde bir 3B karakterin animasyonunu basitleştirebiliyor. Teknoloji bunu otomatik olarak yapıyor, çoğu dilde iyi çalışıyor ve daha fazla ayrıntı uygulamanıza izin veriyor.

NVIDIA, bunu yapmak için yüz animasyonlarını gerçek zamanlı olarak sesle eşleştiren derin bir sinir ağı uyguladı. Programı ilk başlattığınızda, sinir ağını donanımınız için optimize eden Tensor RT Motoru’nu oluşturmak biraz zaman alabiliyor. Oradan, donanımınız kaldırabildiği sürece değişiklikleri gerçek zamanlı olarak görebiliyorsunuz ve işlem yapabiliyorsunuz.

Ek bir bonus olarak şirketin eğitim web sitesi NVIDIA on Demand, Omniverse ve Audio2Face için çok sayıda video içeriyor. Audio2Face’teki ilk video, Sürecin Unreal Engine 4 gibi diğer araçlara nasıl aktarılacağını dair bile ayrıntılı olarak bilgiler burada mevcut.

İşlemin başarısı kullanılan sesin kalitesine de bağlı gibi gözüküyor. Charlie Chaplin’in filmdeki alışılmadık derecede ünlü konuşması The Great Dictator bir videoda gösteriliyor ve hareketler daha canlı, modern kayıtlarda olduğu kadar net görünmüyor. Bununla birlikte ses kalitesinin aksine, bu aracın zamanla daha iyi hale geleceğini de rahatlıkla söyleyebiliriz.