Konuşan avatarlar ve dudak senkronu

Konuşan avatar, ağzı konuşmayla eş zamanlı hareket eden bir karakterdir. İki bileşen gerektirir: bir yüz (bir kişinin görseli veya klibi) ve bir ses (ses kaydı). Dudak senkronu ikisini birbirine bağlar; böylece karakter sözcükleri gerçekten söylüyormuş gibi görünür.

Bunu yapan model

PonPon'da dudak senkronu, diyalog için özel olarak tasarlanmış Kling 3.0 üzerinde çalışır. Özel dudak senkronu özelliği, bir ses kaydından karakterin ağız hareketlerini yönlendirerek hareketsiz bir portrenin ya da bir klibin bir repliği ikna edici biçimde söylemesini sağlar. Adım adım işlenmiş bir örnek için dudak senkronu video kullanım senaryosuna bakın.

Sözcünüz birden fazla çekimde yer alıyorsa, Kling 3.0 çok çekimli hikaye anlatımı ve çok çekimli karakter tutarlılığı iş akışıyla her kesimde aynı yüzü koruyun.

Ses nereden gelir

Dudakları yönlendiren ses, PonPon'daki her yerden gelebilir:

• Metinden sese — bir metin yazın ve ses oluşturun. Repliği sıfırdan yazıyorsanız en iyi seçenek budur.
• Dublaj — mevcut bir repliği başka bir dile çevirin, ardından yüzü buna eşleşecek şekilde senkronlayın.
• Yükleme — kendi kaydettiğiniz ses.

Nasıl çalışır

1. Video oluşturucuda Kling 3.0'ı seçin.
2. Karakteri belirleyin — net bir portre ya da kısa bir klip.
3. Sesi sağlayın — oluşturulmuş veya yüklenmiş ses.
4. Oluşturun. Model, ağız hareketlerini (ve doğal mikro hareketleri) konuşmayla eşleştirir.

Adım adım örnek

Diyelim ki bir sözcünün bir ürünü tanıtmasını istiyorsunuz:

1. Metinden sese bölümünde repliği oluşturun: *"Yeni Aero ile tanışın — daha hafif, daha hızlı, sizin."*
2. Sözcünüzün temiz, öne bakan bir portresini yükleyin (gerçek ya da yapay zeka ile oluşturulmuş).
3. Her ikisini de Kling 3.0 dudak senkronundan geçirin.

Sonuçta o yüzün repliği söylediği kısa bir klip elde edilir. Metni kısa cümleler hâlinde oluşturun; böylece tüm çekim yerine yalnızca zayıf tek bir repliği yeniden oluşturabilirsiniz.

Kaynak ipuçları

• Ağzı net görünen, öne bakan bir yüz kullanın — profilden ve aşırı açılardan senkron zayıf olur.
• Sesi temiz tutun: tek bir konuşmacı, minimum arka plan gürültüsü.
• Seslendirmenin enerjisini yüze uydurun; sakin bir portre heyecanlı bir repliği okursa doğal görünmez.
• Repliği kısa tutun. Birkaç sıkı cümle, uzun tek bir monologdan daha güvenilir senkronlanır.

Dudak senkronu ile dublaj karşılaştırması

İkisi birbirini tamamlar:

• Dublaj, sesin dilini değiştirir ama görüntüye dokunmaz.
• Dudak senkronu, verdiğiniz sese uymak için görüntüdeki ağzı değiştirir.

Konuşan kamera video yerelleştirmesi mi yapıyorsunuz? Sesi hedef dile dublayın, ardından yüzü dublajlı kayda senkronlayın — sonuç yerelde çekilmiş gibi görünür. Ses tarafının tamamı için Seslendirme ve ses temelleri bölümüne bakın.