Talking avatar & lip-sync

Talking avatar adalah karakter yang mulutnya bergerak mengikuti ucapan. Dibutuhkan dua bahan: wajah (gambar atau klip seseorang) dan suara (trek audio). Lip-sync menyatukan keduanya sehingga karakter terlihat benar-benar mengucapkan kata-kata tersebut.

Model yang digunakan

Di PonPon, lip-sync dijalankan oleh Kling 3.0, yang dirancang khusus untuk dialog. Kemampuan lip-sync-nya menggerakkan mulut karakter dari trek audio, sehingga potret diam maupun klip pendek bisa menyampaikan dialog dengan meyakinkan. Untuk contoh praktis lengkap, lihat kasus penggunaan video lip-sync.

Saat juru bicara Anda muncul di beberapa shot, jaga konsistensi wajah dari cut ke cut dengan multi-shot storytelling Kling 3.0 dan alur kerja konsistensi karakter multi-shot.

Sumber suara

Audio yang menggerakkan bibir bisa berasal dari mana saja di PonPon:

• Text to speech — ketik skrip dan buat suara. Pilihan terbaik saat Anda menulis dialog dari awal.
• Dubbing — terjemahkan dialog yang sudah ada ke bahasa lain, lalu lip-sync wajah agar sesuai.
• Upload — rekaman suara Anda sendiri.

Cara kerjanya

1. Pilih Kling 3.0 di generator video.
2. Siapkan karakter — potret yang jelas atau klip pendek.
3. Siapkan suara — audio yang dihasilkan atau diunggah.
4. Generate. Model akan menyelaraskan gerakan mulut (beserta mikro-gerakan alami) dengan ucapan.

Contoh praktis

Misalkan Anda ingin juru bicara memperkenalkan sebuah produk:

1. Di text to speech, buat dialog: *“Meet the new Aero — lighter, faster, yours.”*
2. Unggah potret wajah juru bicara yang jelas dan menghadap ke depan (nyata atau hasil AI).
3. Jalankan keduanya melalui lip-sync Kling 3.0.

Hasilnya adalah klip pendek wajah tersebut menyampaikan dialog. Buat skrip dalam kalimat-kalimat pendek agar Anda bisa mengulang satu kalimat yang lemah tanpa harus mengulang seluruh sesi.

Tips sumber

• Gunakan wajah menghadap ke depan dengan mulut terlihat jelas — profil samping dan sudut ekstrem tidak tersinkronisasi dengan baik.
• Jaga audio tetap bersih: satu pembicara, minim suara latar.
• Sesuaikan energi penyampaian dengan ekspresi wajah; potret wajah tenang yang membaca dialog penuh semangat akan terlihat janggal.
• Buat kalimat singkat. Beberapa kalimat padat lebih bisa diandalkan daripada satu monolog panjang.

Lip-sync vs dubbing

Keduanya saling melengkapi:

• Dubbing mengubah bahasa audio tetapi tidak menyentuh gambar.
• Lip-sync mengubah gerakan mulut dalam gambar agar sesuai dengan audio yang Anda berikan.

Melokalisasi video talking-head? Dub audio ke bahasa target, lalu lip-sync wajah ke trek hasil dubbing — hasilnya terlihat seperti direkam secara langsung dalam bahasa tersebut. Untuk seluruh proses sisi audio, lihat Dasar-dasar voiceover dan audio.