Talking avatars และ lip-sync

talking avatar คือตัวละครที่ขยับปากให้ตรงกับเสียงพูด ต้องการองค์ประกอบสองอย่าง ได้แก่ ใบหน้า (ภาพนิ่งหรือคลิปของบุคคล) และ เสียง (แทร็กเสียง) Lip-sync เชื่อมทั้งสองเข้าด้วยกันเพื่อให้ตัวละครดูเหมือนพูดคำนั้นจริงๆ

โมเดลที่ใช้งาน

บน PonPon ระบบ lip-sync ทำงานบน Kling 3.0 ซึ่งออกแบบมาเพื่องานบทสนทนา ความสามารถ lip-sync ขับเคลื่อนการขยับปากของตัวละครจากแทร็กเสียง ทำให้ภาพบุคคลนิ่งหรือคลิปสามารถส่งมอบบทพูดได้อย่างน่าเชื่อถือ ดูตัวอย่างการใช้งานจริงได้ที่ กรณีใช้งาน lip-sync video

เมื่อตัวแทนของคุณปรากฏใน หลายช็อต ให้รักษาใบหน้าเดิมจากตัดต่อสู่ตัดต่อด้วย Kling 3.0 multi-shot storytelling และเวิร์กโฟลว์ multi-shot character consistency

แหล่งที่มาของเสียง

เสียงที่ขับเคลื่อนการขยับปากมาได้จากทุกที่บน PonPon:

• Text to speech — พิมพ์สคริปต์แล้วสร้างเสียง เหมาะที่สุดเมื่อคุณเขียนบทพูดใหม่ตั้งแต่ต้น
• Dubbing — แปลบทพูดที่มีอยู่เป็นภาษาอื่น แล้วใช้ lip-sync ให้ใบหน้าตรงกับเสียงนั้น
• การอัปโหลด — เสียงที่บันทึกเองของคุณ

วิธีการทำงาน

1. เลือก Kling 3.0 ในตัว สร้างวิดีโอ
2. เตรียม ตัวละคร — ภาพบุคคลที่ชัดเจนหรือคลิปสั้น
3. เตรียม เสียง — เสียงที่สร้างขึ้นหรืออัปโหลด
4. สร้าง โมเดลจะจับคู่การขยับปาก (และการเคลื่อนไหวเล็กน้อยตามธรรมชาติ) ให้ตรงกับเสียงพูด

ตัวอย่างการใช้งาน

สมมติว่าคุณต้องการให้ตัวแทนแนะนำสินค้า:

1. ใน text to speech สร้างบทพูด: *“Meet the new Aero — lighter, faster, yours.”*
2. อัปโหลดภาพบุคคลหน้าตรงที่ชัดเจนของตัวแทนของคุณ (จริงหรือสร้างด้วย AI)
3. นำทั้งสองส่วนผ่านระบบ lip-sync ของ Kling 3.0

ผลลัพธ์คือคลิปสั้นของใบหน้านั้นกำลังพูดบทพูด สร้างสคริปต์เป็น ประโยคสั้น แล้วคุณสามารถสร้างใหม่เฉพาะประโยคที่อ่อนแทนการทำซ้ำทั้งหมด

เคล็ดลับเลือกภาพต้นแบบ

• ใช้ใบหน้า หันหน้าตรง ที่มองเห็นปากชัดเจน — มุมข้างและมุมสุดโต่งซิงค์ได้ไม่ดี
• รักษาเสียงให้ สะอาด: ผู้พูดคนเดียว เสียงรบกวนพื้นหลังน้อยที่สุด
• ให้ พลังงาน ของการพูดสอดคล้องกับสีหน้า ภาพบุคคลที่สงบอ่านบทพูดที่ตื่นเต้นดูขัดแย้ง
• รักษาบทพูดให้ สั้น ประโยคกระชับสองสามประโยคซิงค์ได้น่าเชื่อถือกว่าการพูดยาวครั้งเดียว

Lip-sync กับ dubbing ต่างกันอย่างไร

ทั้งสองเสริมกัน:

• Dubbing เปลี่ยน ภาษาของเสียง แต่ไม่แตะภาพ
• Lip-sync เปลี่ยน การขยับปากในภาพ ให้ตรงกับเสียงที่คุณให้

กำลังแปลวิดีโอ talking-head สู่ภาษาอื่น? พากย์เสียงเป็นภาษาเป้าหมายก่อน แล้วใช้ lip-sync กับใบหน้าให้ตรงกับแทร็กที่พากย์แล้ว ผลลัพธ์ดูเหมือนบันทึกเสียงในภาษานั้นตั้งแต่แรก ดูส่วนเสียงแบบครบถ้วนได้ที่ Voiceover and audio basics