Sprechende Avatare & Lippensync

Ein sprechender Avatar ist eine Figur, deren Mund sich synchron zur Sprache bewegt. Dafür braucht es zwei Zutaten: ein Gesicht (ein Bild oder Clip einer Person) und eine Stimme (ein Audiotrack). Der Lippensync verbindet beides, sodass die Figur so wirkt, als würde sie die Worte tatsächlich sagen.

Das Modell dahinter

Auf PonPon läuft Lippensync auf Kling 3.0, das für Dialoge ausgelegt ist. Die dedizierte Lippensync-Funktion steuert den Mund einer Figur anhand eines Audiotracks, sodass ein stehendes Porträt oder ein Clip eine Aussage überzeugend übermitteln kann. Einen vollständigen Praxisfall findest du im Lippensync-Video-Anwendungsfall.

Wenn dein Sprecher in mehreren Einstellungen vorkommt, sorge mit dem Kling 3.0 Multi-Shot-Storytelling und dem Workflow zur Multi-Shot-Charakterkonsistenz dafür, dass das Gesicht von Schnitt zu Schnitt gleich bleibt.

Woher die Stimme kommt

Der Audiotrack, der die Lippen steuert, kann aus verschiedenen Quellen in PonPon stammen:

• Text-to-Speech — Schreibe ein Skript und generiere eine Stimme. Ideal, wenn du den Text von Grund auf neu erstellst.
• Dubbing — Übersetze eine bestehende Zeile in eine andere Sprache und synchronisiere das Gesicht dann auf den gedubten Ton.
• Ein Upload — deine eigene aufgenommene Stimme.

So funktioniert es

1. Wähle Kling 3.0 im Videogenerator.
2. Stelle die Figur bereit – ein klares Porträt oder ein kurzer Clip.
3. Stelle die Stimme bereit – generierten oder hochgeladenen Ton.
4. Generieren. Das Modell passt den Mund (und natürliche Mikrobewegungen) an die Sprache an.

Ein Praxisbeispiel

Angenommen, du möchtest einen Sprecher vorstellen lassen, der ein Produkt präsentiert:

1. Generiere in Text-to-Speech den Satz: *„Meet the new Aero — lighter, faster, yours.“*
2. Lade ein scharfes, frontal aufgenommenes Porträt deines Sprechers hoch (real oder KI-generiert).
3. Führe beides durch den Kling 3.0 Lippensync.

Das Ergebnis ist ein kurzer Clip, in dem dieses Gesicht den Satz spricht. Generiere das Skript in kurzen Sätzen, damit du eine einzelne schwache Zeile neu erstellen kannst, anstatt alles neu aufzunehmen.

Tipps zur Quellqualität

• Verwende ein frontales Gesicht, bei dem der Mund klar sichtbar ist – Profile und extreme Winkel synchronisieren schlecht.
• Halte den Ton sauber: ein Sprecher, minimale Hintergrundgeräusche.
• Passe die Energie des Vortrags ans Gesicht an; ein ruhiges Porträt, das einen aufgeregten Text liest, wirkt unnatürlich.
• Halte die Zeilen kurz. Wenige knappe Sätze synchronisieren zuverlässiger als ein langer Monolog.

Lippensync vs. Dubbing

Beides ergänzt sich:

• Dubbing ändert die Sprache des Audios, lässt das Bild aber unverändert.
• Lippensync verändert den Mund im Bild, damit er zum jeweiligen Audio passt.

Möchtest du ein Talking-Head-Video lokalisieren? Dubbe den Ton in die Zielsprache und synchronisiere dann das Gesicht auf den gedubten Track – das Ergebnis wirkt wie eine originale Aufnahme. Alles zur Audioseite findest du in Voiceover und Audio-Grundlagen.