Du hast ein Video und willst, dass es etwas anderes sagt.
Vielleicht ein Produktclip, der eine neue Stimme braucht. Vielleicht ein Gründer-Video, das es in fünf Sprachen geben soll. Oder ein Meme, das mit deinem eigenen Text einfach besser funktioniert. Vor ein paar Jahren brauchte es dafür ein Tonstudio und ein VFX-Budget. Heute lädst du den Clip hoch und wartest ungefähr eine Minute.
Beim Bau unseres eigenen Lip-Sync-Tools haben wir hunderte Clips durchlaufen lassen: saubere Studioaufnahmen, verwackelte Handyvideos, animierte Figuren, altes Archivmaterial. Dieser Leitfaden fasst zusammen, was dabei herauskam: die drei Wege, auf denen KI-Lip-Sync tatsächlich funktioniert, eine Anleitung Schritt für Schritt und die Regeln für Bild und Ton, die darüber entscheiden, ob die Lippen zum Audio passen oder das Ergebnis direkt im Uncanny Valley landet.
Drei Wege, ein Video mit KI zu synchronisieren
Hinter „KI-Lip-Sync“ stecken drei sehr unterschiedliche Aufgaben. Der häufigste Fehler ist, die falsche davon zu wählen:
1. Eine sprechende Figur aus einem Prompt generieren. Du beschreibst eine Person, und das Modell erzeugt jemanden, der deine Zeilen spricht. Sinnvoll, wenn es noch kein Material gibt. Aber wie gut die Darbietung wird, entscheidet das Modell, und deinen eigenen Clip kannst du dafür nicht verwenden.
2. Foto + Audio → sprechender Avatar. Ein Standbild beginnt mit deinem Audio zu sprechen. Gut für Moderierende, Maskottchen und Figuren, die nie gefilmt wurden. Weniger gut, wenn echte Körperbewegung dazugehören soll: Am Ende bewegt sich vor allem der Kopf.
3. Video + neues Audio → den vorhandenen Clip neu vertonen. Die KI behält das ursprüngliche Spiel bei – Kamera, Licht, Mimik, Gestik – und rendert nur die Lippenbewegungen neu, damit sie zur neuen Tonspur passen. Diesen Weg wählst du, wenn das Material stimmt und nur die Worte nicht passen: eine neue Sprache, ein neues Skript, eine Stimme, die ersetzt werden soll.
Im weiteren Verlauf dieses Leitfadens geht es um den dritten Weg. Unter der Haube passiert dort am meisten, und genau dafür ist unser Tool gebaut.
Schritt für Schritt: dein Video, eine neue Stimme
Schritt 1: Clip hochladen. MP4 oder MOV, bis zu 100 MB, zwischen 2 Sekunden und 2 Minuten. Am besten funktioniert ein klares Gesicht pro Einstellung; mehr zur Auswahl des Materials weiter unten.
Schritt 2: Eine Stimme dazu. Zwei Möglichkeiten. Du lädst eine Audiodatei hoch (MP3, WAV, M4A oder AAC) oder tippst dein Skript ein und lässt es direkt in Sprache umwandeln. Die Text-zu-Sprache-Funktion ist kostenlos, mit Stimmen in vierzig Sprachen, einstellbarem Tempo und beliebig vielen Hörproben vor dem Absenden. Gib ein Skript mit 200 Zeichen ein, hör es dir in drei verschiedenen Stimmen an, und du weißt, welche passt. Kostet nichts, dauert eine Minute.
Schritt 3: Starten und vergleichen. Der Preis steht vor dem Absenden fest: 8 Credits pro Videosekunde, ein Clip von zehn Sekunden kostet also 80 Credits. Fehlgeschlagene Durchläufe werden automatisch erstattet. Das Ergebnis läuft neben dem Original in einem Vorher-nachher-Regler. Achte auf den Mund bei betonten Silben; dort fällt schlechte Synchronisation zuerst auf. Passt alles, lädst du die MP4-Datei herunter.
Ein Detail, das du kennen solltest: Audio und Video müssen gleich lang sein. Ist die Tonspur länger als der Clip, wird der Auftrag abgelehnt, bevor er startet, und du wirst gebeten, sie zuerst zu kürzen. Dabei werden keine Credits verbraucht. Eine kürzere Spur deckt nur den Anfang des Clips ab.
Was eine gute Aufnahme für Lip-Sync ausmacht
Die KI rendert Lippen neu. Einen Mund, den sie nicht sieht, kann sie nicht erfinden. Nach hunderten Durchläufen ist das Muster immer dasselbe:
Funktioniert:
- Eine Person, die zur Kamera schaut
- Ein klares Gesicht in gutem Licht
- Ein sichtbarer, unbedeckter Mund
- Ruhige Aufnahmen mit wenig Bewegungsunschärfe
Funktioniert nicht:
- Profilansichten und abgewandte Gesichter
- Hände, Mikrofone oder Masken vor dem Mund
- Mehrere sprechende Personen in einer Einstellung
- Schnelle Schnitte, heftige Bewegung, schwaches Ausgangsmaterial
Am wichtigsten ist die erste Regel: Nimm einen Clip, in dem das Gesicht direkt in die Kamera schaut. Ein durchschnittliches Skript in einer sauberen Frontaleinstellung funktioniert immer noch besser als ein großartiges Skript im Profil.
Worauf es beim Ton ankommt
Eine Stimme pro Tonspur. Das Modell ordnet eine Stimme genau einem Mund zu. Überlappende Stimmen, Gespräche im Hintergrund und Duette bringen es durcheinander: Die Lippen bewegen sich auf den falschen Silben oder springen von einem Gesicht zum anderen.
Sauberer Ton ist wichtiger als eine dramatische Darbietung. Laute Hintergrundmusik, Echo und Raumgeräusche überdecken die Konsonanten, auf denen die Synchronisation aufbaut. Eine einfache Sprachnotiz aus einem ruhigen Raum funktioniert besser als eine „professionelle“ Aufnahme mit Hall.
Länge am Clip ausrichten. Nimm die Stimme so auf oder lass sie so generieren, dass sie ungefähr der Videolänge entspricht. Ist sie zu lang, wirst du vor dem Start gebeten, sie zu kürzen. Ist sie zu kurz, hören die Lippen einfach auf, wenn die Stimme endet; manchmal ist genau das gewollt.
Was du mit Lip-Sync anfangen kannst
Ein Video in eine andere Sprache vertonen. Nimm die Stimme in der neuen Sprache auf oder lass sie generieren, starte den Lip-Sync, und die sprechende Person wirkt, als würde sie tatsächlich in dieser Sprache reden. Für den kompletten Übersetzungsablauf mit Spracherkennung, Übersetzung, Stimme und Synchronisation übernimmt unser Video-Übersetzer jeden Schritt. Lip-Sync ist der letzte Schritt und macht die Synchronfassung erst sehenswert.
Ton reparieren, der nicht synchron ist. Interviewmaterial, bei dem die Tonspur verrutscht ist, Bildschirmaufnahmen mit Verzögerung: dieselbe Stimme neu einspielen, diesmal richtig ausgerichtet.
Eine Figur dein Skript sprechen lassen. Maskottchen, animierte Figuren, KI-generierte Moderierende: Gibt es ein klares Gesicht, kann die Figur deine Zeilen vortragen. Animierte Gesichter lassen sich genauso zuverlässig synchronisieren wie echte.
Kurzformate lokalisieren. Für einen fünfzehn Sekunden langen Clip in drei Sprachen mit glaubwürdigen Stimmen brauchst du einen Nachmittag, keine Lokalisierungsagentur.
FAQ
Verändert Lip-Sync das Gesicht der Person? Nein. Gesicht, Mimik, Licht und Kamera bleiben genau wie vorher. Nur der Mundbereich wird Bild für Bild neu gerendert, damit er zum neuen Audio passt. Die Person sieht weiterhin aus wie sie selbst; sie sagt nur überzeugend andere Worte.
Wie lang darf mein Video sein? Von 2 Sekunden bis 2 Minuten pro Durchlauf. Bei längeren Aufnahmen schneidest du den relevanten Abschnitt heraus und synchronisierst diesen. Die Abrechnung läuft pro Sekunde, kürzer ist also auch günstiger.
Was kostet das? 8 Credits pro Videosekunde, ein Clip von zehn Sekunden kostet 80 Credits. Der genaue Preis steht immer vor dem Absenden da, und fehlgeschlagene Durchläufe werden automatisch erstattet. Die Text-zu-Sprache-Funktion kostet nichts.
Kann ich meine eigene Stimme verwenden? Ja, lade jede Aufnahme hoch, für die du die Rechte hast. Synchronisiere nur Stimmen und Material, das du verwenden darfst: Die Stimme oder das Aussehen einer anderen Person ohne Erlaubnis zu klonen, ist tabu – ohne jede Ausnahme.
Funktioniert es mit animierten Figuren? Ja. Cartoons, Anime und illustrierte Figuren folgen denselben Regeln wie echte Gesichter: ein klares Gesicht, ein sichtbarer Mund, sauberes Audio.
Willst du hören, wie dein Clip etwas Neues sagt? Lippen synchronisieren: Clip hochladen, Stimme dazu, und sieh zu, wie die Lippen folgen.