動画のセリフを、別の言葉に変えたい。そう思う場面は少なくありません。
商品動画のナレーションを差し替えたい。創業者インタビューを5言語で展開したい。自分の言葉を入れるともっと面白くなるミーム動画がある。数年前なら、録音スタジオとVFXの予算が必要でした。今は、動画をアップロードして1分ほど待つだけです。
私たちはリップシンクツールを開発する過程で、何百本もの動画を試してきました。スタジオで撮ったきれいな映像、手ブレの多いスマホ動画、アニメーションのキャラクター、古いアーカイブ映像などです。この記事では、そこで分かったことを紹介します。AIによるリップシンクの3つの方式、実際の手順、そして口元が音声に合うか、それとも不気味の谷に落ちるかを左右する撮影と音声のルールです。
AIでリップシンクする3つの方式
「AIリップシンク」と一口に言っても、実はまったく異なる3つの作業があります。よくある失敗は、最初に方式を選び間違えることです。
1. テキストプロンプトから、話す人物を生成する。 人物を描写すると、モデルがその人物の話す映像を生成します。素材がまったくないときには便利ですが、演技はモデル任せになり、自分の動画は使えません。
2. 写真＋音声 → 話すアバター。 静止したポートレートが、あなたの音声で話し始めます。プレゼンターやマスコット、撮影されていないキャラクターに向いています。一方、体の動きが必要な場面には不向きで、できあがるのはほぼ顔だけの映像です。
3. 動画＋新しい音声 → 手持ちの映像を吹き替える。 AIは元の演技をそのまま残します。カメラワーク、照明、表情、しぐさは変えず、唇の動きだけを新しい音声に合わせて描き直します。映像はそのままで、セリフだけを変えたいときに選ぶ方式です。新しい言語、新しい台本、差し替えたいナレーションなどに使えます。
ここからは3つ目の方式を詳しく見ていきます。仕組みが最も複雑で、私たちのツールが専門に扱っている方式だからです。
動画に新しい声を当てる手順
ステップ1：動画をアップロードする。 MP4またはMOV、最大100MB、長さは2秒から2分です。1つのショットに、はっきりした顔が1人だけ映っているのが理想です。動画の選び方は後ほど詳しく説明します。
ステップ2：声を用意する。 方法は2つです。音声ファイル（MP3、WAV、M4A、AAC）をアップロードするか、セリフを入力してその場で音声に変換します。テキスト読み上げは無料で、40言語の声を選べ、速度も調整でき、確定前に何度でも試聴できます。200文字のセリフを3つの声で聞き比べるのに費用はかからず、1分あれば「どの声が合うか」が分かります。
ステップ3：実行して見比べる。 料金は実行前に計算されて表示されます。動画1秒につき8クレジット、10秒の動画なら80クレジットです。失敗した場合は自動で返金されます。結果は元の動画と並べて、ビフォーアフターのスライダーで確認できます。アクセントの強い音節の口元に注目してください。リップシンクのずれは、そこに最初に現れます。納得できたらMP4をダウンロードします。
音声と動画の長さを合わせる必要があります。音声が動画より長い場合、実行前に拒否され、先にカットするよう求められます。クレジットは消費されません。音声が短い場合は、動画の冒頭部分にだけ声が乗ります。
リップシンクの成否を分ける撮影ルール
AIが描き直すのは唇です。見えない口を新しく作ることはできません。何百本もの動画を試した結果、傾向は一貫していました。
向いている映像：
- 1人だけで、カメラの正面を向いている
- 顔がはっきりしていて、照明が均一
- 口元が見えていて、隠れていない
- カメラが安定していて、モーションブラーが少ない
失敗しやすい映像：
- 横顔や、カメラから顔をそらしている
- 手、マイク、マスクが口元を覆っている
- 1つのショットで複数の人が話している
- カットが速い、動きが激しい、元映像の画質が低い
もっとも重要なのは、最初の項目です。顔がまっすぐカメラを向いている動画を選んでください。台本が平凡でも正面の顔がはっきり映っていれば、台本がよくても横顔しか映っていない動画より、仕上がりは安定します。
音声のルール
1本の音声に1人の話者。 モデルは1つの声を1つの口元に対応させます。声が重なる、背景で誰かが話している、デュエットになっている、といった状況では対応が乱れ、唇が違う音節で動いたり、別の顔に切り替わったりします。
感情を込めた演技より、クリーンな音声のほうが同期はうまくいきます。 BGMが大きい、エコーがある、部屋のノイズが多いといった音声は、リップシンクの手がかりになる子音をかき消します。静かな部屋でスマホに録っただけの音声のほうが、リバーブ付きの「プロっぽい」音声より正確に同期します。
動画の長さに合わせる。 ナレーションは動画とほぼ同じ長さになるように録音・生成してください。長すぎると実行前にカットを求められます。短すぎると、声が終わったところで唇は動きを止めます。それが望ましい場面もあります。
実際の使い道
動画を別の言語に吹き替える。 新しい言語でナレーションを録音または生成し、リップシンクを実行すると、話し手がその言語で本当に話しているように見えます。音声認識、翻訳、音声、リップシンクまで、翻訳の工程をまとめて行いたい場合は、動画翻訳ツールがすべて対応します。リップシンクは最後の工程で、吹き替え版を自然に仕上げる役割を担います。
音声のずれを直す。 インタビュー映像で音声が少しずつずれる、画面収録で音が遅れる。そんなときは、同じ声を正しい位置に合わせ直します。
キャラクターに自分の台本を話させる。 マスコット、アニメーションのキャラクター、AIで生成したプレゼンター。顔がはっきりしていれば、あなたのセリフを話させられます。アニメーションの顔も、実写の顔と同じくらい安定してリップシンクできます。
ショート動画を多言語化する。 15秒の動画を、母語のように聞こえる声で3言語に吹き替える。ローカライズ会社に頼らず、半日あれば完成します。
よくある質問
リップシンクで人物の顔は変わりますか？ いいえ。顔、表情、照明、カメラワークはそのまま残り、唇の部分だけが新しい音声に合わせてフレームごとに描き直されます。本人の見た目は変わらず、違う言葉を自然に話しているように見えます。
動画の長さはどれくらいまで対応していますか？ 1回の実行につき2秒から2分です。それより長い素材は、必要な部分をカットしてリップシンクしてください。料金は秒単位なので、短いほうが安く済みます。
料金はいくらですか？ 動画1秒につき8クレジット、10秒の動画なら80クレジットです。正確な料金は実行前に必ず表示され、失敗した場合は自動で返金されます。テキスト読み上げは無料です。
自分の声を使えますか？ はい。使用する権利のある音声ファイルであればアップロードできます。権利を持っている声と映像だけを使ってください。他人の声や顔を無断で複製することは認められません。
アニメーションのキャラクターにも使えますか？ はい。カートゥーン、アニメ、イラストのキャラクターも、実写の顔と同じルールです。はっきりした顔が1つ、見える口元、きれいな音声が必要です。
動画に新しいセリフを話させてみませんか？動画をリップシンクする。アップロードして声を用意すれば、口元が自然に追従します。