フェイススワップの失敗は、たいてい見てすぐ分かります。入れ替えた顔が映像になじまず浮いて見える、頭の動きにわずかに遅れて追いかける、振り向く一瞬だけ元の顔に戻ってしまう。どれもよくあるパターンです。
多くのチュートリアルが省いているのは、結果の大半が生成ボタンを押す前に決まってしまうという点です。必要な素材はクリップと顔写真の 2 つだけで、どちらかが用途に合っていなければ、モデルに渡せる手がかりがありません。ここからは、私たちが実際に使っている手順です。
必要なもの
ファイルは 2 つです。
- 動画。 MP4 のみです。ワークスペースには 1 本あたり 200MB・10 分までアップロードでき、映像の大半で顔が画面に映っている必要があります。
- 顔写真。 JPEG または PNG。動画の中に入る側の顔です。
必要なのはこの 2 つだけです。インストールするソフトも、タイムラインを組む作業も、キーフレームの設定も要りません。
ステップ 1：トラッカーが追えるクリップを選ぶ
エンジンはフレームごとに、いちばん大きく映っている顔を見つけて、そこだけを入れ替えます。失敗のほとんどは、この一文で説明できます。
- 1 人だけ映す。 2 人が映っているショットでは「いちばん大きい顔」がフレームごとに入れ替わり、スワップの対象が行ったり来たりします。被写体が 1 人のクリップのほうが安全です。
- 顔を隠さない。 横を向いた横顔、口をふさぐ手、目にかかる髪。顔が隠れたフレームでは、トラッカーは見えていない部分を推測するしかありません。
- 明るさを確認する。 暗くてノイズの多い映像は、モデルが使える手がかりを減らします。日中か、明るい室内で撮った映像のほうが扱いやすいです。
- 顔を大きく映す。 画面のかなりの部分を占める顔は細部を保てますが、引きの画に小さく映った顔は細部がつぶれます。
動きが速くてもかまいません。ダンスのクリップはむしろ驚くほどきれいに入れ替わります。ただし、顔が映っていて、明るく照らされているのが前提です。
ステップ 2：モデルが読み取れる顔写真を選ぶ
どの顔に見えるかを決めるのは、顔写真のほうです。だからこそ、きれいなデータを渡したほうが得をします。
- ピントの合った正面写真を使う。 斜め向きのきれいなポートレートより、明るく撮った普通の正面写真のほうがうまくいきます。
- 顔を覆わない。 メガネ、帽子、厚めの前髪、口元のマイクは、どれも顔の一部として読み取られます。
- 角度と光をそろえる。 左から光が当たっている写真を、右から光が当たっているクリップに入れると、トラッキングがどれだけ正確でも少し違和感が残ります。
- 無表情で問題ない。 証明写真のような顔でも笑っているクリップに載せられますが、写真の雰囲気が映像に近いほど、合成はなじみます。
ステップ 3：スワップを実行する
Molyin なら、アップロード 2 回とクリック 1 回です。動画フェイススワップを開いて、動画と顔写真をアップロードし、生成ボタンを押すだけです。料金は映像の秒数単位で、1 秒あたり 5 クレジット。10 秒のクリップなら 50 クレジットになります。書き出される MP4 は元の動画の解像度を引き継ぎ、最大 1080p です。
ステップ 4：使う前にクリップ全体を確認する
最初の数秒だけで出来を判断しないでください。振り向き、笑い、光の変化など、いちばん厳しい場面まで送って、次の 2 点を見ます。
- ズレ。入れ替えた顔が頭の動きに遅れて追いかける現象です。
- 元の顔の映り込み。1 フレームだけ元の顔が戻ってくる現象で、たいてい顔がいちばん隠れている場面で起きます。
どちらも直し方は同じです。スワップが保っている区間だけを残して、クリップを切り詰めます。
同意について
使う権利のある顔だけを使ってください。自分の顔、チームの顔、本人が同意した顔です。承諾なく実在の人物の顔を映像に入れるのは、マナー違反では済みません。多くの国や地域で法的な問題になります。
次にやること
- 仕上がりが甘い、あるいは解像度が低いと感じたら、動画高画質化を通すとよりシャープに書き出せます。
- 入れ替えた顔にしゃべらせたいときは、リップシンクで口の動きを音声トラックに合わせられます。
- トラッキングの仕組みを知りたいときは、フェイススワップとはで解説しています。
- 入れ替える映像がないときは、AI動画ジェネレーターでベースのクリップを先に作ってから、そこに自分の顔を入れましょう。
自分のクリップで試す
ここまでの流れは、だいたい 10 分で終わります。クリップ 1 本、写真 1 枚、生成 1 回です。動画フェイススワップを開くから、この記事を読みながら思い浮かべていたクリップで試してみてください。2 回目か 3 回目には、素材の選び方が私たちと同じになっているはずです。