你手上有一支影片,想讓它說點別的話。
也許是產品影片要換一版配音,也許是創辦人影片需要五種語言版本,也許只是支迷因影片,換上你自己的台詞會更好笑。幾年前,這還得預約錄音室、編一筆特效預算;現在,只要把影片傳上去,等個一分鐘就好。
開發自家的對嘴(lip sync)工具時,我們拿幾百支影片實際跑過:乾淨的棚拍、手抖的手機影片、動畫角色、老檔案影像。這篇就是從這些經驗整理出來的:AI 對嘴其實有三種截然不同的做法、實際操作步驟,以及決定成果是嘴型對得上、還是直接掉進恐怖谷的影片與音訊條件。
AI 影片對嘴的三種做法
「AI 對嘴」涵蓋三件很不一樣的事,而最常見的錯誤,就是從一開始就選錯做法:
一、用提示詞生成一個會說話的角色。 你描述一個人,模型就生成他開口說你的台詞。完全沒有素材時很好用,但演成什麼樣子由模型決定,而且用不上你手上那支影片。
二、照片 + 音訊 → 會說話的頭像。 一張靜態人像開始念你的音訊。很適合講解員、吉祥物,或根本沒拍過的角色;但如果你需要真實的肢體動作,這條路就弱了:成品大多只有一顆頭在說話。
三、影片 + 新音訊 → 替現有影片重新配音。 AI 會完整保留原本的演出:運鏡、光線、表情、手勢都不動,只重新生成嘴唇的動作,讓它跟著新的音軌走。畫面本身就沒問題、只有台詞要換的時候,就選這條路:換語言、換腳本、換掉原本的配音。
這篇接下來只談第三種做法。它的細節最多,也是我們的工具專門處理的情境。
實戰步驟:用新聲音替影片對嘴
第一步:上傳影片。 MP4 或 MOV,最大 100 MB,長度從 2 秒到 2 分鐘都可以。每個鏡頭只有一張清楚的臉,效果最好;怎麼挑畫面,下面會說。
第二步:給它一副聲音。 有兩種方式。直接放進音訊檔(MP3、WAV、M4A 或 AAC),或是輸入腳本,當場轉成語音。文字轉語音免費,提供 40 種語言的音色選擇,語速可調,送出前可以無限次試聽。輸入一段 200 字的腳本,用三種不同的聲音各聽一遍,你馬上就知道哪一種最合適。不花一毛錢,一分鐘就有答案。
第三步:開始跑,然後對比。 價格會在送出前算好:影片每秒 8 積分,所以十秒的影片是 80 積分;跑失敗會自動退回積分。結果會和原檔並排,放在前後對比滑桿裡。注意重音節上的嘴型,對嘴出問題通常先在那裡露餡。滿意就下載 MP4。


有個細節值得先知道:音訊長度必須和影片對得上。音軌比影片長,這次對嘴在開始前就會被擋下,系統會請你先修剪;這個階段不會扣任何積分。音軌比較短也沒關係,就是只對到影片的開頭。
決定對嘴成敗的拍攝守則
AI 重新生成的是嘴唇。它看不見嘴,就變不出一張嘴。實際跑過幾百支影片後,我們看到的規律很一致:
可行的畫面:
- 一個人,正面對著鏡頭
- 臉部清楚,光線充足
- 嘴巴看得見,沒有被遮住
- 鏡頭穩定,動態模糊少
容易失敗或出錯的畫面:
- 側臉、臉轉向一旁
- 手、麥克風或口罩擋住嘴巴
- 同一個鏡頭裡有好幾個人說話
- 快速剪輯、劇烈動作、低畫質的來源影片
最關鍵的是第一條:挑臉正面朝向鏡頭的影片。台詞普通沒關係,只要正臉清楚,成品通常會比台詞精彩、卻只有側臉的畫面更可靠。
音訊守則
一條音軌,只留一個聲音。 模型做的事,就是把一個聲音對到一張嘴。聲音重疊、背景有人閒聊、兩人對唱,都會讓它對錯對象:嘴唇在錯的音節上動,甚至在兩張臉之間跳來跳去。
音訊乾淨,比情緒飽滿更重要。 太大的背景音樂、回音、房間雜音,都會吃掉對嘴所依賴的子音。在安靜房間裡用手機隨手錄的一段,效果勝過帶著殘響的「專業」錄音。
長度要配合影片。 錄製或生成配音時,長度抓得和影片差不多。太長,系統會請你先修剪,才能開始跑;太短,聲音一結束,嘴唇就自然停下來。有時候,這正是你要的效果。
大家實際上拿它做什麼
把影片配成另一種語言。 用新語言錄好或生成配音,跑一次對嘴,畫面裡的人看起來真的像在用那個語言說話。如果要做完整的翻譯流程,從語音辨識、翻譯、配音到對嘴,我們的影片翻譯器會處理每一個步驟;對嘴是最後一步,也是讓配音版看得下去的那一步。
修正影音不同步。 訪談影片的音軌跑掉、螢幕錄影聲音延遲,把同一段聲音重新對準放回去就好。
讓角色念你的腳本。 吉祥物、動畫角色、AI 生成的講解員,只要臉夠清楚,就能替你念台詞。動畫臉的對嘴穩定度,和真人臉一樣好。
替短影音做多語版本。 一支十五秒的影片,配上聽起來像母語人士的聲音,做成三種語言版本,一個下午就能完成,不必找在地化廠商。
常見問題
對嘴會改變那個人的臉嗎? 不會。臉、表情、光線和運鏡都維持原樣,只有嘴唇區域會逐幀重新生成,去貼合新的音訊。人還是同一個人,只是很有說服力地說了不一樣的話。
影片可以多長? 單次 2 秒到 2 分鐘。素材更長的話,把要對嘴的那一段剪出來處理就好;計費按秒計算,短一點也比較便宜。
費用怎麼算? 影片每秒 8 積分,十秒的影片就是 80 積分。送出前一定會顯示確切價格,跑失敗會自動退回積分。文字轉語音這個步驟不花積分。
可以用我自己的聲音嗎? 可以。上傳任何你有權使用的錄音。請只使用你有權使用的聲音和影片:未經同意複製別人的聲音或形象,一律不行。
動畫角色也能用嗎? 可以。卡通、動漫和插畫角色都跟真人臉遵循同一套規則:一張清楚的臉、看得見的嘴巴、乾淨的音訊。
想聽聽你的影片說點不一樣的話嗎?替影片對嘴:上傳影片、給它一副聲音,然後看嘴型跟上來。