Tienes un video y quieres que diga otra cosa.
Puede ser un video de producto al que le hace falta una nueva voz en off, un video de presentación del fundador que debería existir en cinco idiomas, o un meme que sería mucho más gracioso con tus propias palabras. Hace unos años, esto significaba reservar un estudio de grabación y un presupuesto de efectos visuales. Hoy significa subir el clip y esperar más o menos un minuto.
Mientras desarrollábamos nuestra propia herramienta de sincronización labial, procesamos cientos de clips: grabaciones de estudio impecables, videos temblorosos hechos con el teléfono, personajes animados, material de archivo antiguo. Esta guía reúne lo que aprendimos: las tres formas en que funciona la sincronización labial con IA, cómo hacerlo paso a paso y las reglas sobre el material y el audio que determinan si los labios acompañan la voz o si el resultado cae de lleno en el valle inquietante.
Las tres formas de sincronizar los labios de un video con IA
La expresión «sincronización labial con IA» abarca tres trabajos muy distintos, y elegir el equivocado es el error más común:
1. Generar un personaje que habla a partir de un prompt de texto. Describes a una persona y el modelo crea a alguien que dice tus líneas. Sirve cuando no tienes ningún material de partida, pero la actuación queda a criterio del modelo y no puedes usar tu clip.
2. Foto + audio → avatar que habla. Un retrato fijo empieza a decir tu audio. Funciona muy bien para presentadores, mascotas de marca y personajes que nunca se filmaron. Funciona menos cuando necesitas movimiento corporal real: el resultado es, en buena medida, una cabeza que habla.
3. Video + audio nuevo → doblar de nuevo el clip que ya tienes. La IA conserva la interpretación original (cámara, luz, expresiones y gestos) y solo regenera el movimiento de los labios para que siga la nueva pista de voz. Es la opción cuando el material ya está bien y lo único que falla es lo que se dice: otro idioma, otro guion, una narración que hay que reemplazar.
El resto de la guía se centra en la tercera opción, porque es la que más complejidad tiene por dentro y para la que está diseñada nuestra herramienta.
Cómo sincronizar un video con una voz nueva, paso a paso
Paso 1: Sube tu clip. MP4 o MOV, hasta 100 MB, con una duración de entre 2 segundos y 2 minutos. Lo que mejor funciona es un rostro bien visible por toma; más abajo explico cómo elegir las tomas.
Paso 2: Dale una voz. Tienes dos opciones. Sube un archivo de audio (MP3, WAV, M4A o AAC) o escribe tu guion y conviértelo en voz en el acto. La función de texto a voz es gratis, ofrece voces en cuarenta idiomas, velocidad ajustable y todas las previsualizaciones que quieras antes de confirmar. Escribe un guion de 200 caracteres, escúchalo con tres voces distintas y sabrás cuál encaja. No cuesta nada y te lleva un minuto.
Paso 3: Procésalo y compara. El precio se calcula antes de enviar: 8 créditos por segundo de video, así que un clip de diez segundos cuesta 80 créditos. Si el procesamiento falla, los créditos se devuelven automáticamente. El resultado se reproduce junto al original en un control deslizante de antes y después. Fíjate en la boca durante las sílabas tónicas: ahí es donde primero se nota una mala sincronización. Si el resultado te convence, descarga el MP4.
Un detalle que conviene saber: el audio debe durar lo mismo que el video. Si tu pista es más larga que el clip, el trabajo se rechaza antes de empezar y se te pedirá que la recortes primero; no se gasta ningún crédito. Si es más corta, solo cubre el principio del clip.
Las reglas de grabación que deciden si la sincronización funciona
La IA vuelve a generar los labios. No puede inventar una boca que no ve. Después de cientos de pruebas, el patrón es constante:
Funciona:
- Una persona de frente a la cámara
- Rostro visible y bien iluminado
- Boca visible y sin nada que la tape
- Tomas estables y con poco desenfoque de movimiento
Falla o produce errores:
- Ángulos de perfil y rostros girados
- Manos, micrófonos o mascarillas que tapan la boca
- Varias personas hablando en una misma toma
- Cortes rápidos, mucho movimiento y material de baja calidad
La regla más importante es la primera: usa un clip en el que la cara mire directamente a la cámara. Un guion mediocre en una toma frontal limpia funciona mejor que un guion excelente en una toma de perfil.
Las reglas del audio
Una sola persona por pista. El modelo asocia una voz a una boca. Las voces superpuestas, las conversaciones de fondo y los dúos lo confunden: los labios se mueven en las sílabas equivocadas o saltan de una cara a otra.
El audio limpio importa más que una interpretación intensa. La música de fondo alta, el eco y el ruido de la sala se comen las consonantes en las que se basa la sincronización. Una grabación de voz sencilla hecha en una habitación silenciosa funciona mejor que una toma «profesional» con reverberación.
Ajusta la duración al clip. Graba o genera la voz en off con una duración parecida a la del video. Si es demasiado larga, se te pedirá que la recortes antes de procesar nada; si es demasiado corta, los labios simplemente dejan de moverse cuando termina la voz. A veces eso es justo lo que buscas.
Para qué se usa de verdad
Doblar un video a otro idioma. Graba o genera la voz en off en el nuevo idioma, aplica la sincronización labial y la persona dará la impresión de hablar de verdad en ese idioma. Para un flujo de traducción completo (reconocimiento de voz, traducción, voz y sincronización), nuestro traductor de video se encarga de todos los pasos; la sincronización labial es el último paso y el que hace que el doblaje se pueda ver.
Corregir un audio desincronizado. Entrevistas en las que la pista se fue desplazando, grabaciones de pantalla con retraso: vuelve a colocar la misma voz, esta vez bien alineada.
Hacer que un personaje diga tu guion. Mascotas de marca, personajes animados, presentadores generados por IA: si hay una cara bien visible, puede decir tus líneas. Las caras animadas se sincronizan con la misma fiabilidad que las reales.
Localizar contenido breve. Un clip de quince segundos doblado a tres idiomas con voces que suenan nativas es cuestión de una tarde, sin necesidad de contratar a un proveedor de localización.
Preguntas frecuentes
¿La sincronización labial cambia la cara de la persona? No. La cara, la expresión, la iluminación y la cámara permanecen exactamente igual. Solo se regenera la zona de los labios, fotograma a fotograma, para que coincida con el audio nuevo. La persona sigue viéndose como siempre; solo dice otras palabras, y lo hace de forma convincente.
¿Cuánto puede durar mi video? De 2 segundos a 2 minutos por procesamiento. Si el material es más largo, recorta el segmento que te interesa y sincroniza ese: la facturación es por segundo, así que cuanto más corto, más barato.
¿Cuánto cuesta? 8 créditos por segundo de video: un clip de diez segundos cuesta 80 créditos. El precio exacto siempre aparece antes de enviar y, si el procesamiento falla, los créditos se devuelven automáticamente. El paso de texto a voz no cuesta nada.
¿Puedo usar mi propia voz? Sí: sube cualquier grabación que tengas derecho a usar. Sincroniza únicamente voces y material que tengas permiso para usar. Clonar la voz o la imagen de otra persona sin permiso no está permitido, sin excepciones.
¿Funciona con personajes animados? Sí. Los dibujos animados, el anime y los personajes ilustrados siguen las mismas reglas que las caras reales: una cara bien visible, una boca visible y audio limpio.
¿Quieres que tu clip diga algo nuevo? Sincroniza los labios de tu video: súbelo, dale una voz y mira cómo la boca se adapta.