Text-to-video o image-to-video: cuál usar

La pregunta que decide el flujo de trabajo

Hay dos caminos. Text-to-video: describes la escena y el modelo la construye de la nada. Image-to-video: entregas una imagen terminada como punto de partida y el modelo la pone en movimiento. En la mayoría de proveedores tienes los dos, en la misma interfaz y por el mismo dinero.

La elección no es cuestión de gusto, sino de qué tiene más riesgo: el aspecto o el movimiento. Si un producto, una cara o un entorno concretos tienen que verse exactamente como los imaginaste, el riesgo está en el aspecto. Si lo que hay que clavar es una secuencia de movimiento complicada, está en el movimiento.

Lo que pasa bajo el capó

En la documentación de uno de los proveedores hay una frase que zanja buena parte de la discusión: la generación que arranca desde texto, en su sistema, hace primero una imagen y luego el vídeo a partir de ella. Es decir, el text-to-video en muchos sitios no es una capacidad aparte, sino un image-to-videoautomatizado en el que el modelo elige por ti el frame inicial.

Si funciona así, la pregunta se reformula: ¿quieres ver y aprobar ese frame inicial, o no? Si lo pones tú, veinte segundos de trabajo eliminan la mayor parte de los fallos que vienen del aspecto, y te ahorras regenerar un vídeo entero por una composición mala. Si te da igual el aspecto exacto, el camino del texto es más rápido.

En qué gana la imagen

• Aspecto exacto. El producto se ve como tiene que verse, la cara es la que quieres, los colores cuadran.
• Equivocarse sale más barato. Generar una imagen es cuestión de segundos y centavos; un vídeo, de minutos y dólares. Caza el fallo donde es barato.
• Marca. Si el frame inicial sale de tu propia plantilla de marca, el vídeo también se queda dentro. En una serie eso es lo que decide.
• Consistencia entre varios clips. El mismo frame inicial — o una serie de imágenes encadenadas — da un conjunto mucho más uniforme. El detalle está en mantener al mismo personaje en vídeo, un artículo dedicado solo a eso.

En qué gana el texto

El contraargumento también hay que conocerlo, y también viene de fuente del fabricante: la imagen mejora la consistencia, sí, pero la descripción escrita maneja mejor las secuencias de movimiento complejas.

• Movimiento complicado. «Se da la vuelta, coge el vaso y sale de cuadro»: eso es más fácil de indicar por escrito que de deducir de una imagen fija.
• El movimiento de cámara como elemento principal. Cuando lo importante es qué hace la cámara, no qué hay en la imagen.
• Explorar ideas. Veinte direcciones rápidas para ver cuál funciona. La dirección elegida la vas a rehacer desde imagen de todos modos.
• Visuales abstractos o no literales. Donde no hay un aspecto «correcto» concreto, no hay nada que un frame inicial tenga que defender.

La receta que funciona casi siempre

1. Haz el frame inicial con un generador de imagen y corrígelo
   hasta que esté realmente bien. Aquí el fallo sale barato.

2. El frame inicial debe ser MÁS ABIERTO que lo que quieres ver:
   el movimiento pasa en los bordes y el modelo a veces recorta.

3. El prompt del vídeo debe hablar SOLO del movimiento. No repitas
   lo que ya está en la imagen: eso únicamente lo confunde:
   "the camera slowly pushes in, the steam rises, the light shifts"

4. Si sabes cómo termina el clip, dalo también como frame final,
   donde el proveedor lo permita. Así el movimiento va de punto a punto.

5. El sonido no se resuelve aquí. En pista aparte y después, siempre.

Fallos del frame inicial que el vídeo amplifica

• Encuadre demasiado cerrado. Si el sujeto llena el cuadro, el movimiento no tiene adónde ir y el modelo o te devuelve una imagen fija o deforma.
• Desenfoque de movimiento. Si el frame inicial ya está «en movimiento», el modelo lo perpetúa y acabas con un vídeo tembloroso.
• Demasiados personajes. Lo que en una imagen fija aún funcionaba, en movimiento se funde.
• Un rótulo en la imagen. En el vídeo cambiará de frame en frame, y eso canta mucho más que una palabra mal escrita en una imagen fija.

Malentendidos habituales

• «El text-to-video es lo avanzado y el image-to-video es para principiantes.» Al revés: los flujos profesionales casi siempre arrancan desde imagen, porque ahí se puede comprobar.
• «Si doy una imagen, el prompt deja de importar.» Sigue importando, pero para otra cosa. A partir de ahí el trabajo del promptes el movimiento.
• «El frame inicial tiene que ser de la máxima calidad posible.» Bueno sí, pero sobre todo correcto: buena composición, sitio para el movimiento, sujeto claro.
• «Con una foto también vale.» Vale, y muchas veces es la mejor opción de todas: foto real más movimiento generado. Solo vigila los derechos si sale una persona.

Lo que conviene llevarse

Por defecto, arranca desde imagen: es más barato, más previsible y quita justo el riesgo que causa la mayoría de los chascos. Arranca desde texto cuando el movimiento sea lo importante o mientras aún estés explorando. Para el mecanismo de fondo, los límites de duración y los precios, cómo funciona el vídeo con IA es el sitio al que ir después.