Tres cosas distintas con un solo nombre
Bajo las palabras imagen de referencia se esconden tres mecanismos netamente diferentes. Uno traslada el estilo: paleta, iluminación, tratamiento del trazo, carácter cinematográfico. Otro traslada el contenido: una cara concreta, un producto concreto. El tercero traslada la estructura: qué hay y dónde en la imagen, cómo es la postura, por dónde pasan los bordes.
La mayor parte de las decepciones viene de esperar de un tipo lo que hace el otro. La style reference no va a trasladar tu personaje; la referencia de personaje no va a adoptar la composición; la referencia estructural no trae paleta consigo. En la interfaz de las herramientas esto no suele verse, porque las tres aparecen igual, como "subir una imagen".
Style reference
Es la más extendida y la menos arriesgada. Subes una imagen cuyo ambiente quieres, y el modelo toma de ahí la paleta, el tratamiento de la luz y el carácter pictórico. Mientras tanto el prompt dice libremente otra cosa: otro tema, otro lugar.
Lo que hay que saber: expresamente no copia los objetos ni a las personas — uno de los proveedores lo deja escrito en su documentación. Y tiene un efecto secundario molesto que en la literatura tiene nombre propio: la filtración de contenido. Si en la referencia de estilo hay un sofá rojo, en las imágenes generadas tiende a aparecer algo rojo y grande, aunque no lo hayas pedido. Cuanto más característico sea el contenido de la referencia, más fuerte es el efecto.
Referencia de personaje
Aquí lo que importa no es el ambiente sino la cosa concreta: la misma cara, el mismo producto, el mismo abrigo. Los modelos de hoy aceptan por lo general varias referencias, no una, y tratan aparte a los personajes, los objetos y el estilo — los límites cambian según el proveedor, pero el orden de magnitud es parecido: unos pocos personajes, unos pocos objetos, unas pocas imágenes de estilo a la vez.
Dos consejos prácticos. El primero, que la imagen de referencia tenga un fondo limpio y sin carácter — cuantos menos elementos perturbadores tenga, menos se filtra desde ella. El segundo, que la fuerza de una referencia de personaje es finita: con varios personajes las identidades se mezclan entre sí. Sobre eso, y sobre cuándo compensa más entrenar, la coherencia de personaje y producto lo cuenta con detalle.
Referencia estructural
Es la menos conocida y, sin embargo, la más precisa. No entregas el contenido de la imagen sino su esqueleto: los contornos, las capas de profundidad, la postura de una figura, o sencillamente una distribución de cajas dibujada a mano. El modelo sigue esa estructura y construye la superficie a partir del prompt.
Por eso este método es la respuesta cuando sabes exactamente qué tiene que ir dónde. La distribución dicha con palabras es la capacidad más floja de los modelos actuales; un boceto, en cambio, no pide interpretación sino seguimiento. Sobre los detalles del método y los datos de medición, el layout control lo desarrolla punto por punto.
El peso que puedes ajustar
En la mayoría de las herramientas la fuerza de la referencia es ajustable. En unas es un deslizador, en otras un número al final del prompt — el fondo es el mismo: cuánto debe atarse el modelo a la referencia y cuánta libertad debe dejarle al prompt.
Conviene conocer los dos extremos. Con peso bajo la referencia es solo una indicación tenue: el ambiente se reconoce, pero el modelo trabaja con libertad. Con peso alto la referencia se copia prácticamente entera y el prompt apenas cuenta — entonces sueles recibir una imagen muy parecida a la de referencia, que rara vez es lo que querías. El rango aprovechable está casi siempre entre medias, y merece la pena lanzar el mismo prompt con dos o tres pesos antes de decidir que no funciona.
Lo que no conviene mezclar
Cuatro combinaciones que estropean el resultado con regularidad.
- Style reference fuerte más descripción de estilo detallada en el prompt. Las dos compiten; normalmente gana la referencia, y la parte de estilo del prompt solo diluye el conjunto para nada.
- La misma imagen como referencia de estilo y de personaje. Así el modelo no sabe qué copiar y qué dejar fuera — la filtración será máxima.
- Muchas referencias a la vez con contenidos contradictorios. Cerca del límite superior el resultado suele empeorar, no mejorar. Mejor menos referencias pero más limpias.
- Referencia estructural más un prompt del tipo "sé creativo". El esqueleto está justamente para que no haya libertad; si además pides libertad, las dos cosas se anulan.
Malentendidos habituales
- "La imagen de referencia es como un ejemplo dentro del prompt." No. El texto del prompt lo interpreta el modelo; la imagen de referencia la procesa un mecanismo aparte, con otro peso y otro efecto.
- "Si doy una referencia de más resolución, será más precisa." Las referencias suelen reducirse de tamaño antes del procesado de todos modos. Lo que cuenta es la limpieza, no la resolución.
- "Lo que configuré una vez se queda en el proveedor." Las funciones de gestión de referencias van y vienen: hubo una herramienta en la que una versión nueva retiró las referencias de personaje y de objeto anteriores y las sustituyó por otra cosa. Conviene revisar una vez al año qué hay vigente.
- "La imagen de referencia es jurídicamente neutra." No necesariamente. Si trabajas con la referencia de estilo de otro artista, eso no es solo cuestión de gusto — conviene construir a conciencia el conjunto de referencias con material propio.
Lo que conviene llevarse
Antes de adjuntar una imagen, hazte la pregunta: qué quieres trasladar de ella — ambiente, una cosa concreta o estructura. La respuesta decide qué tipo de referencia tienes que usar, y una vez resuelto eso, la mayoría de las quejas del tipo "no hace lo que le pido" desaparecen solas.