Copy de landing: probar variantes rápido

La parte de los cuarenta minutos

Escribir las variantes es el único paso que de verdad se ha acelerado. Pero no como lo hace la mayoría.

La petición mala: «escribe cinco versiones de esta landing page». Lo que te devuelve son cinco reformulaciones. La misma promesa, la misma estructura, otras palabras. Si eso lo pruebas, no aprendes nada, porque no hay nada que averiguar: no había hipótesis.

La petición buena: cada variante prueba una afirmación distinta. Primero escribes por qué crees que el visitante no compra — y después pides el texto, uno por afirmación.

Producto: [una frase]
Palabras del propio cliente: [3-5 citas de reseñas, tickets, llamadas]
Titular actual: [...]
Conversión actual: [...]

Cinco hipótesis, cinco variantes. En cada una anota QUÉ afirma:
V1 - no entiende qué es esto -> el titular dice la función, no el beneficio
V2 - no se lo cree -> bajo el titular va un dato concreto o una referencia
V3 - le da miedo el riesgo -> junto al botón, las condiciones para echarse atrás
V4 - no le corre prisa -> el primer párrafo dice lo que cuesta aplazarlo
V5 - no va dirigido a él -> el titular nombra para quién es y para quién no

Regla: por variante cambia UNA sola cosa respecto al control.
Usa las palabras del cliente, no vocabulario de marketing.

Eso son los cuarenta minutos. La calidad de la entrada decide el resultado — es la misma lógica sobre la que se sostiene un buen briefing de contenido : el modelo no puede adivinar lo que tú sabes del cliente.

Lo que viene después no son cuarenta minutos

Aquí se acaba la parte rápida. Cuál variante es mejor es una pregunta estadística, y tiene una fórmula exacta. La regla aproximada que se usa en la práctica es esta:

n ≈ 16 σ² / δ²      por variante

σ² = la varianza de la métrica (en conversión, p(1-p))
δ  = la diferencia que quieres detectar

El 16 no es un número mágico: sale de dos constantes, el nivel de significación habitual del 5 % y una potencia del 80 %. Lo importante es el denominador: δ está al cuadrado.

Esto es lo que significa en una prueba de dos brazos, en visitantes totales (5 % de significación, 80 % de potencia, calculado con la fórmula exacta):

Con 500 visitantes al día, el caso de la fila inmediatamente inferior a la primera — conversión del 2 %, efecto del +10 % — estaría corriendo 323 días. Lo mismo para un efecto del +20 % son 84 días, y para el +50 %, 15.

La regla del cuadrado

Esta es la única frase de verdad importante del post: para detectar un efecto la mitad de grande hacen falta cuatro veces más visitantes. En la tabla, con una conversión del 5 %, el +20 % son 16.310 visitantes, el +10 % son 62.462, y el +5 %, 244.242. No es lineal, es cuadrático.

Por eso no funciona la idea de «ya lo dejo correr más tiempo». Ese «más» no significa aquí una vez y media más de tiempo, sino cuatro veces más.

Qué tamaño de efecto puedes esperar

La mayoría de los planes se cae porque alguien espera una mejora del +30 % al cambiar un titular. La literatura sobre experimentación es mucho más modesta: más de la mitad de las ideas no produce ninguna mejora medible, y en algunos terrenos la tasa de fracaso pasa del 90 %. Lo que sí funciona suele mover las métricas clave entre el 0,1 y el 1,0 % — en el equipo de un gran buscador, más o menos uno de cada quinientos experimentos llega al umbral de alto retorno.

Lee eso junto con la tabla, pero con cuidado: son dos cifras distintas. La tabla muestra una subida relativa: el «+10 %» significa pasar del 2 % al 2,2 %. El 0,1–1,0 %, en cambio, es la mejora absoluta una vez diluida en el resultado global. La lección común es la misma: el efecto que puedes conseguir de verdad es pequeño, y detectar un efecto pequeño exige tráfico del orden de cientos de miles — por eso, en la mayoría de las landing pages de pymes, el test A/B no es la herramienta adecuada. No es un fracaso, es aritmética.

Entonces qué haces con poco tráfico

Funcionan cuatro cosas, y ninguna es un test A/B.

• Prueba cosas grandes, no palabras. Una diferencia de 0,3 pp es indetectable; una oferta completamente distinta o un público distinto pueden mover el número lo bastante como para verse con menos visitantes. Si vas a probar, prueba algo donde un +30–50 % sea realista.
• Cámbiate a una métrica menos saltarina. Cuanta más varianza tiene una métrica, más muestra hace falta — los ingresos por visitante saltan mucho más que «ha abierto la lista de precios». Medir el evento más cercano y más frecuente dice algo con menos muestra; eso sí, ojo, que siga sin garantizar que acabe en compra.
• Pregunta a cinco personas. Cinco recorridos moderados caben en un fin de semana, y sacan los fallos de comprensión del texto con más fiabilidad que una prueba con muestra insuficiente.
• Usa las palabras del cliente y no las pruebes. Si treinta personas escriben la misma frase en tus reseñas, eso no es una hipótesis, es un dato. Ponlo en el titular.

El precio de ir mirando

El error más frecuente no es una variante mala, es parar antes de tiempo. Si miras el valor p todos los días y declaras ganador en el primer momento significativo, el error de tipo I ya no se queda en el 5 %.

Según una medición, con solo 10.000 muestras la tasa de falsos positivos puede multiplicarse por cinco — es decir, en vez del 5 % nominal, más o menos uno de cada cuatro «ganadores» no es nada. Esta es la razón más habitual de que una variante ganadora no devuelva el resultado en producción.

Hay dos salidas. O fijas de antemano el tamaño de muestra y el tiempo de ejecución y no lo miras hasta llegar ahí. O usas un método secuencial que controle el error en cada mirada — varias plataformas de testing lo traen de serie. Lo que no se puede es vigilar de continuo una prueba de horizonte fijo.

Cuántas variantes caben

Cada variante de más empeora dos cosas a la vez.

Una: sube la probabilidad de encontrar un ganador por casualidad. Contando el control, con cuatro brazos — el control y tres variantes — es del 14,3 %, y con diez brazos ya es del 37 % la probabilidad de que salga al menos un falso positivo.

Dos: si lo corriges — con una corrección de Bonferroni, por ejemplo —, el tráfico necesario se dispara. Con una conversión del 5 % y un efecto del +20 %: dos brazos son 16.310 visitantes, seis brazos son 72.804. Cuatro veces y media.

Generar cinco variantes es, por tanto, un método de escritura, no un plan de test. Escribe cinco, quédate con las dos mejores y prueba esas dos.

Cuánto tiene que durar

Como mínimo una semana, mejor dos — y siempre semanas enteras, para que el fin de semana no distorsione.

La razón no es solo el tamaño de muestra. Existe un efecto novedad: a lo que es nuevo, los usuarios reaccionan distinto los primeros días. En un caso documentado, el primer día tras lanzar una función el 20 % de los comentarios hablaba de ella, en su mayoría en negativo; la segunda semana ya era el 4 %, luego el 2 % — mientras las métricas mejoraban todo el tiempo. Quien decide después del primer día está midiendo que algo es nuevo, no que sea bueno.

¿Escribe la IA mejor copy o no?

De esto hay una buena medición, y la respuesta baja los humos. Sobre los boletines reales de un distribuidor de vino estadounidense corrieron tres experimentos aleatorizados preregistrados, de 27.500 clientes cada uno, de dos semanas cada uno: un copywriter humano, un modelo de lenguaje y la combinación de ambos — solo cambiaba el cuerpo del correo.

Los tres brazos que enviaban correo duplicaron el margen bruto frente al control que no recibía nada. Entre el brazo humano y el de IA , en cambio, no se pudo detectar diferencia, en ninguno de los experimentos. Aun así la IA ganó, pero no donde se esperaría: la licencia del modelo rondaba los mil dólares al año y tres copywriters costaban 375.000 al año — por eso los brazos de IA salieron mejor en beneficio neto anual.

O sea que la IA no escribe mejor copy, escribe copy igual de bueno a una fracción del coste. Esa es la expectativa correcta. Si alguien te promete que el texto generado sube la conversión por sí solo, pídele la medición.

En creatividades publicitarias el panorama es otro, y ahí sí hay ventaja medida — de eso habla en detalle el post producir creatividades a escala , con sus cifras.

Malentendidos típicos

• «Ya tenemos ganador, va un 0,5 % mejor.» Con doscientos visitantes eso es ruido. La tabla dice a partir de cuándo deja de serlo.
• «Ya lo dejaré correr más si no sale.» Partir el efecto por la mitad cuadruplica el tráfico necesario. Ese «más» suele significar meses.
• «Diez variantes dan más oportunidades.» Dan más oportunidades al ganador falso: con diez, el 37 %.
• «El test es objetivo, así que no se puede estropear.» Parar antes de tiempo puede multiplicar por cinco la tasa de falsos positivos. El test solo es objetivo si fijas sus reglas de antemano.
• «El texto de IA convierte mejor.» Según la medición más rigurosa, exactamente igual. Su ventaja es el precio, no la calidad.

Lo que conviene llevarse

Escribir las variantes son cuarenta minutos; decidir es una cuestión de tráfico. Calcula antes del test cuántos visitantes hacen falta — y si no los tienes, no lo pruebes: decide con las palabras del cliente y prueba cosas más grandes. Generar se ha acelerado; demostrar, no.