Por qué 50 emails por variante no te dicen nada
Las tasas de respuesta del cold email son pequeñas, normalmente entre el 1 % y el 5 %, y eso es lo que complica las pruebas. Si la variante A consigue 2 respuestas de 50 emails y la variante B consigue 4, B parece el doble de buena. En realidad es una diferencia de dos respuestas, y la calculadora mostrará un valor p muy por encima de 0,05: una brecha de ese tamaño o mayor aparece en buena parte de los tests en los que ambas variantes son idénticas. Cuanto más baja es la tasa base, más emails hacen falta para que una diferencia real se separe del ruido.
Usa el planificador de tamaño de muestra antes de empezar. Con una tasa de respuesta base del 3 %, detectar una mejora relativa del 20 % (del 3 % al 3,6 %) con un 95 % de confianza y un 80 % de poder necesita unos 14.000 emails por variante. Detectar una mejora del 50 % (del 3 % al 4,5 %) necesita unos 2.500 por variante, y duplicar la tasa (del 3 % al 6 %) necesita unos 750. Por eso la mayoría de los tests de cold email deberían buscar cambios grandes y no pulir detalles.
La estadística detrás del veredicto
La calculadora ejecuta una prueba z de dos proporciones. La tasa de cada variante son los resultados divididos entre los emails enviados. Bajo la hipótesis nula de que ambas variantes comparten una única tasa real, agrupa las dos muestras, calcula el error estándar de la diferencia y expresa la diferencia observada como un estadístico z. El valor p bilateral es la probabilidad de ver una diferencia al menos así de grande en cualquier dirección si no hubiera ninguna diferencia real. La función de distribución normal estándar se evalúa en el navegador con la aproximación de Abramowitz y Stegun, precisa hasta unos siete decimales.
- Significativo quiere decir valor p por debajo de alfa, donde alfa es 0,10, 0,05 o 0,01 para una confianza del 90, 95 o 99 %.
- El intervalo de confianza de la diferencia usa la varianza propia de cada variante. Si excluye el cero, el test es significativo en ese nivel.
- El efecto mínimo detectable (MDE) es la mejora relativa más pequeña que tu muestra puede detectar de forma fiable. Un MDE menor implica muchísimos más emails, ya que el tamaño de muestra escala con el inverso del cuadrado de la diferencia.
- Un poder del 80 % significa que, si la mejora real es igual al MDE, cuatro de cada cinco tests alcanzarán la significancia. El quinto se perderá un ganador real.
- La herramienta avisa cuando una variante tiene menos de 5 resultados esperados, punto en el que la aproximación normal se vuelve tosca y el valor p se debe leer como una pista y no como una prueba.
El problema de mirar antes de tiempo y qué conviene probar
Revisar los resultados cada día y parar en cuanto la p baja de 0,05 es la forma más común de estropear un test de cold email. El ruido aleatorio cruza esa línea a menudo de camino a ninguna parte, así que un equipo que mira diez veces tiene una tasa de falsos positivos mucho más alta que el 5 % que cree tener. Fija el tamaño de muestra con el planificador, envíalo y evalúa una sola vez. Si tienes que mirar antes, trata cualquier cifra por debajo de la muestra planificada como una tendencia, que es justo como lo describe el veredicto.
Prueba una variable cada vez y empieza por las que más mueven las tasas. Las líneas de asunto cambian las aperturas y, de forma indirecta, las respuestas. La primera línea y la frase central de valor son las que más cambian las respuestas. La llamada a la acción cambia el porcentaje de respuestas positivas más que el total de respuestas, así que mide respuestas positivas cuando la pruebes. La hora de envío, el nombre del remitente y la longitud del email solo merecen prueba una vez asentado el mensaje. Mantén todo lo demás idéntico entre las dos ramas, la lista incluida.
Ejecutar un test A/B dentro de una secuencia
En una secuencia de varios pasos, reparte a los prospectos entre variantes al nivel de la campaña y mantenlos en la misma variante en cada paso, para que un seguimiento nunca mezcle tonos. Mide la métrica en el mismo punto para ambas ramas, por ejemplo las respuestas en los 7 días siguientes al paso uno, y cuenta las respuestas de toda la secuencia si la variable es el primer email, ya que los seguimientos heredan su contexto.
Divide a partes iguales. Las divisiones desiguales son válidas, pero ralentizan la rama pequeña y el test entero. Segmenta la lista en dos mitades parecidas en sector, cargo y tamaño de empresa, o aleatoriza prospecto a prospecto. Cuando un test sea significativo, promociona al ganador, convierte al ganador anterior en el nuevo control y empieza el siguiente test. ColdBox se encarga de la división, mantiene a cada prospecto atado a su variante en todos los pasos e informa de las respuestas por variante, así que los números que pegas aquí salen directos de la vista de campaña.