How does A/B Testing work?

Las pruebas A/B son cuando tienes al menos dos variaciones de algo que deseas probar. Típicamente tienes un control (que puede ser la variante actual) y luego una variante de prueba. Creas una hipótesis en torno al problema que estás resolviendo. También defines tus métricas de éxito. Normalmente ejecutas la prueba hasta que alcanza significancia estadística. En este punto, la mayoría del software de pruebas A/B te informará sobre el ganador de la prueba y la mejora que puede haber logrado. Por ejemplo, tienes un botón rojo de "comprar ahora" en tu sitio web. Has escuchado que los botones verdes funcionan mejor, así que quieres probar esta teoría. El botón rojo es la variante de control. Creas una variante en la que el botón es verde y esta sería la variante #1. Estableces las métricas de éxito en los clics del botón y decides que solo quieres enviar el 20% de tu tráfico a la prueba. El 20% representa una pequeña muestra de tu tráfico, lo que reduce el riesgo si hay efectos adversos de la variante. La prueba se ejecuta hasta que alcanza significancia estadística. En este punto, estadísticamente hay un ganador y podemos atribuir los cambios que hicimos o no hicimos como el factor que impulsa el KPI. Puede haber muchos más pasos y matices involucrados. Este es el concepto muy básico de las pruebas.