Necesitas evidencia real de que un nuevo recomendador aumenta las compras. ¿Qué tipo de despliegue la da?
Opciones
- Un test A/B con asignación aleatoria de usuarios al modelo antiguo y al nuevo (Opción correcta)
- Un despliegue en sombra
- Una prueba offline con los datos del año pasado
- Preguntar a los compañeros cuál parece mejor
Respuesta
Un test A/B con asignación aleatoria de usuarios al modelo antiguo y al nuevo
Por qué
La asignación aleatoria hace comparables los dos grupos, así que una diferencia en las compras puede atribuirse al modelo.
El modo sombra registra predicciones pero los usuarios nunca las ven, así que no dice nada del comportamiento. Los datos offline reflejan las decisiones del sistema antiguo.
Decide la métrica y el tamaño de la muestra antes de empezar el test, y mantenlo durante ciclos semanales completos.
Recuerda
Test A/B = evidencia causal del impacto en los usuarios.