Un modelo de ranking nuevo mejora la métrica offline, pero el click-through baja en el test A/B online. ¿Cuál es la explicación más plausible?
Opciones
- La herramienta de tests A/B debe de tener un fallo
- El modelo necesita más regularización
- Los datos offline solo reflejan lo que mostraba el sistema antiguo, y la métrica offline es solo un indicador indirecto del objetivo, así que la mejora no se trasladó (Opción correcta)
- El conjunto de prueba era demasiado grande
Respuesta
Los datos offline solo reflejan lo que mostraba el sistema antiguo, y la métrica offline es solo un indicador indirecto del objetivo, así que la mejora no se trasladó
Por qué
Los datos registrados solo contienen los elementos que el sistema antiguo decidió mostrar, así que el modelo se evalúa con una muestra sesgada (sesgo de selección) y sus elecciones fuera de esa muestra nunca se comprueban. La métrica offline, como el NDCG sobre clics registrados, también es solo un indicador indirecto del objetivo.
El experimento online mide el efecto real, así que fíate de él, después de comprobar el tamaño de la muestra y que los usuarios se asignaron al azar.
Usa las métricas offline para filtrar candidatos y los tests online para decidir.
Recuerda
Las métricas offline son indicadores; decide el test A/B.