Con millones de filas al día, un test estadístico de deriva marca casi todas las features como "significativamente distintas" cada día, con p-valores minúsculos. ¿Qué enfoque es mejor?
Opciones
- Usar el tamaño del cambio (por ejemplo una distancia o el PSI) con umbrales ligados a su impacto, en lugar de solo los p-valores (Opción correcta)
- Ignorar por completo la monitorización de la deriva
- Bajar el umbral del p-valor a 0,5
- Reentrenar automáticamente cada vez que falle un test
Respuesta
Usar el tamaño del cambio (por ejemplo una distancia o el PSI) con umbrales ligados a su impacto, en lugar de solo los p-valores
Por qué
Con muestras enormes, incluso una diferencia inofensiva se vuelve estadísticamente significativa, así que la alerta no para nunca y acaba ignorándose.
Una medida de deriva con magnitud (PSI, distancia de Jensen-Shannon, distancia de Wasserstein) permite fijar umbrales sobre cuánto importa un cambio, y puedes priorizar las features en las que más se apoya el modelo.
Confirma siempre que una alerta corresponde a un efecto real en las predicciones o en la calidad.
Recuerda
Alerta por el tamaño del cambio, no solo por la significación.