Un modelo de abandono de clientes tiene un AUC offline de 0,99 pero solo unos 0,6 en producción. Una de sus features es days_since_account_closed. ¿Cuál es la causa más probable?
Opciones
- Fuga del objetivo: la feature solo se conoce cuando el cliente ya se ha ido (Opción correcta)
- Desbalance de clases en los datos de entrenamiento
- Demasiados árboles en el ensemble
- Subajuste: el modelo es demasiado simple
Respuesta
Fuga del objetivo: la feature solo se conoce cuando el cliente ya se ha ido
Por qué
Una feature que solo se rellena después del resultado lleva la respuesta. En el entrenamiento hace la tarea casi trivial; en el momento de predecir falta o está vacía, y la puntuación se hunde.
Pregunta por cada feature: ¿conoceré este valor en el momento en que necesito la predicción?
Una puntuación offline sospechosamente alta es una señal típica de fuga.
Recuerda
Demasiado bueno para ser verdad: busca fuga del objetivo.