Un modelo dice "fraude, 90 % de probabilidad", pero solo el 70 % de esos casos son fraude de verdad. ¿Cómo se llama este problema?
Opciones
- Desbalance de clases
- Subajuste
- Fuga de datos
- Mala calibración: las probabilidades no coinciden con las frecuencias observadas (Opción correcta)
Respuesta
Mala calibración: las probabilidades no coinciden con las frecuencias observadas
Por qué
Un modelo calibrado acierta cerca del 70 % de las veces cuando dice 70 %. Un buen orden (AUC alto) puede venir con probabilidades demasiado seguras, lo que importa cuando las usas en decisiones como costes esperados.
Compruébalo con una curva de fiabilidad (calibración). Arréglalo con escalado de Platt o regresión isotónica, ajustados con datos con los que el modelo no entrenó.
Recuerda
Un buen orden no significa probabilidades honestas.