Los positivos son muy raros (0,1 %). ¿Por qué el ROC-AUC puede verse excelente mientras el modelo es malo encontrándolos?
Opciones
- El ROC-AUC ignora la clase positiva
- La tasa de falsos positivos divide por el enorme número de negativos, así que muchas falsas alarmas apenas la mueven, mientras que la precisión se hunde (Opción correcta)
- El ROC-AUC se calcula a partir de la exactitud
- El ROC-AUC no se puede calcular con clases desbalanceadas
Respuesta
La tasa de falsos positivos divide por el enorme número de negativos, así que muchas falsas alarmas apenas la mueven, mientras que la precisión se hunde
Por qué
La curva ROC dibuja el recall frente a la tasa de falsos positivos, FP / (FP + TN). Cuando dominan los negativos, TN es enorme, así que incluso miles de falsas alarmas dejan la tasa diminuta.
La precisión, TP / (TP + FP), recibe de lleno esas falsas alarmas. Una curva PR o la precisión media muestran el problema que el ROC esconde.
El ROC-AUC sigue estando definido con desbalance; solo responde a una pregunta distinta de la que suele importar.
Recuerda
Positivos raros: mira la curva PR, no solo el ROC.