Un prestamista entrena un modelo de impago solo con préstamos pasados que fueron aprobados, y luego lo usa para puntuar a todos los solicitantes. ¿Cuál es el riesgo principal?
Opciones
- Desbalance de clases
- Concept drift
- Subajuste por tener pocas features
- Sesgo de selección: no hay resultados de los solicitantes que antes se rechazaban, así que las puntuaciones para ellos no son fiables (Opción correcta)
Respuesta
Sesgo de selección: no hay resultados de los solicitantes que antes se rechazaban, así que las puntuaciones para ellos no son fiables
Por qué
Los resultados (devuelto o impago) existen solo para los solicitantes aprobados, así que la muestra de entrenamiento no representa a todos los que se van a puntuar. El modelo extrapola para los grupos que la política antigua excluía, y una evaluación con préstamos aprobados parece mejor que la realidad.
Mitigaciones: un pequeño grupo controlado que se aprueba en cualquier caso, técnicas de inferencia de rechazados (usadas con cuidado), umbrales prudentes al principio y monitorización de la población nueva.
La validación cruzada no puede detectar esto, porque todas las partes comparten el mismo sesgo.
Recuerda
Hay etiquetas solo donde las decisiones pasadas lo permitieron.