Solo el 1 % de tus ejemplos son positivos. ¿Cuál es una forma sensata de empezar?
Opciones
- Sobremuestrear los positivos en todo el conjunto de datos y luego dividirlo en entrenamiento y prueba
- Reportar la exactitud: es la métrica estándar de los clasificadores
- Usar una división estratificada y juzgar el modelo con precisión, recall o PR-AUC en lugar de la exactitud (Opción correcta)
- Usar un modelo más grande: el desbalance desaparece con suficiente capacidad
Respuesta
Usar una división estratificada y juzgar el modelo con precisión, recall o PR-AUC en lugar de la exactitud
Por qué
Una división estratificada mantiene el 1 % en cada parte, así que todas tienen positivos para aprender y para probar. La exactitud premiaría predecir siempre la clase mayoritaria, así que usa métricas de la clase rara.
Remuestrear está bien, pero solo en la parte de entrenamiento: sobremuestrear antes de dividir pone copias de la misma fila en entrenamiento y prueba (fuga).
Los pesos de clase o ajustar el umbral suelen funcionar tan bien como remuestrear.
Recuerda
Estratifica, elige bien la métrica y remuestrea solo el entrenamiento.