Eliges las 20 features más correlacionadas con la etiqueta usando todo el conjunto de datos y luego haces validación cruzada con esas 20. ¿Por qué la puntuación es demasiado optimista?
Opciones
- Veinte features son muy pocas
- La selección usó las etiquetas de las partes de validación, así que filtra información; debe hacerse dentro de cada parte de entrenamiento (Opción correcta)
- No se puede usar validación cruzada después de seleccionar features
- La correlación no es una forma válida de ordenar features
Respuesta
La selección usó las etiquetas de las partes de validación, así que filtra información; debe hacerse dentro de cada parte de entrenamiento
Por qué
Elegir features con las etiquetas de todas las filas deja que las filas de validación influyan en qué features se conservan. Con muchas features candidatas, algunas se correlacionan con la etiqueta por casualidad, y entonces la puntuación de la validación cruzada parece buena.
Pon la selección de features dentro del pipeline para que se ajuste de nuevo en cada parte de entrenamiento.
La correlación es un primer filtro razonable; el error está en el momento del proceso en que se aplica.
Recuerda
La selección es parte del entrenamiento: hazla dentro de la validación cruzada.