Un random forest coloca una columna de ID de cliente entre sus features más importantes con la importancia por impureza por defecto. ¿Qué comprobación es mejor?
Opciones
- Fiarse del ranking: el bosque vio los datos
- Quitar las columnas con menor importancia y reentrenar
- La importancia por permutación calculada con datos de validación (Opción correcta)
- Añadir más árboles hasta que el ranking se estabilice
Respuesta
La importancia por permutación calculada con datos de validación
Por qué
La importancia por impureza se calcula con los datos de entrenamiento y favorece las features con muchos valores distintos, como los ID, porque permiten dividir los árboles en grupos diminutos y puros. Eso es memorización, no señal.
La importancia por permutación baraja una feature cada vez con datos de validación y mide cuánto baja la puntuación, así que las features inútiles obtienen un valor cercano a cero.
Aun así puede engañar cuando las features están muy correlacionadas.
Recuerda
Prefiere la importancia por permutación con datos de validación.