¿Por qué se guarda un conjunto de prueba que el modelo nunca ve durante el entrenamiento?
Opciones
- Para que el entrenamiento sea más rápido con un conjunto de datos más pequeño
- Para estimar cómo se comportará el modelo con datos nuevos que no ha visto (Opción correcta)
- Para elegir los mejores hiperparámetros
- Para equilibrar las clases antes de entrenar
Respuesta
Para estimar cómo se comportará el modelo con datos nuevos que no ha visto
Por qué
Un modelo puede memorizar sus datos de entrenamiento, así que su puntuación con esos datos dice poco sobre el futuro.
El conjunto de prueba hace de datos nuevos: lo mides una sola vez, al final, para obtener una estimación honesta.
Si ajustas hiperparámetros con él, deja de ser honesto. Usa un conjunto de validación aparte (o validación cruzada) para ajustar.
Recuerda
Los datos de prueba dan una estimación honesta; no ajustes con ellos.