Probaste 50 combinaciones de hiperparámetros y reportaste la mejor puntuación en el conjunto de prueba. ¿Cuál es el problema?
Opciones
- La puntuación es optimista: el conjunto de prueba guio la elección, así que ya no es datos no vistos (Opción correcta)
- 50 combinaciones son pocas para que sea fiable
- La puntuación es pesimista, porque se eligió el mejor modelo
- Ninguno: así es como se debe usar el conjunto de prueba
Respuesta
La puntuación es optimista: el conjunto de prueba guio la elección, así que ya no es datos no vistos
Por qué
Elegir el mejor de 50 resultados con los mismos datos selecciona en parte por suerte. La puntuación ganadora está sesgada al alza, y el conjunto de prueba ya no mide el rendimiento con datos no vistos.
Ajusta con un conjunto de validación o con validación cruzada. Toca el conjunto de prueba una sola vez, para el modelo final.
Si tienes que ajustar mucho y aun así quieres un número honesto, usa validación cruzada anidada.
Recuerda
Elige con validación, reporta con prueba.