El pipeline de entrenamiento se ejecuta en CI con el mismo código y datos que el mes pasado, pero las métricas cambiaron. ¿Qué compruebas primero?
Opciones
- El color del panel de control
- El número de núcleos de CPU
- Las versiones de librerías sin fijar, las semillas aleatorias y si la foto de los datos es de verdad la misma (Opción correcta)
- El nombre de la rama
Respuesta
Las versiones de librerías sin fijar, las semillas aleatorias y si la foto de los datos es de verdad la misma
Por qué
La reproducibilidad exige fijar todas las entradas: las versiones exactas de las dependencias (un archivo de bloqueo), las semillas aleatorias, la foto de los datos (no "la última tabla") y la configuración.
Una actualización de librería puede cambiar valores por defecto, y una tabla que sigue actualizándose no son los mismos datos.
Una vez fijado todo esto, las mismas entradas deberían dar la misma métrica, o al menos una dentro de un margen de ruido conocido.
Recuerda
Fija versiones, semillas y datos para reproducir una ejecución.