Una versión nueva del modelo está en vivo y la tasa de errores y la latencia del servicio se han disparado. ¿Cuál es la acción segura más rápida?
Opciones
- Volver (rollback) a la versión anterior del modelo y luego investigar (Opción correcta)
- Depurarla mientras sigue sirviendo a todos
- Reentrenar el modelo nuevo de inmediato
- Enviarle más tráfico para ver si mejora
Respuesta
Volver (rollback) a la versión anterior del modelo y luego investigar
Por qué
Primero reduce el daño, luego busca la causa. Un rollback solo es rápido si la versión anterior sigue disponible y desplegable, y esa es una razón para guardar las versiones en un registro.
La investigación se hace después offline o en un entorno de pruebas, con los registros y peticiones de ejemplo del incidente.
Buena práctica: decidir la regla de rollback antes del lanzamiento.
Recuerda
Primero rollback, después investigar.