¿Cómo puedes lanzar una nueva versión de un modelo con poco riesgo?
Opciones
- Sustituir el modelo antiguo para todos a la vez, por la noche
- Enviar una pequeña parte del tráfico real a la versión nueva (un canary), comparar sus métricas con las de la antigua y aumentar la proporción poco a poco (Opción correcta)
- Probarlo solo offline y luego desplegarlo
- Dárselo al equipo interno para siempre
Respuesta
Enviar una pequeña parte del tráfico real a la versión nueva (un canary), comparar sus métricas con las de la antigua y aumentar la proporción poco a poco
Por qué
Un canary expone solo a unos pocos usuarios a un posible problema, mientras el tráfico real muestra cómo se comporta el modelo con datos y carga reales.
Si la tasa de errores, la latencia o las métricas de negocio empeoran, paras y devuelves el tráfico. Si están bien, vas aumentando.
Las pruebas offline no pueden mostrar todo lo que ocurre en producción.
Recuerda
Canary: primero una parte pequeña, luego aumentar.