¿Qué debe comprobar un canary automatizado antes de aumentar la parte de tráfico de un modelo nuevo?
Opciones
- Las métricas de salud (errores, latencia, uso de recursos), la distribución de las predicciones y las métricas de negocio frente a la línea base, con una muestra suficientemente grande y umbrales que activen una parada o un rollback (Opción correcta)
- Solo que el contenedor arranca
- Que nadie se ha quejado en el chat
- Que el modelo nuevo es más grande que el antiguo
Respuesta
Las métricas de salud (errores, latencia, uso de recursos), la distribución de las predicciones y las métricas de negocio frente a la línea base, con una muestra suficientemente grande y umbrales que activen una parada o un rollback
Por qué
Un canary solo es útil si decide con evidencias. Compara la versión nueva con la línea base que se ejecuta a la vez con tráfico comparable, para que se anulen los efectos de la hora del día.
Revisa el servicio (errores, latencia), el modelo (distribución de las predicciones, una constante o un desplazamiento repentinos) y el producto (conversión o la métrica que importe), y define de antemano los umbrales y el tamaño mínimo de muestra.
Si se cruza un umbral, detén el aumento y haz rollback automáticamente.
Recuerda
Las puertas del canary comparan con la línea base con umbrales fijados antes.