Un servicio de modelo devuelve HTTP 200 en todas las peticiones, pero un fallo hace que prediga casi el mismo valor para todos. ¿Qué monitorización lo detectaría?
Opciones
- El tiempo de actividad y los códigos de estado HTTP
- Las gráficas de uso de CPU
- La monitorización de la distribución de las predicciones y de las entradas, no solo de la salud del servicio (Opción correcta)
- El tamaño de los archivos de registro
Respuesta
La monitorización de la distribución de las predicciones y de las entradas, no solo de la salud del servicio
Por qué
La monitorización normal del servicio (disponibilidad, errores, latencia, CPU) dice que el sistema está sano. Aquí lo que está mal es la predicción, no el servicio.
La monitorización de ML añade los datos: la distribución de las entradas, la distribución de las predicciones (una constante repentina o una media desplazada es una alerta) y las métricas de calidad cuando llegan las etiquetas.
Hacen falta las dos capas.
Recuerda
Vigila los datos y las predicciones, no solo el servicio.