La calidad global del modelo es estable, pero los tickets de soporte muestran que funciona mal para los clientes de una región. ¿Qué práctica de monitorización lo habría mostrado?
Opciones
- Mirar solo la media global
- Contar el número de peticiones
- Comprobar la disponibilidad
- Calcular las métricas de calidad y de datos por segmento (región, dispositivo, tipo de cliente) y alertar en cada segmento (Opción correcta)
Respuesta
Calcular las métricas de calidad y de datos por segmento (región, dispositivo, tipo de cliente) y alertar en cada segmento
Por qué
Una media puede ser estable mientras un grupo pequeño recibe resultados mucho peores, porque los grupos grandes lo esconden.
Monitoriza por separado los segmentos importantes en cuanto a deriva de datos, distribución de predicciones y métricas de calidad, con volumen suficiente para que tengan sentido. Los mismos segmentos pertenecen a la puerta de evaluación antes de un lanzamiento.
Elige los segmentos según el riesgo de negocio y según dónde difieren los datos, ya que no se puede alertar de todas las combinaciones.
Recuerda
Monitoriza por segmentos, no solo en global.