Las etiquetas de las predicciones de tu modelo llegan unos 60 días después. ¿Cómo lo monitorizas mientras tanto?
Opciones
- Vigilar la calidad de los datos de entrada y las distribuciones de las features y de las predicciones frente a una referencia como alertas tempranas, y calcular las métricas reales cuando lleguen las etiquetas (Opción correcta)
- Solo monitorizar la latencia y los errores del servicio
- Reentrenar cada noche y dar por hecho que lo arregla todo
- No se puede: hay que esperar a las etiquetas
Respuesta
Vigilar la calidad de los datos de entrada y las distribuciones de las features y de las predicciones frente a una referencia como alertas tempranas, y calcular las métricas reales cuando lleguen las etiquetas
Por qué
Sin etiquetas no puedes medir la exactitud, pero sí ver síntomas: valores que faltan, rangos que cambian, cambios en las distribuciones de las features o en la proporción de positivos predichos.
Son alarmas, no pruebas: un cambio no siempre perjudica la exactitud. Cuando llegan las etiquetas, calcula las métricas reales (agrupadas por fecha de predicción) y compáralas.
La latencia y los errores también hacen falta, pero no dicen nada de la calidad.
Recuerda
Sin etiquetas todavía: vigila las entradas y las predicciones.