La métrica online de un modelo empeora poco a poco durante varias semanas. ¿Cómo investigas?

Confirma que es real: revisa la definición de la métrica, el tamaño de la muestra y la estacionalidad antes de culpar al modelo.
Descarta el servicio y el pipeline de datos: errores, latencia, datos que faltan o llegan tarde, esquemas o unidades que cambiaron.
Compara las entradas en vivo con la referencia del entrenamiento (deriva) y mira la distribución de las predicciones, en global y por segmento.
Compara las features en vivo con las mismas features recalculadas offline para buscar training-serving skew.
Cuando haya etiquetas, comprueba si la calidad bajó en todos los segmentos o solo en algunos, y desde cuándo.
Revisa qué cambió alrededor de esa fecha: código, versión del modelo, datos de origen, producto o comportamiento de los usuarios.
Después actúa: arregla los datos o el código, reentrena con datos recientes pasando por la puerta normal, o haz rollback, y añade una monitorización para detectarlo antes la próxima vez.