¿Qué señal de deriva de datos se puede monitorizar en producción incluso antes de que lleguen las etiquetas?
Opciones
- Una comparación de la distribución de las entradas en vivo con la de los datos de entrenamiento, por ejemplo con un estadístico PSI o KS (Opción correcta)
- La pérdida de entrenamiento del modelo
- El tamaño del archivo del modelo
- El número de hiperparámetros
Respuesta
Una comparación de la distribución de las entradas en vivo con la de los datos de entrenamiento, por ejemplo con un estadístico PSI o KS
Por qué
Deriva significa que los datos que ve el modelo ahora difieren de aquellos con los que aprendió. Eso se puede medir solo con las entradas, porque las entradas no necesitan etiquetas.
Las comprobaciones habituales comparan la distribución en vivo de cada feature con una ventana de referencia usando estadísticos como el Population Stability Index (PSI) o el test de Kolmogorov-Smirnov.
Es una alerta temprana: la deriva no siempre baja la calidad, y la calidad puede caer sin deriva en las entradas.
Recuerda
Compara las entradas en vivo con la referencia de entrenamiento.