Un modelo tenía una gran puntuación en validación cruzada pero decepciona en producción. ¿Qué revisas?

Fuga: features que solo se conocen después del resultado, preprocesado o selección de features ajustados con todos los datos, filas duplicadas o la misma entidad en entrenamiento y validación.
Diseño de la división: divisiones aleatorias con datos ordenados en el tiempo o agrupados, en lugar de divisiones por tiempo o por grupo.
Training-serving skew: código de features distinto, valores que faltan, unidades o zonas horarias distintas en producción.
Deriva: ¿ha cambiado desde el periodo de entrenamiento la distribución de las entradas, o el comportamiento detrás de las etiquetas?
Población: ¿incluye el tráfico de producción casos que nunca aparecieron en los datos de entrenamiento (sesgo de selección)?
Métrica: ¿es la métrica offline un buen indicador del objetivo del producto, y se fijó el umbral según los costes de producción?
Compara los valores de las features offline y online para los mismos casos y encuentra la primera diferencia.