La latencia media de un servicio de modelo es buena, pero los usuarios se quejan de respuestas lentas. ¿Qué miras?
Opciones
- Solo la media: está bien
- El tamaño de los datos de entrenamiento
- La exactitud del modelo
- Las latencias por percentiles (p95, p99) desglosadas por etapa: cola, consulta de features, preprocesado y modelo (Opción correcta)
Respuesta
Las latencias por percentiles (p95, p99) desglosadas por etapa: cola, consulta de features, preprocesado y modelo
Por qué
La media esconde la cola lenta: unos pocos por ciento de las peticiones pueden ser muchas veces más lentas y aun así dejar la media con buen aspecto, mientras que todos los usuarios las encuentran de vez en cuando.
Desglosa el tiempo por etapa. Los culpables típicos son los arranques en frío, la espera en la cola del batching, una consulta lenta de features, la recolección de basura y los vecinos ruidosos.
Fija el objetivo de nivel de servicio sobre un percentil, como p99 por debajo de 300 ms.
Recuerda
Las medias esconden la cola: usa percentiles por etapa.