Las mismas entradas llegan una y otra vez a un servicio de predicción, y cada llamada es lenta. ¿Cuál es una forma barata de acelerarlo?
Opciones
- Entrenar un modelo más grande
- Quitar la monitorización
- Desactivar los registros
- Guardar en caché las predicciones, con la entrada (y la versión del modelo) como clave y un tiempo de caducidad (Opción correcta)
Respuesta
Guardar en caché las predicciones, con la entrada (y la versión del modelo) como clave y un tiempo de caducidad
Por qué
Si las entradas se repiten, una caché devuelve el resultado guardado en microsegundos en lugar de ejecutar el modelo.
Pon la versión del modelo en la clave de la caché, para que un modelo nuevo nunca sirva respuestas antiguas, y fija una caducidad para los datos que cambian. Guarda solo predicciones deterministas y que no sean personales de una forma que pudiera filtrarse entre usuarios.
Mide la tasa de aciertos para ver si compensa.
Recuerda
Caché por entrada + versión del modelo, con caducidad.