Un servicio de modelo con GPU tiene un tráfico con picos. Escalar según el uso de CPU reacciona mal. ¿Qué señal es mejor para el autoescalado?
Opciones
- La hora del día
- Una señal que refleje la carga real de esta carga de trabajo, como las peticiones en curso, la longitud de la cola o la latencia (Opción correcta)
- El número de desarrolladores conectados
- El tamaño del archivo del modelo
Respuesta
Una señal que refleje la carga real de esta carga de trabajo, como las peticiones en curso, la longitud de la cola o la latencia
Por qué
En la inferencia con GPU la CPU a menudo no es el cuello de botella, así que su uso puede seguir bajo mientras se acumulan peticiones.
Escalar según la concurrencia (peticiones en curso), la longitud de la cola o la latencia sigue la presión real. Ten en cuenta también el tiempo que tarda una réplica nueva en cargar el modelo, que puede ser de minutos, y deja un margen o un número mínimo de réplicas.
Escalar a cero ahorra dinero pero añade latencia de arranque en frío.
Recuerda
Escala con señales de carga adecuadas a la carga de trabajo.