Un servidor de modelos agrupa varias peticiones entrantes en un lote antes de ejecutar el modelo en una GPU. ¿Cuál es el compromiso?
Opciones
- Más rendimiento y mejor uso del hardware, a costa de algo de espera extra (latencia) para cada petición (Opción correcta)
- Más exactitud a cambio de menos rendimiento
- Menos coste y menos latencia a la vez, siempre
- Ningún compromiso: solo cambia los registros
Respuesta
Más rendimiento y mejor uso del hardware, a costa de algo de espera extra (latencia) para cada petición
Por qué
Las GPU son más eficientes cuando procesan muchas entradas a la vez. Esperar unos milisegundos para llenar un lote aumenta el número de peticiones atendidas por segundo.
Pero la primera petición del lote espera a las demás, así que su latencia crece. El batching dinámico permite limitar esa espera.
Ajusta el tamaño máximo del lote y el tiempo de espera según tu objetivo de latencia.
Recuerda
Batching: más rendimiento, algo más de latencia.