¿Cómo decides entre inferencia por lotes, online y en streaming para un caso de uso nuevo?

Necesidad de latencia: si nadie espera el resultado, usa batch; si un usuario o un sistema espera segundos o milisegundos, usa online.
Frescura de las entradas: si la decisión depende de eventos de los últimos minutos, necesitas features en streaming, sea cual sea el modo de servicio.
Volumen y coste: el batch aprovecha bien el hardware y es barato; el online necesita capacidad siempre activa, autoescalado y margen para los picos.
Reutilización: precalcular en batch las predicciones de un conjunto limitado de entidades (usuarios, productos) y servirlas desde un almacén suele ser la opción más simple que es suficientemente rápida.
Complejidad y operación: cada paso hacia el tiempo real añade monitorización, guardias y trabajo de coherencia entre entrenamiento y servicio.
Plan de fallos: ¿qué pasa si el modelo no está disponible? Un resultado antiguo del batch o un valor por defecto basado en reglas puede ser un buen respaldo.
Empieza por el modo más simple que cumpla el requisito, y pasa a uno más complejo solo cuando los números lo justifiquen.