La mayoría de las peticiones a tu asistente son simples y unas pocas son difíciles. ¿Cómo reduces el coste sin perjudicar la calidad en las difíciles?
Opciones
- Usar siempre el modelo más grande
- Enrutar según la dificultad: enviar las peticiones simples a un modelo más pequeño y barato y escalar a uno mayor cuando la petición es difícil o la primera respuesta parece poco fiable, midiendo la calidad con evals (Opción correcta)
- Enviar al azar la mitad del tráfico a un modelo más barato
- Truncar todos los prompts a 100 tokens
Respuesta
Enrutar según la dificultad: enviar las peticiones simples a un modelo más pequeño y barato y escalar a uno mayor cuando la petición es difícil o la primera respuesta parece poco fiable, midiendo la calidad con evals
Por qué
Los modelos pequeños son más baratos y rápidos, y suficientes para muchas tareas. El ahorro viene de no pagar el modelo grande cuando no hace falta.
Un enrutador puede ser unas reglas (el tipo de petición), un clasificador o una señal de confianza del primer modelo. Comprueba con evals que la calidad se mantiene en cada ruta.
El enrutado aleatorio y el truncado a ciegas pierden calidad de forma impredecible.
Recuerda
Enruta lo fácil a modelos pequeños y escala cuando haga falta.