Tu aplicación funcionó bien durante meses, y luego la calidad de las respuestas baja después de que el proveedor actualice un modelo. ¿Cómo te proteges de esto?
Opciones
- No se puede hacer nada: los modelos nunca cambian
- Poner la temperatura en 0, lo que congela el comportamiento para siempre
- Fijar una versión concreta del modelo cuando el proveedor lo permita, ejecutar tu suite de evals de forma periódica y antes de cambiar de versión, y monitorizar la calidad en producción (Opción correcta)
- Leer las notas de la versión y confiar en ellas
Respuesta
Fijar una versión concreta del modelo cuando el proveedor lo permita, ejecutar tu suite de evals de forma periódica y antes de cambiar de versión, y monitorizar la calidad en producción
Por qué
Los proveedores actualizan, retiran y a veces ajustan modelos sin avisar. El mismo prompt puede comportarse de otra manera tras un cambio.
Una versión fijada elimina las sorpresas hasta que decides moverte. Tu conjunto de evaluación te dice si la versión nueva es mejor o peor para tus propias tareas, y la monitorización en producción detecta lo que el conjunto de pruebas no ve.
Las notas de la versión no describen cómo reaccionarán tus prompts concretos.
Recuerda
Fija versiones y ejecuta evals en cada cambio.