Reescribes un prompt y las respuestas parecen mejores. ¿Qué debes hacer antes de lanzarlo?
Opciones
- Ejecutarlo sobre un conjunto fijo de casos de prueba representativos y comparar las puntuaciones con las del prompt anterior (Opción correcta)
- Lanzarlo y vigilar los tickets de soporte
- Preguntar al mismo modelo si las respuestas nuevas son mejores y lanzarlo si dice que sí
- Probarlo con tres entradas que escribiste mientras editabas
Respuesta
Ejecutarlo sobre un conjunto fijo de casos de prueba representativos y comparar las puntuaciones con las del prompt anterior
Por qué
"Parece mejor" con unos pocos ejemplos es la forma en que las regresiones llegan a producción: un cambio que arregla un caso suele romper otro.
Un conjunto de evaluación es una lista fija de entradas reales y difíciles con una forma de puntuar la salida (comprobaciones exactas, rúbricas, revisión humana o un modelo juez calibrado). Ejecuta el prompt anterior y el nuevo sobre él y compara.
Añade cada fallo de producción al conjunto para que el mismo error no pueda volver sin que se note.
Recuerda
Evals antes de los cambios, no opiniones.