¿Cómo construyes un conjunto de evaluación para una función con LLM y lo mantienes útil con el tiempo?

Parte de entradas reales: registros, tickets de soporte o ejemplos escritos con expertos del dominio. Cubre los casos normales, los casos límite y los fallos conocidos.
Define el resultado esperado de cada caso: una respuesta exacta, una lista de comprobación o rúbrica, o los hechos que deben estar presentes o ausentes.
Elige el método de puntuación por caso: primero comprobaciones con código (formato, coincidencia exacta, tests), luego revisión humana y después un modelo juez calibrado para el resto subjetivo.
Mantén un conjunto pequeño y de confianza para cada cambio, y uno mayor para las comprobaciones de lanzamiento, de modo que las evals se ejecuten rápido.
Divide las puntuaciones por tipo de caso, porque una media puede esconder una regresión en un grupo.
Añade cada fallo de producción como un caso nuevo, versiona el conjunto y no ajustes el prompt con los casos que uses como comprobación final.