Un bot de soporte se inventa políticas de reembolso que no existen. ¿Cuál es la mitigación más fuerte?
Opciones
- Añadir "no alucines" al prompt
- Basar las respuestas en el texto de la política recuperado, exigir citas y hacer que el bot diga que no lo sabe cuando las fuentes no cubren la pregunta (Opción correcta)
- Subir la temperatura para que suene más natural
- Hacer fine-tuning con registros de chats antiguos
Respuesta
Basar las respuestas en el texto de la política recuperado, exigir citas y hacer que el bot diga que no lo sabe cuando las fuentes no cubren la pregunta
Por qué
Decirle al modelo que no alucine no le da los hechos. Basarse en fuentes sí: el texto de la política va en el prompt, y la instrucción es responder solo a partir de él.
Exigir una cita por afirmación hace fáciles de detectar, y de comprobar automáticamente, las afirmaciones sin respaldo. Un camino explícito de "no lo sé, te paso con una persona" importa tanto como las respuestas.
El fine-tuning con chats incluso puede enseñarle los errores antiguos.
Recuerda
Basa en fuentes, cita y permite el "no lo sé".