Repaso
English
LLMs, RAG y agentesAvanzadoLLM-35

A un agente se le va a permitir emitir reembolsos a clientes. ¿Qué diseño es el más seguro?

Opciones

  1. Exponer una única herramienta de reembolso acotada, validar sus argumentos en código, aplicar límites de importe y permisos por usuario, exigir aprobación humana por encima de un umbral y registrar cada llamada (Opción correcta)
  2. Darle la API de administración completa y un prompt que diga que tenga cuidado
  3. Dejar que decida libremente y revisar los registros a final de mes
  4. Ejecutarlo con los permisos del empleado más senior para que nunca se bloquee

Respuesta

Exponer una única herramienta de reembolso acotada, validar sus argumentos en código, aplicar límites de importe y permisos por usuario, exigir aprobación humana por encima de un umbral y registrar cada llamada

Por qué

El modelo puede confundirse o ser manipulado por el texto que lee, así que la seguridad no debe depender de su criterio.

Una herramienta acotada más comprobaciones en código normal limita lo que puede costar cualquier error. La aprobación para importes grandes mantiene a una persona al mando de los casos arriesgados, y un registro de auditoría permite revisar y deshacer.

Principio: el agente recibe la mínima autoridad necesaria para el trabajo.

Recuerda

Limita la herramienta, comprueba en código y pide aprobación en lo grande.

Términos clave

Practica esta pregunta en Repaso