¿Cómo proteges de la inyección de prompts una aplicación en la que el LLM puede llamar a herramientas?

Da por hecho que ocurrirá: cualquier texto que lea el modelo (páginas web, correos, documentos, resultados de herramientas) puede llevar instrucciones.
Dale al modelo el mínimo privilegio: pocas herramientas acotadas, credenciales con alcance limitado, solo lectura cuando sea posible.
Valida cada llamada a una herramienta en código (argumentos, rangos, destinos permitidos) en lugar de confiar en el modelo.
Separa leer contenido no confiable de realizar acciones con efectos, y evita combinar en un agente datos privados, entrada no confiable y un canal de salida.
Pide a una persona que confirme las acciones delicadas, como pagos, borrados y envío de mensajes.
Filtra o bloquea las salidas de riesgo, registra todas las llamadas y prueba con un conjunto de inyecciones como parte de tus evals.