Una empresa quiere un asistente que responda a partir de documentos internos que cambian cada semana. ¿Cuál es el mejor primer enfoque?
Opciones
- Hacer fine-tuning de un modelo cada semana con los documentos nuevos
- Usar el modelo más grande disponible y confiar en que lo sabe
- Pegar todos los documentos en cada prompt
- RAG: indexar los documentos y refrescar el índice cuando cambien (Opción correcta)
Respuesta
RAG: indexar los documentos y refrescar el índice cuando cambien
Por qué
Con RAG, un cambio en un documento solo exige volver a indexar ese documento, algo rápido y barato, y las respuestas pueden mostrar su fuente.
El fine-tuning es lento, caro de repetir y malo para almacenar datos exactos. Pegarlo todo es demasiado grande para la ventana y para el presupuesto.
Un modelo más grande no conoce en absoluto tus documentos privados.
Recuerda
Conocimiento que cambia: RAG, no fine-tuning.