“¿Fine-tuning o RAG?” es la pregunta que más aparece cuando alguien quiere adaptar un LLM a su dominio específico. La respuesta honesta: depende, pero hay un framework claro para decidir que no depende de intuición.
La diferencia fundamental
RAG (Retrieval-Augmented Generation): el modelo base no cambia. En cada query, recuperas información relevante de tu base de conocimiento y la incluyes en el contexto del modelo. El modelo usa esa información para responder.
Fine-tuning: modificas el modelo base entrenándolo con datos específicos de tu dominio. El conocimiento queda “dentro” del modelo. En cada query, el modelo ya sabe las cosas que le enseñaste.
Esta diferencia fundamental tiene consecuencias prácticas importantes.
Cuándo RAG es la respuesta correcta
Cuando el conocimiento cambia frecuentemente. Si tu base de conocimiento se actualiza diariamente (productos, precios, noticias, documentación de software), RAG es la única opción viable. El fine-tuning requiere re-entrenar cuando cambia el conocimiento, lo que es caro y lento.
Cuando necesitas citar las fuentes. RAG sabe de dónde vino la información porque la recuperó explícitamente. Puedes mostrar al usuario qué documentos usó el modelo para responder. El fine-tuning no tiene este mecanismo.
Cuando la base de conocimiento es grande. Un modelo fine-tuned tiene capacidad limitada para “memorizar” conocimiento específico. Para bases de conocimiento con miles de documentos, RAG escala mejor.
Cuando necesitas controlar qué información usa el modelo. Puedes configurar exactamente qué entra al contexto. Con fine-tuning, lo que el modelo “sabe” es opaco.
Cuando el presupuesto es limitado. Implementar RAG básico con un modelo existente cuesta poco. Fine-tuning de calidad requiere datos, cómputo, y tiempo.
Cuándo fine-tuning es la respuesta correcta
Cuando quieres cambiar el comportamiento del modelo, no añadir conocimiento. Fine-tuning es excelente para enseñar al modelo a responder en un formato específico, usar un tono determinado, seguir un proceso específico, o adoptar el estilo de comunicación de tu empresa. RAG no puede hacer esto.
Cuando el conocimiento es estable y el volumen de queries es altísimo. Si tienes millones de queries y el conocimiento no cambia, el coste del retrieval en RAG se acumula. Un modelo fine-tuned que ya sabe las respuestas puede ser más eficiente.
Cuando la latencia es crítica. RAG añade un paso de retrieval que añade latencia. Un modelo fine-tuned responde sin ese paso.
Cuando quieres que el modelo razone de una forma específica. Puedes enseñarle patrones de razonamiento domain-specific con fine-tuning que no puedes lograr solo con prompting o RAG.
La confusión más común
Mucha gente quiere usar fine-tuning para que el modelo “sepa” información específica de su empresa. En la mayoría de estos casos, RAG es la respuesta correcta.
Fine-tuning no es muy bueno para memorizar hechos específicos. Los modelos alucinan sobre datos que supuestamente “aprendieron” durante el fine-tuning. RAG, en cambio, tiene los documentos literales disponibles para consultar.
El framework de decisión
Hazte estas preguntas en orden:
- ¿El conocimiento cambia frecuentemente? → RAG
- ¿Necesitas citar fuentes? → RAG
- ¿Es un cambio de comportamiento, no de conocimiento? → Fine-tuning
- ¿El volumen de queries es enorme y la latencia crítica? → Fine-tuning (o ambos)
- ¿Presupuesto limitado? → RAG
- ¿El conocimiento es estable y bien definido? → Considera fine-tuning
Combinarlos (la opción que no se menciona suficiente)
Para muchos casos enterprise, la combinación es la respuesta:
- Fine-tuning para el comportamiento base (tono, formato, proceso de razonamiento)
- RAG para el conocimiento específico y actualizable
Esto da lo mejor de ambos mundos: el modelo se comporta de la forma correcta para tu dominio, y puede acceder a información actualizada sin re-entrenamiento.
El coste: mayor complejidad de implementación y mantenimiento.
Números concretos para tomar la decisión
Fine-tuning de GPT-4o mini con tu dataset: desde $50-200 para datasets pequeños. Tiempo: horas.
Fine-tuning de Llama 3.1 8B en tus GPUs: el cómputo puede ser de $50-500 según el tamaño del dataset y el hardware. Tiempo: horas a días.
RAG básico: prácticamente gratis en coste de setup. Los costes son por query (embedding + LLM). Para un MVP, el coste de implementación es bajo.
En casi todos los casos donde el objetivo es “que el modelo sepa cosas de mi empresa”, RAG es más rápido de implementar, más barato, y más flexible que fine-tuning.
La recomendación general: empieza con RAG. Considera fine-tuning si RAG no resuelve el problema específico que tienes.