Evaluar agentes es más difícil que evaluar modelos (y por qué importa)
Un modelo se evalúa por respuesta. Un agente se evalúa por trayectoria: los pasos, las herramientas, el estado final. Cómo montar evals para sistemas que actúan.
Categoría
22 artículos en esta categoría.
Un modelo se evalúa por respuesta. Un agente se evalúa por trayectoria: los pasos, las herramientas, el estado final. Cómo montar evals para sistemas que actúan.
El campo que intenta entender qué pasa realmente dentro de un modelo ha avanzado mucho. Un repaso accesible a los resultados que importan y a lo que aún no sabemos.
A mitad de año, hacemos balance de lo que cambió, lo que prometió y no cumplió, y dónde estamos realmente en el desarrollo de la inteligencia artificial.
Los LLMs olvidan todo al terminar cada conversación. Varias aproximaciones intentan resolver esto con resultados muy dispares. Estado del arte y qué funciona en producción.
Los modelos de razonamiento extendido ya son varios. Comparamos o3, Claude 3.7 con Extended Thinking, y Gemini 2.5 Pro en tareas reales para ayudarte a elegir.
Los modelos de razonamiento como o3 y Claude Extended Thinking cuestan mucho más que los modelos estándar. Análisis de cuándo el coste adicional se justifica con mejoras reales de calidad.
El procesamiento de video por LLMs pasó de experimental a útil en casos específicos. Revisamos qué modelos pueden hacer con video, las limitaciones reales, y los casos de uso viables.
El caching estándar no funciona con LLMs porque las queries son siempre ligeramente diferentes. El caching semántico detecta queries similares y reutiliza respuestas. Cómo implementarlo.
Los agentes de IA llevan dos años prometiendo automatizar el trabajo. Revisión honesta de dónde estamos: qué casos de uso funcionan en producción y cuáles siguen siendo demos.
Los benchmarks públicos son útiles pero no dicen nada sobre si un modelo funciona para tu problema específico. Metodología práctica para evaluar modelos con tus propios datos.
El chunking estándar para RAG destruye el contexto entre fragmentos. Late chunking es una técnica reciente que preserva el contexto al nivel correcto. Cómo funciona y cómo implementarla.
Chain-of-thought fue el primer paso. Ahora hay una familia de técnicas más sofisticadas para extraer razonamiento real de los modelos. Cuáles usar y cuándo.
Pedir al modelo que 'piense paso a paso' mejora drásticamente los resultados en problemas de razonamiento. Explicamos por qué funciona, las variantes más efectivas y cuándo no es la herramienta adecuada.
Con modelos que aceptan 1M de tokens, ¿sigue teniendo sentido construir pipelines de RAG? La respuesta depende del caso de uso. Aquí el análisis técnico honesto.
MMLU, HumanEval, GPQA, MT-Bench, LMSYS Arena: cada benchmark mide algo diferente y tiene sus propias trampas. Una guía para interpretar los resultados antes de elegir un modelo.
El concepto de agente de IA existe desde hace años, pero las implementaciones prácticas que realmente funcionan son pocas. Repasamos los patrones que están dando resultados y los antipatrones más comunes.
Los LLMs con capacidad visual ya no son novedad, pero sus capacidades reales varían mucho. Repasamos qué funciona bien en visión, dónde fallan todavía y las arquitecturas que lo hacen posible.
text-embedding-3-large de OpenAI, Cohere Embed v3, y los modelos de HuggingFace como BGE o E5 tienen rendimiento y costes muy distintos. Guía práctica para elegir según el caso de uso.
La arquitectura MoE activa solo una fracción de los parámetros del modelo en cada inferencia. Eso permite modelos enormes que cuestan como modelos pequeños. Explicamos el mecanismo y sus implicaciones.
CAI es la técnica de Anthropic para reducir comportamientos dañinos usando al propio modelo como crítico. Explicamos el mecanismo y por qué importa para quienes construyen aplicaciones con LLMs.
Low-Rank Adaptation permite adaptar modelos grandes a dominios específicos entrenando menos del 1% de sus parámetros. Con QLoRA, cabe en una sola GPU de consumo. Aquí el estado del arte práctico.
La recuperación aumentada evolucionó. RAG híbrido, reranking, chunking inteligente y grafos de conocimiento son técnicas que marcan la diferencia entre un RAG que funciona y uno que falla en producción.