Los debates sobre IA gastan una energía desproporcionada en una sola pregunta: ¿qué modelo es el mejor? GPT contra Claude contra Gemini contra el open source de turno. Es un debate entretenido y, para la mayoría de proyectos reales, casi irrelevante. La pregunta que de verdad decide si tu sistema funciona es otra: ¿cómo sabes que funciona?

El modelo es intercambiable, la evaluación no

Cambiar de modelo es cuestión de horas: cambias una línea, quizás ajustas un prompt. Si tienes una buena suite de evaluación, ese cambio se valida en minutos y sabes si mejoró o empeoró. Si no la tienes, cambias de modelo a ciegas, esperando que “el mejor en los benchmarks” sea mejor para tu caso concreto. Casi nunca hay garantía de que lo sea.

La evaluación es lo que convierte la elección de modelo de una apuesta en una decisión.

Los benchmarks públicos no son tu benchmark

Que un modelo lidere MMLU o SWE-bench dice muy poco sobre cómo se comportará con tus documentos, tu dominio, tus usuarios y tus casos borde. Los benchmarks públicos miden capacidad general; tú necesitas medir capacidad en tu tarea específica.

Un modelo mediocre en el ranking global puede ser el mejor para tu caso. La única forma de saberlo es tener un dataset de evaluación propio. Sin él, estás optimizando para la métrica de otro.

Lo que una buena evaluación te da

  • Decidir con datos qué modelo usar, en vez de por reputación.
  • Detectar regresiones cuando cambias un prompt, un modelo o una dependencia.
  • Justificar el coste: puedes usar un modelo más barato si demuestras que rinde igual en tu tarea.
  • Dormir tranquilo: sabes cuándo tu sistema se degrada antes de que lo haga un usuario.

Por qué casi nadie lo hace

Porque es aburrido. Construir un dataset de evaluación, definir métricas, montar el bucle de CI, no da titulares ni sensación de progreso rápido. Probar el último modelo lanzado sí. El incentivo psicológico empuja hacia lo brillante y en contra de lo fundamental.

Pero los equipos que sobreviven al paso de demo a producción son, sin excepción, los que invirtieron en evaluación temprano. Los que no, viven en un ciclo de “parece que va peor pero no sabemos por qué”.

La inversión con mejor retorno

Si tuviera que dar un solo consejo a alguien montando un producto con IA, no sería “usa este modelo”. Sería: antes de discutir qué modelo, construye cómo vas a medir si funciona. El modelo cambiará tres veces este año. Tu forma de evaluar, si es buena, seguirá sirviendo con cada uno de ellos.

El mejor modelo no es el que gana el benchmark de moda. Es el que tú puedes demostrar que resuelve tu problema. Y demostrarlo requiere evaluación, no fe.