Durante años, la forma más segura de mejorar un modelo de lenguaje fue hacerlo más grande. Más parámetros, más datos, más FLOPS de entrenamiento. La ley de escalado de OpenAI parecía garantizar que el modelo más grande sería el mejor.

Esa tendencia no ha terminado, pero está siendo matizada por algo importante: los modelos pequeños están mejorando más rápido que los grandes.

Los números que cambian la conversación

Phi-3 Mini tiene 3.8B parámetros y rinde como un modelo de 7-8B bien entrenado hace dos años. Gemma 2 9B supera a Llama 3 8B en benchmarks clave, siendo un tamaño comparable. Las destilaciones de DeepSeek R1 en 7B y 14B retienen una fracción sorprendente de las capacidades del modelo original de 671B.

El patrón es consistente: la calidad de los datos de entrenamiento y las técnicas de destilación pueden compensar el tamaño del modelo en una medida que hace dos años parecía impensable.

Por qué la eficiencia importa más de lo que parece

Despliegue on-device: Un modelo de 3B parámetros puede correr en un teléfono moderno. Eso abre aplicaciones que antes requerían conexión a internet: privacidad nativa, funcionamiento offline, latencia de milisegundos.

Democratización real: Los grandes laboratorios pueden entrenar modelos de 70B o más. Una empresa pequeña puede hacer fine-tuning de un modelo de 7B en una sola GPU. La eficiencia reduce la barrera de entrada.

Coste de inferencia: Servir un modelo de 7B cuesta una fracción de servir uno de 70B. A igual calidad percibida, el modelo más pequeño gana.

Las técnicas que lo hacen posible

Destilación: Entrenar un modelo pequeño para imitar las distribuciones de salida de un modelo grande. El pequeño aprende no solo las respuestas correctas sino cómo razona el grande.

Datos sintéticos de alta calidad: En lugar de entrenar con texto genérico de internet, usar datos generados por modelos grandes que muestran el tipo de razonamiento que quieres que aprenda el modelo pequeño.

Cuantización post-entrenamiento: Reducir la precisión de los pesos de 32 bits a 4 bits con pérdida mínima de calidad.

Lo que no cambia

Los modelos grandes siguen siendo mejores en razonamiento complejo, conocimiento factual amplio y casos edge. La destilación transmite capacidades pero con un límite: no puedes destilar lo que el estudiante no tiene capacidad de aprender.

Para aplicaciones de uso general de alta complejidad, los modelos grandes seguirán siendo necesarios. Pero para casos de uso específicos y bien definidos, los modelos pequeños bien entrenados pueden ser suficientes con una fracción del coste.

Análisis basado en los papers técnicos de Phi-3 (Microsoft), Gemma 2 (Google), y DeepSeek R1 (DeepSeek AI).