#mixtral

Mixture of Experts: por qué Mixtral y GPT-4 son más eficientes de lo que parecen

La arquitectura MoE activa solo una fracción de los parámetros del modelo en cada inferencia. Eso permite modelos enormes que cuestan como modelos pequeños. Explicamos el mecanismo y sus implicaciones.