Architecture de modèle divisée en sous-réseaux spécialisés, les « experts », dont seule une petite partie s'active pour chaque requête. Le modèle peut ainsi être très grand, donc très capable, tout en ne mobilisant qu'une fraction de sa puissance de calcul à chaque réponse.
Comparez deux modèles affichant une taille similaire mais des prix très différents à l'usage : celui en architecture MoE n'active qu'une partie de ses paramètres par requête, d'où son coût réduit.
Cette architecture équipe une bonne partie des modèles récents et explique pourquoi les prix baissent alors que les capacités montent. Utile pour comprendre les offres des fournisseurs sans se laisser impressionner par les chiffres bruts.
Situez-vous sur l'échelle des 5 niveaux en 13 questions, gratuitement.
Tester mon niveau →