Architecture · Calcul conditionnel
Mélange d’experts et routage top-k
Dans un réseau classique, tous les paramètres travaillent pour chaque entrée. Un mélange d’experts (Mixture of Experts, MoE) rompt avec cette règle : un petit réseau de routage choisit, pour chaque entrée, quelques sous-réseaux spécialisés et laisse les autres au repos3. L’idée remonte aux années 19901 ; sa version parcimonieuse est celle qu’on retrouve dans les grands modèles de langage.
Des experts
sous-réseaux de même forme mais de paramètres différents. Dans un Transformer, chacun est un réseau à propagation avant.
Un routeur
Un réseau très léger qui attribue un score à chaque expert à partir de l’entrée, puis n’en retient que .
Un équilibrage
Une perte auxiliaire qui pousse le routeur à répartir le travail, sans quoi quelques experts reçoivent tout.
Anatomie d’une couche MoE
Routage top-k avec N = 4 experts et k = 2
- Décision de routage
- Calcul effectué par un expert actif
- Expert au repos : chemin non emprunté, aucun calcul
- Signal d’entraînement auxiliaire
- Sortie de la couche
- Noter chaque expert — Le routeur multiplie l’entrée par une matrice apprise : un score par expert. À l’entraînement, un bruit dont l’ampleur est elle-même apprise s’y ajoute.
- Ne garder que k experts — Les meilleurs scores sont conservés, les autres sont mis à . Après le softmax, leur poids vaut exactement 0.
- N’évaluer que les experts retenus — L’entrée n’est envoyée qu’aux experts 1 et 3. Les experts 2 et 4 ne calculent rien : c’est là que se fait l’économie.
- Combiner les sorties — La sortie est la somme des sorties des experts actifs, pondérée par les poids du routeur.
- Surveiller la répartition — Sur l’ensemble du lot, on mesure la charge reçue par chaque expert ; une perte auxiliaire pénalise les déséquilibres.
Sources :3
Noter
Une multiplication matricielle donne scores. Son coût est négligeable devant celui d’un expert.
Sélectionner
On retient experts, avec . Certains modèles routent chaque jeton vers un seul expert5.
Calculer
Seuls les experts retenus sont exécutés, chacun sur les jetons qui lui ont été attribués.
Recombiner
Les sorties sont pondérées, additionnées, puis la couche suivante reprend comme dans un Transformer ordinaire.
Le routage en équations
Quand , il est inutile de calculer : la parcimonie du vecteur se traduit directement en calcul évité3.
| Symbole | Signification | Unité |
|---|---|---|
| Entrée de la couche (représentation d’un jeton) | ||
| Expert , un réseau de neurones avec ses propres paramètres | ||
| Poids que le routeur accorde à l’expert ; les poids somment à 1 | ||
| Nombre d’experts |
Sources :3
Le bruit, dont l’ampleur par expert est apprise, aide à répartir la charge pendant l’entraînement3.
| Symbole | Signification | Unité |
|---|---|---|
| Matrice de poids du routeur | ||
| Matrice apprise qui règle l’ampleur du bruit par expert | ||
| Nombre d’experts activés par entrée | ||
| Fonction , toujours positive |
Sources :3
Router des jetons vers des experts
Données synthétiques — graine 11Pour chaque jeton, la porte calcule un softmax sur experts, ne garde que les plus probables et renormalise leurs poids ; la sortie est la somme pondérée de ces experts. Simplification : les logits de la porte sont tirés au hasard (préférence fixe par expert + terme propre au jeton) au lieu d'être produits par un routeur appris.
Simulation interactive : des jetons sont distribués entre plusieurs experts selon un routage top-k. On voit quels experts sont actifs pour chaque jeton et la charge totale reçue par chacun.
- Jeton courant
- t8 (8 / 8)
- Experts retenus
- E5, E3
- Masse de la porte conservée
- 0,788
- Entropie de la porte (normalisée)
- 0,525
- Déséquilibre final (max / moyenne)
- 2,5
Équilibrer la charge
Part des jetons reçue par chaque expert
Voir les données
| Série | Expert | Part des jetons (%) |
|---|---|---|
| Sans équilibrage | E1 | 41 |
| Sans équilibrage | E2 | 3 |
| Sans équilibrage | E3 | 27 |
| Sans équilibrage | E4 | 2 |
| Sans équilibrage | E5 | 12 |
| Sans équilibrage | E6 | 1 |
| Sans équilibrage | E7 | 9 |
| Sans équilibrage | E8 | 5 |
| Avec équilibrage | E1 | 14 |
| Avec équilibrage | E2 | 12 |
| Avec équilibrage | E3 | 13 |
| Avec équilibrage | E4 | 11 |
| Avec équilibrage | E5 | 13 |
| Avec équilibrage | E6 | 12 |
| Avec équilibrage | E7 | 12 |
| Avec équilibrage | E8 | 13 |
La perte est nulle quand tous les experts reçoivent la même importance totale sur le lot, et croît avec la dispersion3.
| Symbole | Signification | Unité |
|---|---|---|
| Lot d’exemples d’entraînement | ||
| Coefficient de variation : écart-type divisé par la moyenne | ||
| Poids de la perte auxiliaire, réglé à la main |
Sources :3
Sous une répartition uniforme, et la somme atteint son minimum . Comme n’est pas dérivable, le gradient passe par 5.
| Symbole | Signification | Unité |
|---|---|---|
| Fraction des jetons du lot envoyés à l’expert | ||
| Probabilité moyenne que le routeur attribue à l’expert sur le lot | ||
| Coefficient de la perte auxiliaire |
Sources :5
Pourquoi cela passe à l’échelle
Résultat dérivé dans cette fiche
Relation dérivée de la définition de la couche : ajouter des experts augmente , donc la capacité, sans toucher à , donc au calcul par jeton. Elle néglige le coût de communication entre machines.
| Symbole | Signification | Unité |
|---|---|---|
| Nombre de paramètres d’un expert | ||
| Coût de calcul d’un expert pour un jeton | ||
| Coût du routeur, petit devant |
| Critère | Couche dense | Mélange doux1991 | MoE top-kparcimonieux |
|---|---|---|---|
| Experts évalués par entrée | un seul réseau, toujours | tous les | seulement |
| Calcul par jeton | |||
| Paramètres | |||
| Difficulté propre | aucune | coût qui croît avec | équilibrage, sélection non dérivable |
Trois façons d’utiliser sous-réseaux.
Couche dense
- Experts évalués par entrée
- un seul réseau, toujours
- Calcul par jeton
- Paramètres
- Difficulté propre
- aucune
Mélange doux1991
- Experts évalués par entrée
- tous les
- Calcul par jeton
- Paramètres
- Difficulté propre
- coût qui croît avec
MoE top-kparcimonieux
- Experts évalués par entrée
- seulement
- Calcul par jeton
- Paramètres
- Difficulté propre
- équilibrage, sélection non dérivable
VerdictLe MoE top-k garde la capacité du mélange doux pour un coût de calcul proche de celui d’une couche dense. C’est ce découplage qui a permis d’entraîner des modèles de plusieurs centaines de milliards de paramètres4.
Vérifier sa compréhension
QuestionUne couche MoE passe de 8 à 64 experts, en gardant . Que se passe-t-il, à peu de chose près ?
- ALes paramètres de la couche sont multipliés par 8 ; le calcul par jeton change à peine.
- BLes paramètres et le calcul par jeton sont tous deux multipliés par 8.
- CRien ne change, puisque seuls 2 experts sont utilisés.
Voir la réponse
- A — Bonne réponse. Exact : les paramètres suivent , le calcul suit . Seul le routeur, très léger, calcule 64 scores au lieu de 8.
- B — Mauvaise réponse. Ce serait le cas d’un mélange doux, où tous les experts sont évalués.
- C — Mauvaise réponse. Deux experts par jeton, mais pas toujours les mêmes : les 64 existent et doivent être stockés et entraînés.
Les experts sont-ils spécialisés par sujet (médecine, droit, code) ?
Pas par construction. Personne n’attribue de rôle aux experts : la répartition émerge de l’entraînement, et le routage se décide jeton par jeton à partir de la représentation interne. Le mot « expert » désigne un sous-réseau, pas une compétence lisible par un humain.
Quelle est la différence avec un ensemble de modèles ?
Un ensemble évalue tous les modèles et moyenne leurs réponses. Un MoE est un seul modèle, entraîné de bout en bout, dans lequel le routeur choisit quelques sous-réseaux à l’intérieur d’une couche ; le reste du réseau est partagé.
Comment le routeur apprend-il si la sélection top-k n’est pas dérivable ?
Le gradient passe par les poids des experts retenus : ces poids sont une fonction dérivable des scores. Les experts écartés ne reçoivent aucun gradient pour cet exemple, d’où l’utilité du bruit et de la perte d’équilibrage pour que chacun soit essayé3.
D’où vient l’idée ?
Références
- (1991). Adaptive Mixtures of Local Experts. Neural Computation, 3(1), 79–87. doi:10.1162/neco.1991.3.1.79
- (1994). Hierarchical Mixtures of Experts and the EM Algorithm. Neural Computation, 6(2), 181–214. doi:10.1162/neco.1994.6.2.181
- (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv:1701.06538. arxiv.org/abs/1701.06538
- (2020). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv:2006.16668. arxiv.org/abs/2006.16668
- (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961. arxiv.org/abs/2101.03961