Aller au contenu

IAApprentissage profondExplicationAvancé

Par · Publiée le · 11 min de lecture

Sommaire
  1. Anatomie d’une couche MoE
  2. Le routage en équations
  3. Équilibrer la charge
  4. Pourquoi cela passe à l’échelle
  5. Vérifier sa compréhension

Après cette fiche, vous saurez

  • Décrire le rôle du réseau de routage et celui des experts.
  • Écrire le routage top-k bruité et expliquer ce que fait chaque terme.
  • Expliquer pourquoi une perte d’équilibrage est nécessaire.
  • Distinguer la croissance des paramètres de celle du calcul par jeton.

Formulaire

Les équations de la fiche, d’un coup d’œil

  1. 01Sortie de la couchey=∑i=1NG(x)i Ei(x)y = \sum_{i=1}^{N} G(x)_i \, E_i(x)
  2. 02Routage top-k bruitéG(x)=Softmax(KeepTopK(H(x),k))H(x)i=(x⋅Wg)i+εi⋅Softplus((x⋅Wnoise)i),εi∼N(0,1)KeepTopK(v,k)i={viif vi is among the top k elements of v−∞otherwise\begin{aligned} G(x) &= \mathrm{Softmax}\big(\mathrm{KeepTopK}(H(x), k)\big) \\ H(x)_i &= (x \cdot W_g)_i + \varepsilon_i \cdot \mathrm{Softplus}\big((x \cdot W_{\text{noise}})_i\big), \quad \varepsilon_i \sim \mathcal{N}(0, 1) \\ \mathrm{KeepTopK}(v, k)_i &= \begin{cases} v_i & \text{if } v_i \text{ is among the top } k \text{ elements of } v \\ -\infty & \text{otherwise} \end{cases} \end{aligned}
  3. 03Perte d’importance (Shazeer et coll.)Importance(X)=∑x∈XG(x)Limportance(X)=wimportance⋅CV(Importance(X))2\begin{aligned} \mathrm{Importance}(X) &= \sum_{x \in X} G(x) \\ L_{\text{importance}}(X) &= w_{\text{importance}} \cdot \mathrm{CV}\big(\mathrm{Importance}(X)\big)^{2} \end{aligned}
  4. 04Perte auxiliaire (Switch Transformer)Laux=α⋅N⋅∑i=1Nfi⋅PiL_{\text{aux}} = \alpha \cdot N \cdot \sum_{i=1}^{N} f_i \cdot P_i
  5. 05Paramètres et calcul se découplentPMoE≈N⋅PE⏟parametersCtoken≈k⋅CE+Crouter⏟compute per token\underbrace{P_{\text{MoE}} \approx N \cdot P_E}_{\text{parameters}} \qquad \underbrace{C_{\text{token}} \approx k \cdot C_E + C_{\text{router}}}_{\text{compute per token}}

Exemple de démonstration — non révisé par l'auteur

Architecture · Calcul conditionnel

Mélange d’experts et routage top-k

Dans un réseau classique, tous les paramètres travaillent pour chaque entrée. Un mélange d’experts (Mixture of Experts, MoE) rompt avec cette règle : un petit réseau de routage choisit, pour chaque entrée, quelques sous-réseaux spécialisés et laisse les autres au repos3. L’idée remonte aux années 19901 ; sa version parcimonieuse est celle qu’on retrouve dans les grands modèles de langage.

  • Des experts

    NN sous-réseaux de même forme mais de paramètres différents. Dans un Transformer, chacun est un réseau à propagation avant.

  • Un routeur

    Un réseau très léger qui attribue un score à chaque expert à partir de l’entrée, puis n’en retient que kk.

  • Un équilibrage

    Une perte auxiliaire qui pousse le routeur à répartir le travail, sans quoi quelques experts reçoivent tout.

Anatomie d’une couche MoE

Routage top-k avec N = 4 experts et k = 2

Schéma d’une couche de mélange d’experts. Le vecteur d’entrée va vers un routeur, qui calcule un score par expert, y ajoute un bruit, garde les deux meilleurs scores et applique un softmax. Parmi quatre experts, deux sont actifs et reçoivent l’entrée, deux sont inactifs. Les deux sorties sont additionnées avec les poids du routeur pour donner la sortie. Une flèche pointillée relie les poids du routeur à une perte d’équilibrage de charge.ROUTEUREXPERTSEntrée xreprésentation d’un jetonScores du routeurun par expertBruit ajustableà l’entraînementGarder les k meilleursSoftmaxpoids G(x)Expert 1actifExpert 2au reposExpert 3actifExpert 4au reposSomme pondéréeSortie yPerte d’équilibrageajoutée à la perte principale+les autres : −∞E₁(x)E₃(x)poidsstatistiques du lot
  • Décision de routage
  • Calcul effectué par un expert actif
  • Expert au repos : chemin non emprunté, aucun calcul
  • Signal d’entraînement auxiliaire
  • Sortie de la couche
  1. Noter chaque expert — Le routeur multiplie l’entrée par une matrice apprise WgW_g : un score par expert. À l’entraînement, un bruit dont l’ampleur est elle-même apprise s’y ajoute.
  2. Ne garder que k experts — Les kk meilleurs scores sont conservés, les autres sont mis à −∞-\infty. Après le softmax, leur poids vaut exactement 0.
  3. N’évaluer que les experts retenus — L’entrée n’est envoyée qu’aux experts 1 et 3. Les experts 2 et 4 ne calculent rien : c’est là que se fait l’économie.
  4. Combiner les sorties — La sortie est la somme des sorties des experts actifs, pondérée par les poids du routeur.
  5. Surveiller la répartition — Sur l’ensemble du lot, on mesure la charge reçue par chaque expert ; une perte auxiliaire pénalise les déséquilibres.
Seuls les experts retenus par le routeur sont évalués ; leurs sorties sont combinées avec les poids du routeur3.

Sources :3

  1. Noter

    Une multiplication matricielle donne NN scores. Son coût est négligeable devant celui d’un expert.

  2. Sélectionner

    On retient kk experts, avec k≪Nk \ll N. Certains modèles routent chaque jeton vers un seul expert5.

  3. Calculer

    Seuls les experts retenus sont exécutés, chacun sur les jetons qui lui ont été attribués.

  4. Recombiner

    Les sorties sont pondérées, additionnées, puis la couche suivante reprend comme dans un Transformer ordinaire.

Le routage en équations

Sortie de la couche
y=∑i=1NG(x)i Ei(x)y = \sum_{i=1}^{N} G(x)_i \, E_i(x)

Quand G(x)i=0G(x)_i = 0, il est inutile de calculer Ei(x)E_i(x) : la parcimonie du vecteur G(x)G(x) se traduit directement en calcul évité3.

Variables
SymboleSignificationUnité
xxEntrée de la couche (représentation d’un jeton)
EiE_iExpert ii, un réseau de neurones avec ses propres paramètres
G(x)iG(x)_iPoids que le routeur accorde à l’expert ii ; les poids somment à 1
NNNombre d’experts

Sources :3

Routage top-k bruité
G(x)=Softmax(KeepTopK(H(x),k))H(x)i=(x⋅Wg)i+εi⋅Softplus((x⋅Wnoise)i),εi∼N(0,1)KeepTopK(v,k)i={viif vi is among the top k elements of v−∞otherwise\begin{aligned} G(x) &= \mathrm{Softmax}\big(\mathrm{KeepTopK}(H(x), k)\big) \\ H(x)_i &= (x \cdot W_g)_i + \varepsilon_i \cdot \mathrm{Softplus}\big((x \cdot W_{\text{noise}})_i\big), \quad \varepsilon_i \sim \mathcal{N}(0, 1) \\ \mathrm{KeepTopK}(v, k)_i &= \begin{cases} v_i & \text{if } v_i \text{ is among the top } k \text{ elements of } v \\ -\infty & \text{otherwise} \end{cases} \end{aligned}

Le bruit, dont l’ampleur par expert est apprise, aide à répartir la charge pendant l’entraînement3.

Variables
SymboleSignificationUnité
WgW_gMatrice de poids du routeur
WnoiseW_{\text{noise}}Matrice apprise qui règle l’ampleur du bruit par expert
kkNombre d’experts activés par entrée
Softplus\mathrm{Softplus}Fonction z↦ln⁡(1+ez)z \mapsto \ln(1 + e^{z}), toujours positive

Sources :3

Router des jetons vers des experts

Données synthétiques — graine 11

Pour chaque jeton, la porte calcule un softmax sur NN experts, ne garde que les kk plus probables et renormalise leurs poids ; la sortie est la somme pondérée de ces kk experts. Simplification : les logits de la porte sont tirés au hasard (préférence fixe par expert + terme propre au jeton) au lieu d'être produits par un routeur appris.

Simulation interactive : des jetons sont distribués entre plusieurs experts selon un routage top-k. On voit quels experts sont actifs pour chaque jeton et la charge totale reçue par chacun.

Jetonst1t2t3t4t5t6t7t8Porte : softmax(z / τ), puis top-kE1p 0,06—E2p 0,02—E3p 0,07w 0,09E4p 0,07—E5p 0,72w 0,91E6p 0,03—E7p 0,02—E8p 0,02—Charge cumulée : jetons routés vers chaque expert3E10E24E32E45E52E60E70E8
Jeton courant
t8 (8 / 8)
Experts retenus
E5, E3
Masse de la porte conservée
0,788
Entropie de la porte (normalisée)
0,525
Déséquilibre final (max / moyenne)
2,5
Simulation à but pédagogique sur des scores tirés au hasard (graine fixe) : ce n’est pas le routeur d’un modèle entraîné.

Équilibrer la charge

Part des jetons reçue par chaque expert

Diagramme à barres comparant, pour huit experts, la part des jetons reçue sans perte d’équilibrage (deux experts reçoivent la majorité, plusieurs presque rien) et avec perte d’équilibrage (parts proches de 12,5 % chacune).01020304050E1E2E3E4E5E6E7E8ExpertPart des jetons (%)Sans équilibrageAvec équilibrageDONNÉES ILLUSTRATIVES
Diagramme à barres comparant, pour huit experts, la part des jetons reçue sans perte d’équilibrage (deux experts reçoivent la majorité, plusieurs presque rien) et avec perte d’équilibrage (parts proches de 12,5 % chacune).01020304050E1E3E5E7ExpertPart des jetons (%)Sans équilibrageAvec équilibrageDONNÉES ILLUSTRATIVES
Valeurs illustratives choisies à la main pour montrer la forme du phénomène ; ce ne sont pas des mesures.
Voir les données
Diagramme à barres comparant, pour huit experts, la part des jetons reçue sans perte d’équilibrage (deux experts reçoivent la majorité, plusieurs presque rien) et avec perte d’équilibrage (parts proches de 12,5 % chacune). — Données illustratives
SérieExpertPart des jetons (%)
Sans équilibrageE141
Sans équilibrageE23
Sans équilibrageE327
Sans équilibrageE42
Sans équilibrageE512
Sans équilibrageE61
Sans équilibrageE79
Sans équilibrageE85
Avec équilibrageE114
Avec équilibrageE212
Avec équilibrageE313
Avec équilibrageE411
Avec équilibrageE513
Avec équilibrageE612
Avec équilibrageE712
Avec équilibrageE813
Perte d’importance (Shazeer et coll.)
Importance(X)=∑x∈XG(x)Limportance(X)=wimportance⋅CV(Importance(X))2\begin{aligned} \mathrm{Importance}(X) &= \sum_{x \in X} G(x) \\ L_{\text{importance}}(X) &= w_{\text{importance}} \cdot \mathrm{CV}\big(\mathrm{Importance}(X)\big)^{2} \end{aligned}

La perte est nulle quand tous les experts reçoivent la même importance totale sur le lot, et croît avec la dispersion3.

Variables
SymboleSignificationUnité
XXLot d’exemples d’entraînement
CV\mathrm{CV}Coefficient de variation : écart-type divisé par la moyenne
wimportancew_{\text{importance}}Poids de la perte auxiliaire, réglé à la main

Sources :3

Perte auxiliaire (Switch Transformer)
Laux=α⋅N⋅∑i=1Nfi⋅PiL_{\text{aux}} = \alpha \cdot N \cdot \sum_{i=1}^{N} f_i \cdot P_i

Sous une répartition uniforme, fi=Pi=1/Nf_i = P_i = 1/N et la somme atteint son minimum 1/N1/N. Comme fif_i n’est pas dérivable, le gradient passe par PiP_i5.

Variables
SymboleSignificationUnité
fif_iFraction des jetons du lot envoyés à l’expert ii
PiP_iProbabilité moyenne que le routeur attribue à l’expert ii sur le lot
α\alphaCoefficient de la perte auxiliaire

Sources :5

Pourquoi cela passe à l’échelle

Paramètres et calcul se découplent
PMoE≈N⋅PE⏟parametersCtoken≈k⋅CE+Crouter⏟compute per token\underbrace{P_{\text{MoE}} \approx N \cdot P_E}_{\text{parameters}} \qquad \underbrace{C_{\text{token}} \approx k \cdot C_E + C_{\text{router}}}_{\text{compute per token}}

Résultat dérivé dans cette fiche

Relation dérivée de la définition de la couche : ajouter des experts augmente NN, donc la capacité, sans toucher à kk, donc au calcul par jeton. Elle néglige le coût de communication entre machines.

Variables
SymboleSignificationUnité
PEP_ENombre de paramètres d’un expert
CEC_ECoût de calcul d’un expert pour un jeton
CrouterC_{\text{router}}Coût du routeur, petit devant CEC_E
Trois façons d’utiliser NN sous-réseaux.
CritèreCouche denseMélange doux1991MoE top-kparcimonieux
Experts évalués par entréeun seul réseau, toujourstous les NNseulement kk
Calcul par jetonCEC_EN⋅CEN \cdot C_Ek⋅CEk \cdot C_E
ParamètresPEP_EN⋅PEN \cdot P_EN⋅PEN \cdot P_E
Difficulté propreaucunecoût qui croît avec NNéquilibrage, sélection non dérivable

Trois façons d’utiliser NN sous-réseaux.

Couche dense

Experts évalués par entrée
un seul réseau, toujours
Calcul par jeton
CEC_E
Paramètres
PEP_E
Difficulté propre
aucune

Mélange doux1991

Experts évalués par entrée
tous les NN
Calcul par jeton
N⋅CEN \cdot C_E
Paramètres
N⋅PEN \cdot P_E
Difficulté propre
coût qui croît avec NN

MoE top-kparcimonieux

Experts évalués par entrée
seulement kk
Calcul par jeton
k⋅CEk \cdot C_E
Paramètres
N⋅PEN \cdot P_E
Difficulté propre
équilibrage, sélection non dérivable

VerdictLe MoE top-k garde la capacité du mélange doux pour un coût de calcul proche de celui d’une couche dense. C’est ce découplage qui a permis d’entraîner des modèles de plusieurs centaines de milliards de paramètres4.

Vérifier sa compréhension

QuestionUne couche MoE passe de 8 à 64 experts, en gardant k=2k = 2. Que se passe-t-il, à peu de chose près ?

  1. ALes paramètres de la couche sont multipliés par 8 ; le calcul par jeton change à peine.
  2. BLes paramètres et le calcul par jeton sont tous deux multipliés par 8.
  3. CRien ne change, puisque seuls 2 experts sont utilisés.
Voir la réponse
  • A — Bonne réponse. Exact : les paramètres suivent NN, le calcul suit kk. Seul le routeur, très léger, calcule 64 scores au lieu de 8.
  • B — Mauvaise réponse. Ce serait le cas d’un mélange doux, où tous les experts sont évalués.
  • C — Mauvaise réponse. Deux experts par jeton, mais pas toujours les mêmes : les 64 existent et doivent être stockés et entraînés.
Les experts sont-ils spécialisés par sujet (médecine, droit, code) ?

Pas par construction. Personne n’attribue de rôle aux experts : la répartition émerge de l’entraînement, et le routage se décide jeton par jeton à partir de la représentation interne. Le mot « expert » désigne un sous-réseau, pas une compétence lisible par un humain.

Quelle est la différence avec un ensemble de modèles ?

Un ensemble évalue tous les modèles et moyenne leurs réponses. Un MoE est un seul modèle, entraîné de bout en bout, dans lequel le routeur choisit quelques sous-réseaux à l’intérieur d’une couche ; le reste du réseau est partagé.

Comment le routeur apprend-il si la sélection top-k n’est pas dérivable ?

Le gradient passe par les poids des experts retenus : ces poids sont une fonction dérivable des scores. Les experts écartés ne reçoivent aucun gradient pour cet exemple, d’où l’utilité du bruit et de la perte d’équilibrage pour que chacun soit essayé3.

D’où vient l’idée ?

Jacobs, Jordan, Nowlan et Hinton proposent en 1991 un système d’experts mis en concurrence par un réseau de routage, qui apprend à découper une tâche en sous-tâches1. Jordan et Jacobs l’étendent en 1994 à une hiérarchie d’experts2. La version parcimonieuse à grande échelle date de 20173.

Références

  1. Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan, Geoffrey E. Hinton (1991). Adaptive Mixtures of Local Experts. Neural Computation, 3(1), 79–87. doi:10.1162/neco.1991.3.1.79
  2. Michael I. Jordan, Robert A. Jacobs (1994). Hierarchical Mixtures of Experts and the EM Algorithm. Neural Computation, 6(2), 181–214. doi:10.1162/neco.1994.6.2.181
  3. Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, Jeff Dean (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. arXiv:1701.06538. arxiv.org/abs/1701.06538
  4. Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, Zhifeng Chen (2020). GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. arXiv:2006.16668. arxiv.org/abs/2006.16668
  5. William Fedus, Barret Zoph, Noam Shazeer (2021). Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. arXiv:2101.03961. arxiv.org/abs/2101.03961

Aussi disponible en anglais

Partager cette fiche

Mots-clés

En vedetteIARecherche d’information

Le pipeline RAG, de l’indexation à la réponse

La génération augmentée par récupération donne à un modèle de langage des passages pertinents au moment de répondre. Sa qualité se joue d’abord à la récupération : ce qui n’est pas retrouvé ne peut pas être cité.

Intermédiaire · 11 min de lecture ·

En vedetteIAInformation RetrievalEN

The RAG pipeline, from indexing to answer

Retrieval-augmented generation hands a language model relevant passages at answer time. Its quality is decided first at retrieval: what is not found cannot be cited.

Intermédiaire · 10 min de lecture ·

En vedetteÉconométrieFinance

Le modèle GARCH(1,1) et la dynamique de la volatilité

Comment une récurrence à trois paramètres reproduit les grappes de volatilité des rendements financiers, à quelles conditions elle est stationnaire et comment on l’estime par quasi-maximum de vraisemblance.

Intermédiaire · 10 min de lecture ·