En vedetteIAApprentissage profond
Mélange d’experts et routage top-k
Un mélange d’experts confie chaque entrée à quelques sous-réseaux choisis par un routeur. Le nombre de paramètres augmente avec le nombre d’experts, mais le calcul par jeton ne dépend que de .
Avancé · 11 min de lecture ·