Mixture of Experts and top-k routing
A mixture of experts hands each input to a few sub-networks chosen by a router. The parameter count grows with the number of experts, but the computation per token depends only on .
Avancé · 11 min de lecture ·
Fiches scientifiques et techniques
Des explications vectorielles de l’IA, de l’économétrie, de la finance et de l’infrastructure : diagrammes lisibles, équations définies, simulations à manipuler, sources citées.
A mixture of experts hands each input to a few sub-networks chosen by a router. The parameter count grows with the number of experts, but the computation per token depends only on .
Avancé · 11 min de lecture ·
Un mélange d’experts confie chaque entrée à quelques sous-réseaux choisis par un routeur. Le nombre de paramètres augmente avec le nombre d’experts, mais le calcul par jeton ne dépend que de .
Avancé · 11 min de lecture ·
How a three-parameter recursion reproduces the volatility clustering of financial returns, when it is stationary, and how it is estimated by quasi-maximum likelihood.
Intermédiaire · 9 min de lecture ·
LLM agents re-read an ever-growing context of thoughts, tool calls and tool results. This sheet maps two ways to keep the global agent's window bounded: compressing what is already inside (compaction, tool-result clearing, external memory, prompt compression) and isolating exploration in sub-agents that return condensed reports. It includes a token model and trade-offs.
Avancé · 12 min de lecture ·
How discrete symbols become vectors: the embedding lookup as a matrix product, the similarity measures used to compare vectors, how skip-gram training relates to a factorised co-occurrence matrix, and what high-dimensional geometry implies for reading similarity scores.
Intermédiaire · 10 min de lecture ·
From raw text to assistant: the published recipe behind large language models. Data preparation, next-token pretraining, scaling laws, supervised fine-tuning and preference tuning (RLHF, DPO), each with its objective written out.
Intermédiaire · 9 min de lecture ·
Retrieval-augmented generation hands a language model relevant passages at answer time. Its quality is decided first at retrieval: what is not found cannot be cited.
Intermédiaire · 10 min de lecture ·
La génération augmentée par récupération donne à un modèle de langage des passages pertinents au moment de répondre. Sa qualité se joue d’abord à la récupération : ce qui n’est pas retrouvé ne peut pas être cité.
Intermédiaire · 11 min de lecture ·
How a three-parameter recursion reproduces the volatility clustering of financial returns, when it is stationary, and how it is estimated by quasi-maximum likelihood.
Intermédiaire · 9 min de lecture ·
Comment une récurrence à trois paramètres reproduit les grappes de volatilité des rendements financiers, à quelles conditions elle est stationnaire et comment on l’estime par quasi-maximum de vraisemblance.
Intermédiaire · 10 min de lecture ·
A mixture of experts hands each input to a few sub-networks chosen by a router. The parameter count grows with the number of experts, but the computation per token depends only on .
Avancé · 11 min de lecture ·
Un mélange d’experts confie chaque entrée à quelques sous-réseaux choisis par un routeur. Le nombre de paramètres augmente avec le nombre d’experts, mais le calcul par jeton ne dépend que de .
Avancé · 11 min de lecture ·
Sheet publie des fiches gratuites, sans compte, conçues pour être comprises en quelques minutes et vérifiées : chaque fiche indique ses sources et la nature de ses données.
Sheet — by Simon-Pierre Boucher