Aller au contenu

Fiches scientifiques et techniques

Une idée, une fiche. Rigoureuse, visuelle, interactive.

Des explications vectorielles de l’IA, de l’économétrie, de la finance et de l’infrastructure : diagrammes lisibles, équations définies, simulations à manipuler, sources citées.

En vedetteIAApprentissage profondEN

Mixture of Experts and top-k routing

A mixture of experts hands each input to a few sub-networks chosen by a router. The parameter count grows with the number of experts, but the computation per token depends only on kk.

Avancé · 11 min de lecture ·

En vedetteIAApprentissage profond

Mélange d’experts et routage top-k

Un mélange d’experts confie chaque entrée à quelques sous-réseaux choisis par un routeur. Le nombre de paramètres augmente avec le nombre d’experts, mais le calcul par jeton ne dépend que de kk.

Avancé · 11 min de lecture ·

En vedetteÉconométrieFinanceEN

The GARCH(1,1) model and volatility dynamics

How a three-parameter recursion reproduces the volatility clustering of financial returns, when it is stationary, and how it is estimated by quasi-maximum likelihood.

Intermédiaire · 9 min de lecture ·

Fiches récentes

LLM agentsContext engineeringEN

Keeping the global agent lean: memory compression and sub-agents

LLM agents re-read an ever-growing context of thoughts, tool calls and tool results. This sheet maps two ways to keep the global agent's window bounded: compressing what is already inside (compaction, tool-result clearing, external memory, prompt compression) and isolating exploration in sub-agents that return condensed reports. It includes a token model and trade-offs.

Avancé · 12 min de lecture ·

Machine learningNatural language processingEN

The Mathematics of Embeddings

How discrete symbols become vectors: the embedding lookup as a matrix product, the similarity measures used to compare vectors, how skip-gram training relates to a factorised co-occurrence matrix, and what high-dimensional geometry implies for reading similarity scores.

Intermédiaire · 10 min de lecture ·

Machine learningLarge language modelsEN

How Large Language Models Are Trained

From raw text to assistant: the published recipe behind large language models. Data preparation, next-token pretraining, scaling laws, supervised fine-tuning and preference tuning (RLHF, DPO), each with its objective written out.

Intermédiaire · 9 min de lecture ·

En vedetteIAInformation RetrievalEN

The RAG pipeline, from indexing to answer

Retrieval-augmented generation hands a language model relevant passages at answer time. Its quality is decided first at retrieval: what is not found cannot be cited.

Intermédiaire · 10 min de lecture ·

En vedetteIARecherche d’information

Le pipeline RAG, de l’indexation à la réponse

La génération augmentée par récupération donne à un modèle de langage des passages pertinents au moment de répondre. Sa qualité se joue d’abord à la récupération : ce qui n’est pas retrouvé ne peut pas être cité.

Intermédiaire · 11 min de lecture ·

En vedetteÉconométrieFinanceEN

The GARCH(1,1) model and volatility dynamics

How a three-parameter recursion reproduces the volatility clustering of financial returns, when it is stationary, and how it is estimated by quasi-maximum likelihood.

Intermédiaire · 9 min de lecture ·

En vedetteÉconométrieFinance

Le modèle GARCH(1,1) et la dynamique de la volatilité

Comment une récurrence à trois paramètres reproduit les grappes de volatilité des rendements financiers, à quelles conditions elle est stationnaire et comment on l’estime par quasi-maximum de vraisemblance.

Intermédiaire · 10 min de lecture ·

En vedetteIAApprentissage profondEN

Mixture of Experts and top-k routing

A mixture of experts hands each input to a few sub-networks chosen by a router. The parameter count grows with the number of experts, but the computation per token depends only on kk.

Avancé · 11 min de lecture ·

En vedetteIAApprentissage profond

Mélange d’experts et routage top-k

Un mélange d’experts confie chaque entrée à quelques sous-réseaux choisis par un routeur. Le nombre de paramètres augmente avec le nombre d’experts, mais le calcul par jeton ne dépend que de kk.

Avancé · 11 min de lecture ·

Explorer par thème

Le projet

Sheet publie des fiches gratuites, sans compte, conçues pour être comprises en quelques minutes et vérifiées : chaque fiche indique ses sources et la nature de ses données.

Sheet — by Simon-Pierre Boucher

À propos de l’auteur