Aller au contenu

Recherche

5 résultat(s) · #llmEffacer les filtres

5 résultat(s)

Machine learningLarge language modelsEN

How Large Language Models Are Trained

From raw text to assistant: the published recipe behind large language models. Data preparation, next-token pretraining, scaling laws, supervised fine-tuning and preference tuning (RLHF, DPO), each with its objective written out.

Intermédiaire · 9 min de lecture ·

En vedetteIAInformation RetrievalEN

The RAG pipeline, from indexing to answer

Retrieval-augmented generation hands a language model relevant passages at answer time. Its quality is decided first at retrieval: what is not found cannot be cited.

Intermédiaire · 10 min de lecture ·

En vedetteIARecherche d’information

Le pipeline RAG, de l’indexation à la réponse

La génération augmentée par récupération donne à un modèle de langage des passages pertinents au moment de répondre. Sa qualité se joue d’abord à la récupération : ce qui n’est pas retrouvé ne peut pas être cité.

Intermédiaire · 11 min de lecture ·

En vedetteIAApprentissage profondEN

Mixture of Experts and top-k routing

A mixture of experts hands each input to a few sub-networks chosen by a router. The parameter count grows with the number of experts, but the computation per token depends only on kk.

Avancé · 11 min de lecture ·

En vedetteIAApprentissage profond

Mélange d’experts et routage top-k

Un mélange d’experts confie chaque entrée à quelques sous-réseaux choisis par un routeur. Le nombre de paramètres augmente avec le nombre d’experts, mais le calcul par jeton ne dépend que de kk.

Avancé · 11 min de lecture ·