Le cours de Stanford qui explique Claude et ChatGPT en 1 h 44

Le lien du cours gratuit de Stanford sur les LLM, avec les passages à regarder en priorité et le vocabulaire expliqué simplement.

Le cours

Stanford CS229 : Building Large Language Models (LLMs) Cours donné par Yann Dubois le 13 août 2024, dans le cours CS229 Machine Learning de Stanford. Durée : 1 heure 44.

Lien : https://www.youtube.com/watch?v=9vM4p9NN0Ts

Les slides reprennent en partie les cours CS336, CS224N et CS324 de Stanford.

Ce que ça t'explique

Ce qu'est un LLM, et pourquoi tous les chatbots dont on parle en ce moment en sont un
Comment un modèle devine le mot suivant
Les deux grandes étapes : le pré-entraînement, puis le post-entraînement
La tokenisation, et pourquoi elle explique une partie des erreurs de ton IA
Comment on évalue un modèle, et à quoi servent la perplexité, le MMLU et la Chatbot Arena

Le plan, dans l'ordre

Partie	Ce qui est couvert
1. Introduction	Les LLM et les chatbots ont pris le monde, comment ça marche
2. Pré-entraînement	Le modèle de langue, la prédiction du mot suivant, la tokenisation
3. Les données	Pourquoi la qualité des données compte plus que tout
4. L'évaluation	Perplexité, MMLU, Chatbot Arena
5. Post-entraînement	SFT, RLHF, comment le modèle apprend à bien répondre

Le vocabulaire, en clair

LLM : large language model, grand modèle de langue. C'est le moteur derrière Claude et ChatGPT.
Pré-entraînement : la phase où le modèle lit une quantité énorme de texte et apprend à prédire le mot suivant.
Post-entraînement : la phase où des humains notent les réponses pour que le modèle réponde de façon utile.
SFT : l'entraînement sur des exemples de bonnes réponses écrites par des humains.
RLHF : l'apprentissage par renforcement à partir des préférences humaines.
Tokenisation : le découpage du texte en morceaux que le modèle manipule. C'est pour ça qu'il trébuche sur certains calculs et certaines lettres.
Perplexité : une mesure de la capacité du modèle à prédire le texte suivant.
MMLU : un test de connaissances à choix multiples, sur des dizaines de matières.
Chatbot Arena : la plateforme où tu compares deux réponses à l'aveugle et tu votes pour la meilleure, sans savoir quel modèle a répondu.

Comment le regarder

Commence par l'introduction, elle pose tout le décor.
Regarde la partie pré-entraînement en entier : c'est le cœur du cours.
Si tu veux comprendre pourquoi Claude répond comme il répond, va direct sur la partie post-entraînement.
Garde la partie évaluation pour la fin : c'est elle qui te donne les outils pour comparer les modèles toi-même.

Une question sur un passage du cours ? Réponds-moi directement ici en DM.