Le cours de Stanford qui explique ChatGPT et Claude (gratuit, moins de 2 h)
Le guide du cours gratuit de Stanford sur les LLM : le lien de la vidéo, le plan en 5 parties et l'ordre dans lequel la regarder.
Le cours
Introduction to Building LLMs CS229: Machine Learning, Stanford Intervenant : Yann Dubois Date : 13 août 2024 Slides basées en partie sur CS336, CS224N, CS324
Lien de la vidéo : https://www.youtube.com/watch?v=9vM4p9NN0Ts
Durée : moins de 2 heures. Gratuit, sans inscription.
Pourquoi celui-là
C'est la meilleure explication que j'ai trouvée de la façon dont ChatGPT et Claude fonctionnent réellement. Le cours démarre du tout début : LLM veut dire large language model, et ça désigne simplement tous les chatbots dont on parle partout depuis deux ans. Pas besoin de savoir coder pour suivre.
La première diapo pose la question à laquelle tout le reste répond :
- Les LLM et les chatbots ont pris le contrôle du monde
- Comment est-ce qu'ils marchent ?
Le plan en 5 parties
| Partie | Ce que tu comprends |
|---|---|
| 1. Architecture | la forme du modèle, ce qui se passe entre ta question et la réponse |
| 2. Fonction de perte et algorithme d'entraînement | comment le modèle apprend, et ce que « apprendre » veut dire ici |
| 3. Données | pourquoi la qualité du texte d'entraînement décide de tout |
| 4. Évaluation | comment on mesure si un modèle est bon, et pourquoi les classements se contredisent |
| 5. Systèmes | pourquoi ça coûte si cher à faire tourner |
Le cours couvre d'abord le pré-entraînement, puis le post-entraînement : l'instruction tuning et le RLHF, c'est-à-dire l'étape qui transforme un modèle brut en assistant qui répond poliment à tes questions.
Comment la regarder
- Les 15 premières minutes d'un coup : c'est le rappel sur ce qu'est un LLM, tu peux le suivre sans rien connaître.
- Puis une partie par soir, 20 à 25 minutes. Cinq soirs, et c'est fini.
- Mets les sous-titres automatiques de YouTube en français si l'anglais te freine, le vocabulaire technique reste en anglais de toute façon (tokens, embeddings, fine-tuning).
- Après chaque partie, ouvre ChatGPT ou Claude et demande-lui de te réexpliquer la partie que tu viens de voir avec un exemple. C'est le meilleur moyen de vérifier que t'as compris.
Ce que ça change concrètement
Une fois le cours vu, tu sais pourquoi ton chatbot invente parfois des informations, pourquoi il oublie ce que tu lui as dit plus haut, et pourquoi la façon dont tu formules ta demande change autant la réponse. Tu arrêtes de deviner.
Une question ? Réponds directement à ce message, je lis tout.