On sait enfin lire dans la tête d'une IA : le guide
Le guide qui explique, simplement, comment Goodfire a ouvert la boîte noire de l'IA : le neurone chat-voiture, la pose, et les 90 pour cent de neurones lisibles.
La boîte noire, c'est fini
Depuis les débuts de l'apprentissage profond, on dit la même chose : l'IA marche, mais on sait pas comment. On l'appelle une boîte noire. C'était vrai bien avant ChatGPT.
Ce qui change : on lisait l'IA avec nos hypothèses humaines, pas avec la façon dont une machine pense. Et on commence à apprendre comment une machine pense. Une sorte de pierre de Rosette.
Qui a fait ça
Goodfire, une organisation américaine dédiée à la sécurité et à l'alignement des IA.
- Leur travail : https://goodfire.ai/blog
- Les travaux historiques sur les neurones visuels d'InceptionV1 : https://distill.pub/2020/circuits/zoom-in/
Le neurone du chat et de la voiture
Ils passent un modèle de vision au peigne fin et regardent les neurones un par un. Un neurone, c'est une unité de calcul à l'intérieur du réseau. Le mot vient de la biologie, mais ça n'a rien d'un neurone biologique.
Premier résultat : déroutant. Un neurone qui s'allume pour une voiture et pour un chat.
| Ce qu'on en concluait | Ce que c'était vraiment |
|---|---|
| Le réseau mélange n'importe quoi | Le réseau est logique |
| Personne ne range chat et voiture ensemble | Les deux partagent un concept |
| On ne peut pas savoir pourquoi | Le concept, c'est la pose |
Le point commun entre le chat et la voiture dans ce neurone, c'est une pose précise, un angle précis. Le modèle ne stockait pas « un chat » ni « une voiture » : il stockait cet angle. Il travaillait à un autre niveau conceptuel que le nôtre.
Le résultat qui change tout
Ils ne se sont pas arrêtés à l'image. Ils ont testé la même lecture sur un modèle de langage, et ça marche aussi.
- Plus de 90 pour cent des neurones lisibles
- Sur un modèle de vision et sur un modèle de langage
- Résultat obtenu sans changer la taille du modèle ni ses données
Pourquoi c'est une bonne nouvelle pour toi
Si on sait lire les neurones qui s'activent à l'intérieur d'un modèle, on comprend comment il prend ses décisions. Et comprendre les décisions, c'est la base de la sécurité.
Il reste à construire les outils pour passer à l'échelle : ça ne va pas arriver demain dans tous les systèmes qu'on utilise. Mais le simple fait qu'on puisse commencer à lire une IA, c'est énorme.
Pour aller plus loin
- Les features visuelles interprétables, papier accessible : https://arxiv.org/abs/2310.11431
- Le blog de Goodfire pour la suite des publications : https://goodfire.ai/blog
Une question ? Réponds directement à ce message, je lis tout.