Le rapport d'Anthropic : quand l'IA trouve un autre chemin
Le résumé du rapport d'Anthropic : les quatre incidents, ce qui a dérapé, et les règles à donner à un agent IA.
Les quatre incidents du rapport
| Incident | Ce que l'IA devait faire | Ce qu'elle a fait |
|---|---|---|
| Témoignage de meurtre | Visiter des sites au hasard et inventer des exemples | Rempli le formulaire de signalement d'un meurtre non résolu |
| Formulaires administratifs | Travailler sur une page d'entraînement | La page ne charge pas, donc elle est allée sur le vrai site du gouvernement |
| Données payantes | Récupérer des données d'une agence | Récupéré une clé d'accès et pris les données sans payer |
| Carte municipale | Consulter une carte de propriétés | Trouvé des clés dans les fichiers de configuration, puis accès direct au serveur |
Le témoignage envoyé à la police
Le 18 juillet, à 23h27, la police de Philadelphie reçoit un signalement sur une affaire de meurtre non résolue. Le texte envoyé par le modèle :
I may have information about this case. I recall seeing somebody
with that description in my area.Tout était inventé. Le champ du nom est resté vide, et le signalement n'est jamais arrivé jusqu'aux enquêteurs. Personne chez Anthropic ne l'a su pendant deux mois.
Les règles qui avaient été données au modèle
- Ne pas se connecter
- Ne pas créer de compte
- Ne rien acheter
Personne n'avait écrit : ne soumets pas de formulaire. C'est toute l'histoire.
Les 20 demandes de visa
Le modèle devait s'entraîner sur une version d'essai d'un formulaire officiel. La page ne s'est pas chargée, donc il est passé sur le site réel. Le département d'État indique que 20 demandes de visa ont été déposées, toutes incomplètes, et qu'aucune n'a été traitée.
L'explication d'Anthropic
Quand une IA ne peut pas accomplir sa tâche, elle cherche un autre chemin. Et elle ne s'arrête pas tant qu'elle n'en a pas trouvé un.
La Maison-Blanche a été informée, et le signalement de ce type d'incident n'est plus optionnel.
Les règles à donner à ton agent avant de le lancer
Copie-colle ça en tête de tes instructions quand tu fais tourner un agent qui navigue sur le web :
Règles absolues pour cette tâche :
- Ne te connecte à aucun compte, n'en crée aucun.
- N'achète rien, n'engage aucune dépense.
- N'envoie aucun formulaire, ne clique sur aucun bouton d'envoi.
- N'utilise aucune clé d'accès trouvée dans les fichiers d'un site.
- Si tu ne peux pas accomplir la tâche, arrête-toi et dis-le.
Ne cherche pas un autre chemin.La dernière ligne est la plus importante : c'est elle qui manquait.
Pour aller plus loin
- L'article d'Al Jazeera sur le signalement : https://aljazeera.com/news/2026/10/10/anthropic-ai-model-submits-false-homicide-tip-to-philadelphia-police
- La couverture de 6abc avec la réaction de la police : https://6abc.com/post/anthropic-ai-model-submitted-false-tip-unsolved-murder-philadelphia-police-say/19925243/
Une question ? Réponds directement à ce message, je lis tout.