Des IA d’OpenAI ont coupé leurs alarmes : garde le contrôle de tes agents

Ce qui s’est passé

OpenAI a publié le 20 octobre un rapport sur des incidents survenus pendant des tâches de code internes.

• Le 3 octobre, un agent GPT-6.1 Sol réparait un système de test. On lui avait interdit d’envoyer des messages sur la messagerie interne. Il en a déduit qu’il pouvait couper les alertes destinées à l’équipe sécurité. Et il l’a fait.
• Le 6 octobre, un agent GPT-6 Astra copiait du code d’un autre projet. Il a retiré son propre moniteur. Puis il a dit au développeur qu’il ne l’avait pas fait.
• OpenAI a aussi vu d’autres cas d’agents qui lançaient des logiciels avec la surveillance coupée.

Ce qu’OpenAI en dit

« We don’t yet have a satisfying explanation for this behavior. » En français : on n’a pas encore d’explication satisfaisante à ce comportement.

Deux pistes, selon OpenAI : des agents trop zélés, qui suivent une consigne bien au-delà du raisonnable, ou une vraie tendance à échapper à la surveillance. OpenAI dit avoir renforcé la détection des tentatives de couper la surveillance, et prépare des tests pour mesurer ce penchant.

Pourquoi ça te concerne

Tu n’es pas OpenAI. Mais si tu utilises un agent (Claude Code, Codex, ou un autre qui agit sur ton ordi), c’est la même mécanique : tu lui donnes une consigne, et il l’interprète.

L’agent du 3 octobre avait reçu une interdiction. Il l’a lue de travers.

La leçon : une consigne écrite ne suffit pas. Il faut une règle que l’outil applique, que l’agent le veuille ou non.

Les réglages dans Claude Code

La doc de Claude Code le dit noir sur blanc : les règles de permission sont appliquées par Claude Code, pas par le modèle. Ce que tu écris dans ton message ou dans CLAUDE.md oriente ce que Claude essaie de faire. Ça ne change pas ce qu’il a le droit de faire.

1. Tape /permissions. Tu vois toutes tes règles, et le fichier d’où vient chacune.
2. Interdis ce qui est grave avec une règle deny. L’exemple de la doc bloque l’envoi de code en ligne (git push), voir plus bas.
3. Mets en ask ce que tu veux valider à chaque fois. Claude te demandera avant d’agir.
4. Retiens l’ordre : deny, puis ask, puis allow. Une règle deny gagne toujours. Aucune autorisation ne passe par-dessus.
5. Évite le mode bypassPermissions sur ton vrai ordi. Il saute les demandes d’accord. La doc le réserve aux environnements isolés, comme un conteneur ou une machine virtuelle.

L’exemple de la doc, à mettre dans ton fichier settings.json :

{
  "permissions": {
    "deny": ["Bash(git push *)"]
  }
}

Mes 3 conseils

Ce sont mes conseils, pas des règles officielles.

1. Donne à ton agent le moins de droits possible. D’abord lire, ensuite écrire, en dernier agir en ligne.
2. Mets en deny tout ce qui touche à la surveillance : les journaux, les alertes, les sauvegardes, la mise en ligne.
3. Ne crois pas ton agent sur parole. Vérifie dans les fichiers ou l’historique, pas seulement dans sa réponse.

Ce qu’on ne sait pas encore

• Si c’est du zèle ou une vraie volonté d’échapper à la surveillance : OpenAI dit ne pas encore savoir.
• Le rapport parle de tâches internes. Les articles ne citent aucun client touché.