À l'ONU, OpenAI et Anthropic promettent de ralentir l'IA ; Washington dit non
Au Conseil de sécurité, les patrons d'OpenAI et d'Anthropic ont promis de freiner. Washington a rejeté toute gouvernance mondiale de l'IA.
Le 23 septembre, à New York, le Conseil de sécurité de l'ONU a consacré une séance aux risques de l'intelligence artificielle. Cet organe répond de la paix et de la sécurité internationales. Il compte quinze États. Cinq y siègent en permanence : la Chine, les États-Unis, la France, le Royaume-Uni et la Russie. Chacun peut bloquer une décision de fond. La France, qui préside le Conseil en septembre selon un tour de rôle mensuel, avait invité un chercheur et trois patrons de l'IA. Parmi eux, Sam Altman, patron d'OpenAI, l'entreprise de ChatGPT, et Dario Amodei, patron d'Anthropic, qui développe l'assistant Claude.
La veille, leurs deux entreprises avaient chacune sorti un nouveau modèle, c'est-à-dire une nouvelle version de leur IA, dix jours après que leurs patrons avaient appelé à ralentir. J'y voyais un premier test du « dilemme du tricheur » : chacun a intérêt à continuer quand les autres ralentissent. À l'ONU, ils ont promis de freiner. C'est le gouvernement américain qui a refusé toute pause et toute gouvernance mondiale.
« Une course où tout le monde perd »
Le premier à parler était Yoshua Bengio, lauréat du prix Turing 2018, une distinction souvent qualifiée de « prix Nobel de l'informatique ». Il a coécrit le manuel L'apprentissage profond. Il copréside le groupe scientifique indépendant de l'ONU sur l'IA.
Il a récusé l'argument des entreprises selon lequel elles seraient prisonnières d'une course : « The race is not a law of nature. It is the product of choices, choices made by the companies themselves. It is also a race where everyone loses. They've told us they would slow down if they could. They can. » La course découle de leurs propres choix, et tout le monde y perd. Elles disent qu'elles ralentiraient si elles le pouvaient. Elles le peuvent.
Il emprunte ses remèdes aux industries à risque, comme l'aviation ou le nucléaire : une licence pour les modèles les plus puissants, une assurance obligatoire, et la preuve devant des experts indépendants qu'un système est sûr avant d'être entraîné puis déployé.
Deux patrons qui disent pouvoir freiner
Sam Altman s'est dit « largement d'accord » avec Bengio, jusque sur la course : « We have unilaterally slowed down in the past. We will do so in the future. » OpenAI aurait déjà ralenti seule, et le referait. Il n'a donné aucun exemple.
Dario Amodei a prévenu que l'IA, « if managed poorly », si elle est mal gérée, pourrait menacer l'humanité entière. Il promet de freiner autant que nécessaire. Il a soumis trois pistes au Conseil : interdire l'usage de l'IA pour fabriquer des armes biologiques ; bâtir des systèmes de vérification, pour que chaque État contrôle les engagements des autres ; fixer des normes mondiales de test des modèles, avec notification des incidents graves.
Washington refuse toute gouvernance mondiale
Michael Kratsios, qui dirige le bureau de la politique scientifique et technologique de la Maison-Blanche, parlait pour les États-Unis : « The frontier of intelligence is advancing rapidly. That is not a reason to pause its further development or to constrain it with new global governance structures. » Selon lui, la vitesse des progrès ne justifie ni pause ni nouvelle gouvernance mondiale.
Kratsios nomme désormais l'IA « superintelligence ». Il a rapporté que Donald Trump avait rejeté « totalement », la veille devant l'Assemblée générale, toute tentative « mondialiste » de contrôler cette superintelligence. Puis il a proposé aux alliés de Washington de bâtir, avec des entreprises américaines, leur propre « sovereign superintelligence capability », une capacité de superintelligence souveraine. Sa conclusion : « A prosperous future will not be secured by a global regulator. » Un avenir prospère ne passera pas par un régulateur mondial.
La séance s'est achevée sans vote. Parmi les cinq membres permanents, seuls les États-Unis ont rejeté toute gouvernance mondiale de l'IA, et aucune décision de fond ne peut passer au Conseil si l'un d'eux vote contre.
Le dilemme change d'échelle
Le 14 septembre, je lisais l'essai de Dario Amodei sur la pause mondiale comme un dilemme entre puissances. Le 24, je l'appliquais aux entreprises : celle qui ralentit seule cède sa place.
À New York, Altman a soutenu l'inverse. Tous deux ont aussi réclamé des règles communes, vérifiables d'un État à l'autre, alors que l'État dont relèvent leurs entreprises refuse toute règle mondiale et encourage ses alliés à viser leur propre superintelligence. Bengio visait les entreprises, mais sa phrase vaut désormais pour les gouvernements : la course est un choix, et Washington l'a revendiqué devant le Conseil.
Le dilemme passe aux États. Les patrons d'OpenAI et d'Anthropic disent pouvoir freiner, et réclament des règles communes que chaque État pourrait vérifier chez les autres. L'État dont ils relèvent les refuse. La course se joue désormais entre gouvernements.
Un point commun : déclarer les incidents
Une exigence revient pourtant chez les quatre invités, comme dans l'intervention de la France : que les incidents soient signalés. Bengio veut que les développeurs déclarent tous leurs incidents de sécurité. Altman et Amodei réclament, l'un des protocoles de signalement rapides, l'autre un système de notification des incidents qui menacent la sécurité mondiale.
Clément Delangue va plus loin. Il a cofondé et dirige Hugging Face, la plateforme sur laquelle les développeurs publient des modèles d'IA en libre accès, et dont des agents d'OpenAI ont attaqué l'infrastructure cet été. Un agent : une IA qui agit seule. Il demande le partage obligatoire des « full agent traces », le journal complet de ce qu'a fait chaque agent.
Une TPE est déjà en partie tenue de signaler ses incidents. Si l'un de vos outils d'IA expose des données personnelles de vos clients, le RGPD, le règlement européen sur la protection des données, vous impose de documenter la violation en interne. Si elle présente un risque pour les personnes, vous devez aussi la notifier à la CNIL, l'autorité française chargée de ces données, si possible sous 72 heures. Je conseillais déjà de journaliser chaque agent. Ajoutez-y un registre des incidents, où noter la date, l'outil et sa version, ce que l'agent a fait, les données touchées et la correction apportée. Et demandez à vos fournisseurs comment ils vous préviennent d'un incident qui vous concerne.
La séance n'a rien décidé. Il en reste une promesse, faite devant quinze États : OpenAI et Anthropic ralentiront si nécessaire. Elle se vérifiera à leurs prochaines sorties de modèles.
Sources : transcription de la séance 10228 du Conseil de sécurité, publiée par l'ONU (automatique, sans valeur de compte rendu officiel), et vidéo sur UN Web TV ; Charte des Nations unies, articles 23, 24 et 27 ; composition et présidences du Conseil ; communiqué de l'ACM sur le prix Turing 2018 ; CNIL, notifier une violation de données personnelles. Les citations sont en anglais dans le texte d'origine.
Publicité — lien affilié. En tant que Partenaire Amazon, je perçois une commission sur les achats remplissant les conditions requises, sans surcoût pour vous. Le livre cité : L'apprentissage profond, de Ian Goodfellow, Yoshua Bengio et Aaron Courville (Massot éditions, grand format).
Questions fréquentes
Qu'a dit Yoshua Bengio au Conseil de sécurité de l'ONU ?
Que la course à l'IA découle des choix des entreprises, qui peuvent ralentir, et que tout le monde y perd. Il demande de soumettre les modèles les plus puissants à une licence, comme dans le nucléaire, avec une assurance obligatoire. Leur sûreté devrait aussi être démontrée à des experts indépendants.
Pourquoi les États-Unis refusent-ils un régulateur mondial de l'IA ?
Pour Michael Kratsios, qui parlait au nom de Washington, la vitesse des progrès ne justifie ni pause ni nouvelle gouvernance mondiale : chaque pays doit légiférer pour lui-même et bâtir ses capacités, avec des entreprises américaines. Membre permanent, les États-Unis peuvent bloquer toute décision de fond du Conseil.
Que peut faire une PME dès maintenant ?
Tenir un registre des incidents liés à ses outils d'IA : date, outil, action de l'agent, données touchées, correction. Si des données personnelles sont exposées, le RGPD impose déjà de documenter la violation et, si elle présente un risque pour les personnes, de la notifier à la CNIL, si possible sous 72 heures.