10 % de risque d'extinction : le chiffre de Geoffrey Hinton ne prédit rien, mais il oblige à décider
Une estimation que son auteur reconnaît invérifiable reste une estimation. Elle ne dispense pas de trancher — elle rend l'arbitrage plus difficile à esquiver.
Sur le plateau de BBC Newsnight, Victoria Derbyshire soumet à Geoffrey Hinton la prédiction d'un chercheur d'Anthropic : plus de 10 % de chances que l'intelligence artificielle tue tous les humains dans la décennie. Elle lui demande ce qu'il en pense. Réponse : il serait insensé de dire 1 % ; 10 % ne lui paraît pas déraisonnable.
La présentatrice reformule pour être sûre d'avoir bien entendu. Hinton confirme d'un mot. Suit un silence, puis un « Wow… oh my God » qui résume assez bien le vertige.
Hinton n'est pas un commentateur professionnel de l'apocalypse. Il a reçu le prix Nobel de physique 2024 avec John Hopfield, pour les découvertes fondatrices qui rendent possible l'apprentissage automatique par réseaux de neurones artificiels : il a contribué à bâtir le domaine dont il alerte aujourd'hui sur les dangers. Son surnom de « parrain de l'IA » ne transforme pourtant pas son estimation en vérité scientifique.
Ce chiffre de 10 % n'est pas une prédiction mesurée. Mais le traiter comme une opinion sans conséquence serait tout aussi irrationnel.
Dix pour cent de quoi, mesurés comment ?
Aucune base statistique ne permet de calculer la probabilité qu'une intelligence plus avancée que l'être humain provoque son extinction. L'expérience ne s'est jamais produite : il n'existe ni échantillon d'humanités comparables, ni série d'IA surhumaines dont observer les résultats. Hinton le reconnaît lui-même — attribuer un chiffre précis reste extrêmement difficile puisque l'humanité n'a jamais créé d'entité susceptible de devenir plus intelligente qu'elle.
Le « 10 % » relève donc d'une estimation subjective d'expert. Il synthétise une conviction, des observations techniques et une forte incertitude. Il ne sort ni d'un modèle actuariel, ni d'une expérience reproductible, ni d'un intervalle de confiance.
Cette distinction interdit deux raccourcis opposés. « Un prix Nobel affirme que le risque est de 10 %, donc le chiffre est établi » est faux — un prix Nobel peut formuler un jugement éclairé, son prestige ne crée pas les données manquantes. « Personne ne peut prouver ces 10 %, donc le risque est imaginaire » l'est tout autant : l'absence de mesure précise n'équivaut pas à une probabilité nulle.
Le mauvais débat consiste à négocier le chiffre
Le réflexe médiatique cherche à savoir si le risque vaut vraiment 10 %, 5 %, 1 % ou 0,1 %. Cette discussion donne une illusion de rigueur : elle esquive la décision.
Une probabilité se rapproche toujours de la gravité et de l'irréversibilité de son impact. Une panne réparable en quelques heures tolère un taux d'échec élevé ; la disparition de l'humanité ne dispose ni de procédure de restauration, ni de deuxième essai. Divisez l'estimation de Hinton par dix : aucun responsable sérieux ne qualifierait un risque d'extinction de 1 % de « négligeable ».
L'incertitude ne suspend pas la décision, elle la durcit. Quand la mesure manque et que l'erreur est irréversible, la question n'est plus « quel est le chiffre exact ? » mais « quel niveau de risque irréversible accepte-t-on, et en échange de quelle vitesse ? »
Le contrôle reste volontaire, et c'est la vraie faille
Dans l'entretien, Hinton reproche aux laboratoires de privilégier la course aux modèles toujours plus puissants. Il cite Anthropic, pourtant très engagée publiquement sur la sécurité, et affirme que son dernier modèle n'a pas été soumis avant sa sortie à l'institut britannique d'évaluation — l'AI Safety Institute, rebaptisé AI Security Institute en février 2025.
Cet exemple doit être attribué à Hinton : il n'établit pas à lui seul que le modèle aurait échoué à une évaluation, ni qu'Anthropic n'aurait mené aucun test interne. Il révèle en revanche une faiblesse structurelle — si l'accès des évaluateurs dépend du bon vouloir du laboratoire, le contrôle reste volontaire. Or un dispositif de sécurité sérieux ne peut pas reposer sur la seule promesse de l'entreprise qui finance, entraîne et commercialise le modèle : elle peut être parfaitement sincère et subir malgré tout une pression concurrentielle immense. C'est le paradoxe décrit dans mon analyse des laboratoires qui réclament leur propre régulation — chacun veut plus de sécurité, personne ne veut ralentir seul.
Hinton distingue d'ailleurs les risques selon que les intérêts des États divergent ou convergent. Sur la désinformation électorale, le terrain commun est mince : chaque puissance peut condamner la pratique tout en gardant un intérêt à la développer. Une prise de contrôle par une IA a une autre structure — aucun État ne souhaite disparaître, comme aucun ne voulait de la guerre nucléaire totale au plus fort de la guerre froide. Mais l'arme nucléaire reposait sur des matières et des essais observables, quand les paramètres d'un modèle s'inspectent bien plus difficilement : la coopération reste donc plus crédible sur des interdictions étroites que sur un arrêt général, dilemme que l'article sur la pause mondiale de l'IA détaille.
Ce que ce débat change pour une TPE ou une PME
Le risque existentiel dépasse le pouvoir d'un dirigeant de PME. La méthode de raisonnement, elle, s'applique dès demain matin à vos automatisations.
Ne confondez pas absence de mesure et absence de risque. Si personne ne peut fournir un taux d'erreur fiable pour un nouvel agent, cela justifie une expérimentation limitée — pas un accès immédiat à toute l'entreprise.
Classez les actions par réversibilité. Générer un brouillon de mail n'engage rien. Envoyer le message, effectuer un paiement, supprimer une donnée ou modifier un tarif réclame un niveau de contrôle supérieur.
Séparez capacité et permission. Un modèle peut savoir exécuter une action sans pour autant recevoir l'autorisation de la réaliser seul.
Conservez des traces indépendantes. Les journaux utiles restent hors de portée de l'agent évalué, surtout s'il peut modifier des fichiers ou utiliser un terminal.
Prévoyez l'arrêt avant l'autonomie. Un bouton d'urgence improvisé après l'incident arrive, par définition, trop tard.
Le professionnalisme ne consiste pas à promettre qu'un système ne se trompera jamais. Il consiste à limiter ce qu'une erreur peut atteindre.
Le chiffre ne mérite ni foi ni mépris
Ce « 10 % » n'a pas vocation à devenir un slogan scientifique : rien ne permet d'en vérifier la précision. Mais l'incertitude ne dispense pas de décider — elle rend plus urgent de fixer des seuils, des contrôles et des procédures d'arrêt avant que les capacités ne progressent davantage. La posture solide tient entre deux refus : croire un chiffre au seul motif qu'il vient d'une autorité, l'écarter au seul motif qu'il dérange.
Hinton ne donne pas la probabilité de notre disparition. Il pose une question nettement plus inconfortable, et elle s'adresse aussi à celui qui déploie un agent dans son entreprise : combien de risque irréversible êtes-vous prêt à accepter pour aller plus vite ?
Sources : entretien de Geoffrey Hinton par Victoria Derbyshire, BBC Newsnight, septembre 2026 (chaîne BBC Politics) ; prix Nobel de physique 2024, Nobel Prize Outreach ; renommage de l'AI Safety Institute en AI Security Institute, 14 février 2025.
Questions fréquentes
Geoffrey Hinton affirme-t-il que l'IA a exactement 10 % de chances de détruire l'humanité ?
Non. Interrogé sur la prédiction d'un chercheur d'Anthropic, il répond qu'une estimation de 10 % ne lui paraît pas déraisonnable. Il reconnaît l'impossibilité de produire un chiffre précis, puisque l'humanité n'a jamais créé une intelligence supérieure à la sienne. Il s'agit d'un jugement d'expert, pas d'une probabilité statistiquement mesurée.
Comment une IA pourrait-elle provoquer des dégâts sans robot ?
Elle pourrait manipuler des humains, automatiser des cyberattaques, découvrir des vulnérabilités ou contribuer à la conception d'agents biologiques dangereux. Un système purement numérique peut déléguer l'action physique à des personnes ou à des infrastructures connectées.
Geoffrey Hinton demande-t-il l'arrêt de l'intelligence artificielle ?
Non. Il juge un arrêt total irréaliste et indésirable au vu des bénéfices possibles dans la santé, l'éducation, la recherche et la vie quotidienne. Il réclame des réponses spécifiques pour chaque catégorie de risque et une coopération internationale sur les menaces qui mettent tous les pays en danger.
Que doit en retenir un dirigeant de TPE ou de PME ?
Une automatisation doit recevoir des permissions proportionnelles à la réversibilité de ses actions. Les opérations sensibles exigent des accès minimaux, des traces indépendantes, une validation humaine et une procédure d'arrêt définie avant le déploiement, pas après le premier incident.