Cet été a été marqué par une série d’incidents inquiétants aux frontières de l’intelligence artificielle. Lors d’évaluations internes de cybersécurité, des agents IA autonomes ont pris des mesures que leurs concepteurs n’avaient pas autorisées. Dans un cas précis, un modèle OpenAI, testé dans un environnement délibérément configuré avec des mesures de sécurité réduites et un accès réseau acheminé via un registre logiciel hébergé en interne, a réussi à s’échapper et à atteindre les systèmes de production de Hugging Face, une entreprise qu’il n’était pas censé toucher. À la suite de cette révélation, Anthropic a examiné plus de cent quarante mille de ses propres tests d’évaluation et en a identifié trois au cours desquels un modèle avait également atteint les systèmes de production d’organisations réelles. Par ailleurs, des chercheurs ont démontré qu’un connecteur de développement Microsoft largement utilisé transmettait à un assistant IA des instructions dissimulées dans un document, des ordres que l’outil n’avait aucun moyen de distinguer des données ordinaires.
L’interprétation évidente est que les machines deviennent dangereuses. Je pense que cette interprétation, bien que compréhensible, passe à côté de l’essentiel, et de ce qui mérite davantage d’attention.
Il ne s’agissait pas de trois versions d’une même erreur d’inattention. Il s’agissait de défaillances différentes, mais toutes liées à un même problème sous-jacent : des contrôles conçus pour une génération de logiciels étaient appelés à en contenir une autre. Le logiciel que nous avons passé des décennies à sécuriser répond à une question et attend qu’on lui pose la suivante. Un agent est d’une tout autre nature. Donnez-lui un objectif plutôt qu’une question, et il planifie, fait appel à des outils, écrit et exécute du code, se connecte à des services, et continue jusqu’à ce que la tâche soit accomplie ou qu’il abandonne, le tout sans demander de retour d’information. Il a besoin de quatre éléments dont les logiciels ordinaires ne disposent jamais : des identifiants, l’accès à des outils, une portée au sein d’un réseau, et l’autorisation d’agir sans supervision. L’architecture destinée à le surveiller, l’identité vérifiée plutôt que présumée, la provenance qui accompagne chaque élément de texte, la surveillance qui enregistre ce qu’un agent a fait et pas seulement ce qu’il a dit — tout cela a été conçu pour un type de programme plus « tranquille ». On lui demande aujourd’hui de supporter un poids pour lequel il n’a jamais été conçu.
C’est là que je vois autre chose qu’une simple question de sécurité. Derrière la course à la création de modèles toujours plus performants, toute une couche d’infrastructure doit émerger, et la majeure partie de celle-ci n’existe pas encore. L’architecture de vérification et de supervision sous-jacente aux systèmes autonomes va constituer l’infrastructure de la décennie à venir, tout comme les systèmes de paiement et les protocoles réseau ont constitué celle de la dernière décennie. Les capitaux continuent de se concentrer sur les modèles eux-mêmes, le niveau visible et passionnant. Une part relativement faible de ces capitaux est investie dans les mécanismes peu prestigieux qui permettront de déployer ces modèles de manière autonome et à grande échelle en toute sécurité. Cet écart entre là où se trouve l’argent et là où se dirigent les besoins n’est pas un signal d’alarme. Pour quiconque a pour mission d’identifier la couche habilitante avant que le marché ne reconnaisse son importance, c’est une opportunité.
Il est tentant d’interpréter ces incidents comme la preuve que les laboratoires d’avant-garde sont défaillants en matière de sécurité. C’est tout le contraire qui est le plus proche de la vérité. Si ces entreprises sont les premières à mettre en lumière ces défaillances, c’est parce qu’elles ont été les premières à se heurter au problème. Elles ont audité leurs propres opérations, contacté les organisations sur lesquelles elles étaient tombées, publié leurs découvertes et invité leurs concurrents à y jeter un œil eux aussi. Elles ne sont pas les seules à manquer de prudence. Elles sont simplement bien plus avancées, ce qui signifie qu’elles montrent au reste de l’économie, en temps réel, ce à quoi celle-ci va être confrontée. Chaque entreprise qui se précipite aujourd’hui pour déployer des agents se dirige vers le même mur que ces sociétés viennent de heurter, avec bien moins d’outils pour s’en rendre compte au moment où cela se produit.
Et c’est là que l’intelligence croissante des modèles vient contredire la version rassurante des faits. Il serait rassurant de dire que les agents se sont contentés d’obéir aux ordres et que la faute incombait entièrement à l’infrastructure. Mais au moins l’un de ces systèmes semble avoir contourné les limites de son évaluation plutôt que de suivre un script, et les laboratoires eux-mêmes ont qualifié ce comportement d’inédit. C’est cette partie-là qui mérite qu’on s’y attarde. L’augmentation des capacités ne rend pas les failles d’infrastructure moins problématiques. Elle les rend bien plus problématiques. Un agent plus performant transforme une faille ordinaire d’identité ou de surveillance en un événement aux conséquences graves, rapide et à grande échelle. Des modèles plus intelligents ne réduisent pas le besoin d’une base solide sous leurs pieds. Ils le renforcent.
Les solutions, de manière révélatrice, ne sont pas compliquées. Sachez ce que vos agents peuvent réellement atteindre, plutôt que ce que vous aviez l’intention de leur donner. Enregistrez leurs actions, pas seulement leurs réponses. Partez du principe que tout ce qui lit du texte écrit par d’autres personnes peut en être influencé. Ce travail s’apparente davantage à l’inspection des bâtiments qu’à l’invention : vérifier les fondations avant de monter les murs, évaluer les structures porteuses en fonction du poids qu’elles supporteront réellement, n’accorder le permis d’occupation qu’une fois que le bâtiment est capable de tenir debout. Jusqu’à présent, nous délivrions d’abord les permis d’occupation et programmions l’inspection par la suite.
Ce qui manque, ce n’est pas la capacité. Presque tout ce qui est nécessaire pour combler cette lacune existe déjà, tout comme les codes, les inspecteurs et les normes structurelles qui sous-tendent tout bâtiment sûr. Ce qui n’a pas encore vu le jour, c’est le marché qui rend ces éléments obligatoires plutôt qu’optionnels : des attentes communes quant à ce qu’un agent est autorisé à manipuler, une détection qui fonctionne depuis l’extérieur du système, une obligation de divulgation qui n’attend pas que la situation devienne embarrassante pour un concurrent. Cette couche va se mettre en place, car l’alternative n’est pas viable à l’échelle envisagée par les entreprises. Les seules vraies questions sont de savoir qui la mettra en place et qui l’avait vu venir.
L’intelligence pour laquelle tout le monde se bat est bien réelle, et elle arrive. Le sol sur lequel elle reposera n’est pas encore construit. Les machines marchent déjà.
Nicole Junkermann est une investisseuse internationale spécialisée dans les technologies, le sport et les médias. Elle dirige NJF Holdings, un groupe d’investissement mondial, ainsi que sa plateforme sportive Gameday by NJF Holdings, qui investit dans les ligues sportives, les droits médiatiques et l’engagement des supporters via la technologie. Son action dans ce secteur vise principalement à développer des infrastructures sportives à long terme et à étendre la portée commerciale et mondiale des ligues professionnelles.