Un agent IA est devenu voyou et a piraté une startup tout seul, révèle OpenAI

Maria

Un agent IA est devenu voyou et a piraté une startup tout seul, révèle OpenAI

OpenAI a révélé qu’un agent d’IA autonome alimenté par sa technologie s’est révélé malveillant lors d’un test, a accédé au Web ouvert et a piraté lui-même une startup de premier plan lors d’un « incident sans précédent ».

La société à l’origine de ChatGPT a déclaré que la startup Hugging Face avait détecté et confiné l’agent – ​​un outil d’IA conçu pour effectuer des tâches sans assistance humaine – qui était entré dans ses systèmes.

« Nous considérons cet incident comme un cyber-incident sans précédent, impliquant des cybercapacités de pointe », a déclaré OpenAI.

La société a déclaré qu’elle s’attendait à ce que ce type d’incident devienne plus courant à mesure que les modèles – la technologie qui sous-tend les outils d’IA tels que les chatbots et les agents – deviennent plus performants. OpenAI a déclaré que le piratage s’était produit via un agent alimenté par une combinaison de son dernier modèle accessible au public, appelé GPT-5.6 Sol, et d’un modèle encore plus performant qui n’avait pas encore été publié.

Tout en étant testés en interne sur leurs capacités de piratage dans un laboratoire numérique fermé appelé bac à sable, les modèles ont obtenu un accès Internet ouvert – en fait une issue de secours – en localisant une vulnérabilité qui n’avait pas été découverte auparavant.

L’agent a ensuite piraté Hugging Face, une base de données de modèles d’IA, pour localiser la technologie qui l’aiderait à réussir l’évaluation de piratage, après avoir « déduit » que Hugging Face pourrait disposer des modèles, des ensembles de données et des solutions nécessaires pour réussir le test. OpenAI a déclaré que les modèles « ont réussi à trouver des moyens d’accéder à des informations secrètes qu’ils pourraient utiliser pour tromper l’évaluation ». L’attaque a pris fin lorsque l’équipe de sécurité de Hugging Face et ses propres agents d’IA ont repéré et arrêté l’activité malveillante.

Le directeur général de Hugging Face, Clément Delangue, a déclaré que l’attaque était « époustouflante », mais a estimé qu’il n’y avait « aucune intention malveillante » de la part d’OpenAI.

« Nous soupçonnions que la cyberattaque de la semaine dernière pourrait provenir d’un laboratoire frontalier, étant donné la sophistication de l’agent », a-t-il écrit sur X.

Lorsque Hugging Face a révélé le piratage la semaine dernière, l’entreprise ne connaissait pas le rôle d’OpenAI dans l’incident, mais a déclaré à l’époque qu’elle s’était tournée vers un modèle d’IA chinois disponible gratuitement pour analyser ce qui s’était passé, car les garde-fous de sécurité des modèles commerciaux haut de gamme ne lui permettaient pas de le faire.

Le terme désignant une faille informatique inconnue est une vulnérabilité de type « jour zéro », car les développeurs n’ont aucune minute pour résoudre le problème. En avril, Anthropic, un proche rival d’OpenAI, a déclaré que son modèle Mythos avait découvert des milliers de ces failles.

La révélation de la capacité de Mythos à localiser et à exploiter les zero-days a conduit le gouvernement américain à restreindre les exportations de Mythos et de son modèle sœur, Fable 5, bien qu’il ait depuis levé l’interdiction. GPT-5.6 Sol avait des restrictions similaires mais a depuis été déployé dans le monde entier.

METR, une organisation à but non lucratif qui mesure les performances de l’IA, a déclaré le mois dernier que le taux de triche de Sol était supérieur à celui de n’importe quel modèle public qu’il avait évalué auparavant. Il a également enregistré 44 incidents au cours desquels des agents d’IA « ont délibérément agi contre les intentions de leurs utilisateurs ».

L’AI Security Institute (AISA) du Royaume-Uni a révélé cette semaine dans un article de blog qu’un modèle d’IA qu’il évaluait, développé par une entreprise technologique non divulguée, était également devenu malveillant et avait tenté de pirater ses systèmes de test. L’AISI a déclaré qu’aucun dommage n’avait été causé et qu’elle avait depuis pris des mesures pour rendre ses systèmes plus sécurisés. Il a indiqué que les modèles développés par OpenAI et Anthropic avaient tous tenté de « tricher » lors des tests.

L’AISI a averti que des modèles encore plus performants pourraient trouver des méthodes de triche plus difficiles à détecter et plus dommageables s’ils réussissent, en particulier dans des domaines tels que la cybersécurité.

Un expert en cybersécurité a déclaré que l’incident de Hugging Face montrait que l’agent OpenAI avait agi « comme un véritable pirate informatique », par exemple en recherchant des vulnérabilités du jour zéro et en utilisant des informations d’identification volées pour accéder aux systèmes de Hugging Face.

« L’IA pensait que Hugging Face aurait peut-être des informations importantes sur la façon d’atteindre son objectif, qui est un meilleur score dans un benchmark de cybersécurité. En ce sens, elle a agi comme un véritable hacker », a déclaré Nathaniel Jones, vice-président de la stratégie de sécurité et d’IA de la société de cybersécurité Darktrace. « Il avait un objectif devant lui et il a réussi à atteindre cet objectif. »

Greg Casar, un membre démocrate du Congrès américain qui a appelé à un plus grand contrôle du secteur de l’IA, a qualifié l’incident d’alarmant.

« L’IA se développe extrêmement rapidement, sans véritable réglementation pour assurer notre sécurité », a-t-il déclaré dans un communiqué appelant à des tests de sécurité indépendants obligatoires, à la divulgation obligatoire des incidents de sécurité et à une coopération internationale « pour protéger les gens d’un désastre absolu ».