Développer la confiance dans l'IA

Analyse commune haut niveau des risques cyber liés à l'IA

Capture d’écran de la première page du document de l’ANSSI : https://cyber.gouv.fr/publications/developper-la-confiance-dans-lia-par-une-approche-par-les-risques-cyber

Un récent rapport Analyse commune haut niveau des risques cyber liés à l'IA, fruit d'une collaboration internationale menée sous l'égide de l'Agence nationale de la sécurité des systèmes d'information (ANSSI, 2025), souligne l'importance de développer la confiance dans l'IA par une gestion rigoureuse des risques cyber. Ce document a été co-signé par de nombreux partenaires internationaux.

Pourquoi une analyse de risque spécifique à l'IA ?

Le rapport insiste sur la nécessité d'une analyse de risque avant tout déploiement d'un système d'IA. Comme tout logiciel, les systèmes d'IA possèdent des vulnérabilités  et sont exposés aux menaces cyber classiques. Cependant, ils présentent aussi des risques spécifiques liés à leur fonctionnement, notamment l'importance des données et la complexité de leur chaîne d'approvisionnement (calcul, modèles, données). L'objectif n'est pas de lister exhaustivement toutes les vulnérabilités, mais de fournir une compréhension globale des risques.

Identifier les principaux risques cyber

Le rapport met en lumière plusieurs scénarios de risques majeurs qui menacent la sécurité des systèmes d'IA. Comprendre ces risques est la première étape pour bâtir une IA de confiance.

Compromission de l'infrastructure d'hébergement et d'administration

Comme tout système informatique, l'infrastructure qui supporte l'IA peut être attaquée. Des acteurs malveillants peuvent exploiter des vulnérabilités techniques, organisationnelles ou humaines courantes pour porter atteinte à la confidentialité, à l'intégrité ou à la disponibilité du système d'IA. Le rapport souligne que ce vecteur d'attaque est particulièrement plausible et critique, ce qui nécessite une vigilance constante tout au long du cycle de vie du système.

Attaques sur la chaîne d'approvisionnement

Les systèmes d'IA dépendent souvent d'éléments fournis par des tiers : capacité de calcul, modèles pré-entraînés, bibliothèques logicielles (souvent open source), jeux de données. Un attaquant peut cibler une vulnérabilité chez l'un de ces fournisseurs ou composants. Par exemple, compromettre une bibliothèque logicielle intégrée dans un framework d'IA peut affecter l'ensemble du système qui l'utilise. La maîtrise de cette chaîne d'approvisionnement complexe est donc essentielle.

Mouvements latéraux via interconnexions

Les systèmes d'IA sont fréquemment connectés à d'autres systèmes d'information pour échanger des données et s'intégrer aux processus existants. Ces interconnexions, bien qu'utiles, créent de nouvelles surfaces d'attaque. Le rapport cite l'exemple de Prompt Injection : un attaquant peut introduire des instructions malveillantes dans un modèle de langage (LLM) via une source externe (site web, document) pour ensuite extraire des informations sensibles ou exécuter des commandes sur des systèmes connectés. Le risque est particulièrement élevé lorsque l'IA est connectée à des systèmes industriels, pouvant avoir un impact sur le monde physique.

Facteurs humains et organisationnels

Une formation insuffisante des utilisateurs peut mener à une confiance excessive dans les résultats de l'IA et à une moindre capacité à identifier des comportements anormaux. De plus, l'utilisation non contrôlée d'outils d'IA grand public au sein d'une organisation ("shadow IA") peut entraîner des fuites de données confidentielles, des violations réglementaires ou nuire à la réputation. À plus long terme, une dépendance technologique excessive risque de rendre difficile, voire impossible, un retour à une gestion humaine en cas de défaillance majeure du système d'IA, surtout dans les processus critiques fortement automatisés.

Manipulation du système d'IA

Il existe des attaques ciblant spécifiquement le cœur des systèmes d'IA. Ces attaques peuvent entraîner des dysfonctionnements, compromettre la fiabilité des décisions ou voler des informations sensibles :

• Empoisonnement : Consiste à altérer délibérément les données servant à entraîner le modèle d'IA, ou le modèle lui-même, pour biaiser ses réponses futures, soit de manière générale, soit face à des entrées spécifiques. Bien que les développeurs mettent en place des mesures pour améliorer la résilience, cette attaque peut être particulièrement dangereuse si elle vise des applications critiques (par ex. : diagnostic médical basé sur l'image, systèmes de sécurité).

• Extraction : Vise à reconstruire ou récupérer des informations confidentielles contenues implicitement dans le modèle après son entraînement, comme des données personnelles issues du jeu d'entraînement, ou les paramètres internes du modèle.

  Évasion : Consiste à modifier subtilement les données fournies en entrée au système d'IA (par exemple, une image) pour le tromper et provoquer une réponse erronée ou un comportement inattendu.

  
  

Opacité

Cela signifie que le fonctionnement interne de certains modèles d'IA, en particulier les plus complexes, peut être très difficile, voire impossible, à comprendre pour un humain. Ils fonctionnent comme des "boîtes noires" : on voit ce qui entre (les données) et ce qui sort (le résultat ou la décision), mais le processus exact qui mène de l'un à l'autre n'est pas transparent. Le rapport précise que le degré d'explicabilité varie grandement selon le type de modèle utilisé.

Enfin, il est essentiel de noter que l'IA est aussi un outil qui peut être détourné par des acteurs malveillants. Le rapport souligne que l'IA abaisse le seuil de compétences requis pour mener certaines cyberattaques et en augmente l'efficacité ou l'échelle. Des usages malveillants sont déjà observés dans des domaines comme :

• Le phishing

• L'ingénierie sociale

• Le développement de codes malveillants

L'IA générative avancée pourrait même permettre des attaques sophistiquées et à grande échelle à moindre coût. Il est donc nécessaire de surveiller activement l'évolution de ces menaces.

Recommandations clés pour améliorer la confiance dans l'IA

Face à ces enjeux, le rapport formule des recommandations pragmatiques pour tous les acteurs.

Pour les utilisateurs, fournisseurs et développeurs

Ajuster l'autonomie de l'IA et prévoir une validation humaine

Le degré d'autonomie accordé à un système d'IA ne doit pas être absolu. Il doit être soigneusement défini en fonction de l'analyse de risque préalable, des besoins spécifiques du métier et surtout de la criticité des actions que l'IA pourrait entreprendre. Le rapport insiste sur le fait d'intégrer une étape de validation par un humain dans le processus décisionnel dès que cela est nécessaire, notamment pour les actions sensibles. Cela permet non seulement de garder le contrôle mais aussi de mieux gérer les risques liés à la fiabilité potentiellement imparfaite de l'IA.

Cartographier et sécuriser la chaîne d'approvisionnement (composants, données)

Il est essentiel de bien connaître et de documenter l'ensemble de la chaîne qui compose le système d'IA. Cela inclut :

• Les composants d'IA

• Les éléments matériels et logiciels sous-jacents

• Les jeux de données utilisés

  
  

Le rapport souligne l'importance de comprendre :

• La nature des données

• Leur provenance (approvisionnement)

• La manière dont elles sont traitées, notamment pour limiter les risques d'empoisonnement (altération malveillante des données) et évaluer les risques d'extraction (fuite d'informations via le modèle)

La sécurité des fournisseurs de ces différents éléments doit aussi être évaluée.

Maîtriser et limiter les interconnexions

Les systèmes d'IA communiquent souvent avec d'autres systèmes d'information. Le rapport recommande de recenser précisément toutes ces interconnexions et de les limiter strictement à ce qui est nécessaire pour le cas d'usage visé. L'objectif est de réduire la surface d'attaque potentielle et d'éviter que des vulnérabilités dans un système ne permettent de compromettre les autres systèmes connectés.

Superviser et maintenir les systèmes en continu

Un système d'IA ne doit pas être déployé puis oublié. Il nécessite une supervision constante pour s'assurer qu'il fonctionne comme attendu, qu'il ne développe pas de biais imprévus et qu'aucune vulnérabilité n'apparaît ou n'est exploitée. Cette surveillance continue aide également à pallier les risques liés à l'opacité ("boîte noire") de certains modèles, en se concentrant sur les résultats et le comportement observable du système. La maintenance inclut la gestion des vulnérabilités et la mise à jour des composants.

Mettre en place une veille technologique et réglementaire

L'écosystème de l'IA et le paysage de la menace cyber évoluent très rapidement. Il est donc indispensable :

• D'établir un processus de veille active pour anticiper les changements (nouvelles techniques, nouvelles réglementations)

• D'identifier les menaces émergentes spécifiques à l'IA

• D'adapter en conséquence les stratégies de sécurité et de développement

Former et sensibiliser les équipes aux risques de l'IA

La dimension humaine est essentielle. Le rapport insiste sur la nécessité de former et sensibiliser l'ensemble du personnel concerné, en interne, aux enjeux et aux risques spécifiques de l'IA. Une attention particulière doit être portée aux directions et aux décideurs, afin que les choix d'implémenter ou non une solution d'IA, et la manière de le faire, soient pris de façon éclairée quant aux implications de sécurité.

Intégrer la protection des données dès la conception ("privacy by design")

La sécurité et la conformité réglementaire (notamment concernant les données personnelles) doivent être prises en compte dès les premières étapes de la conception d'un système d'IA. Cela implique d'adopter une approche "privacy by design", en réfléchissant aux impératifs de protection des données tout au long du cycle de vie :

• Minimisation des données collectées

• Techniques de pseudonymisation ou d'anonymisation si nécessaire

• Gestion des accès selon le principe du moindre privilège

• Sécurisation du stockage et de la suppression des données

Le rapport mentionne également qu'une check-list plus détaillée de mesures concrètes est proposée en Annexe 1 pour guider l'implémentation sécurisée.

Pour les décideurs

Soutenir la recherche sur la sécurité de l'IA et les contre-mesures

Les décideurs sont encouragés à investir dans la recherche visant à développer de nouvelles méthodes pour réduire les risques cyber liés à l'IA. Le rapport cite explicitement des domaines prioritaires comme :

• L'adversarial Machine Learning (l'étude des attaques spécifiques aux modèles d'IA et des défenses correspondantes)

• Les technologies de protection des données adaptées à l'IA

• La compréhension des nouveaux usages offensifs de l'IA par des acteurs malveillants

Promouvoir l'évaluation, la certification et les standards communs

Pour renforcer la confiance dans l'écosystème IA, il est recommandé de favoriser le développement de capacités d'évaluation de la sécurité et de certification. Ces démarches devraient s'appuyer sur des standards communs, reconnus internationalement si possible, afin d'évaluer de manière cohérente la sécurité et la fiabilité des modèles d'IA, des applications qui les utilisent, des données manipulées et des infrastructures d'hébergement.

Diffuser les bonnes pratiques de cybersécurité pour le déploiement de l'IA

Les décideurs ont un rôle à jouer pour s'assurer que les systèmes d'IA sont déployés et hébergés de manière sécurisée. Cela passe par la promotion active des bonnes pratiques de cybersécurité via :

• L'établissement de lignes directrices claires

• La mise en valeur des réglementations existantes qui s'appliquent aussi à l'IA

• Le partage de retours d'expérience

L'objectif est d'aider les organisations à intégrer l'IA de manière optimale tout en évitant les erreurs de sécurité courantes.

Encourager la coordination entre les entités de cybersécurité et celles dédiées à l'IA

Le rapport souligne l'importance de renforcer le dialogue et la coordination entre les différentes structures de gouvernance concernées. Il s'agit notamment de rapprocher les agences nationales de cybersécurité et les entités plus spécialisées sur l'IA (comme les "AI Safety Institutes").

Cette collaboration doit permettre de mieux définir les périmètres de responsabilité de chacun :

• D'assurer une meilleure prise en compte des enjeux cyber spécifiques à l'IA

• De faciliter le partage d'informations sur les menaces émergentes

• D'harmoniser les efforts pour protéger les systèmes critiques

Poursuivre la collaboration internationale pour suivre l'évolution des menaces

L'effort ne doit pas s'arrêter après un sommet ou une publication ponctuelle. Il est essentiel de maintenir une dynamique internationale pour assurer un suivi continu de l'évolution de la menace pesant sur les systèmes d'IA. Le rapport invite à une réflexion commune à l'échelle internationale pour identifier et établir des lignes directrices visant à mieux sécuriser l'ensemble de la chaîne de valeur de l'IA, contribuant ainsi à l'objectif global d'une IA de confiance.

Vers une IA de confiance

L'adoption réussie et bénéfique de l'IA passe impérativement par une prise en compte sérieuse et structurée des risques cyber associés. En adoptant une approche par les risques et en mettant en œuvre les bonnes pratiques de sécurité dès la conception et tout au long du cycle de vie des systèmes, les organisations peuvent bâtir la confiance nécessaire pour innover sereinement avec l'IA.

Référence

Agence nationale de la sécurité des systèmes d'information. (2025). Analyse commune haut niveau des risques cyber liés à l'IA.

---

Article de blog rédigé par Damien SOULÉ.