Régulation de l’IA : Articulation IA /RGPD

La sécurité spécifique des modèle d’IA face aux attaques en apprentissage et production

Application du RGPD au modèle d’IA : test de confidentialité en construction 🚧

Le corpus documentaire de la CNIL de 2025

Eléonore Scaramozzino, Avocate Constellation Avocats

Dans son rapport d’activité de 2025, « Protéger les données de chacun pour sécuriser l’avenir numérique de tous », la CNIL adresse le sujet de la régulation de l’Intelligence Artificielle et rappelle ses recommandations pour sécuriser les concepteurs et les développeurs du système d’IA.

Si la CNIL n’est pas l’autorité « chef de file » de la régulation de l’IA, elle devrait intervenir dès lors que les données à caractère personnel sont intégrées dans l’entraînement des données, et notamment dans la régulation des systèmes d’IA à haut risque. Le schéma national de gouvernance, en cours d’examen au Parlement, confie en effet des prérogatives étendues à la CNIL en la matière, et ce sur un grand nombre de domaines (champ régalien, éducation, travail, processus démocratiques). Ces prérogatives vont exiger de l’institution qu’elle s’approprie des rôles nouveaux – et notamment celui d’autorité de surveillance de marché (ASM). C’est pour anticiper ces responsabilités supplémentaires que la CNIL a mis en place, en 2025, un groupe de travail interne – qui se nourrit de l’expérience des ASM existantes et travaille avec les autres régulateurs pressentis – et qu’elle a exploré en détail la question de l’articulation entre IA et RGPD, avec l’ambition de formaliser une doctrine cohérente et prévisible pour les développeurs et les déployeurs.

En décembre 2024, un avis du Comité européen de la protection des données (CEPD) avait précisé que le RGPD s’appliquait bien, dans de nombreux cas, aux modèles d’IA entraînés sur des données personnelles en raison de leurs capacités de mémorisation. Selon Marie-Laure Denis, Présidente de la CNIL, l’année 2025 constitue une année charnière pour la CNIL, en ce qu’elle se voit attribuer, par l’exécutif sous réserve de la confirmation du Parlement, quatre rôles distincts et complémentaires en matière de régulation de l’IA ».  La CNIL a des compétences partagées avec la Direction générale de la concurrence, de la consommation et de la répression des fraudes (DGCCRF) et l’Autorité de régulation de la communication audiovisuelle et numérique (Arcom).

Développement des systèmes d’IA : Les vérifications nécessaires

La CNIL a adopté 13 fiches pratiques, qui forment ce corpus de recommandations s’est d’abord enrichi en février 2025 de deux documents proposant des solutions concrètes et proportionnées pour informer et faciliter l’exercice des droits des personnes.

Dans cette logique très opérationnelle, la CNIL a aussi publié en 2025 une liste de vérifications issue de ses recommandations, pour le développement des systèmes d’IA conformes au RGPD. Cette check list permet aux concepteurs et aux développeurs de systèmes d’IA de s’assurer que, dès le départ, les principes du RGPD sont correctement mis en œuvre : finalité, minimisation, sécurité, information, droits des personnes, transparence et gouvernance. Cette check-list doit être complétée par une check-list spécifique pour l’application du règlement sur l’IA.

Check list RGPD pour les SIA

Analyser les risques :

Adoption de mesures de sécurité spécifiques

•mesures de sécurité pour les données d’entraînement ;

•mesures de sécurités sur le développement du système ;

•mesures d’encadrement du fonctionnement du système adaptées ;

•gestion des habilitations pour accès aux données, tracer les accès et analyser les traces ;

•mise en œuvre et suivi d’un plan d’action

Taxonomie des attaques des systèmes d’IA

Le LINC dresse un petit état des lieux des attaques des systèmes d’IA. Si un modèle d’IA résiste à ces attaques portant sur la confidentialité des données, ce modèle peut être qualifié de modèle de caractère anonyme. Dès lors, le RGPD n’est pas applicable

Une classification des attaques connues des systèmes d’IA peut être proposée en classant celles-ci selon deux dimensions, à savoir le moment de l’attaque (en phase d’apprentissage ou de production) et l’objectif de l’attaque :

Les attaques par infection présentent un risque d’autant plus important que la plupart des entreprises ne construisent pas leurs propres modèles d’IA mais réutilisent des modèles existants et libres d’accès en les réadaptant. Par exemple, un modèle d’IA permettant la détection de tumeurs cancéreuses sur des données d’imagerie médicale pourra avoir été adapté d’un modèle de reconnaissance générique d’images (si on ne dispose pas d’assez d’images de tumeurs annotées pour apprendre un modèle à partir de zéro). Il existe donc un risque important que des attaquants substituent des modèles corrompus à ceux librement accessibles.

Attaque par évasion vs attaques par empoisonnement

Les attaques par empoisonnement diffèrent des attaques par évasion (et s’avèrent plus puissantes). En modifiant la distribution des données utilisées pour l’apprentissage du modèle, la frontière de décision de celui-ci est altérée, ce qui aura pour conséquence de modifier de façon définitive son comportement.

Attaques par empoisonnement vs Attaque par portes dérobées

Dans le cas d’attaques par empoisonnement, les utilisateurs malveillants n’ont accès ni au modèle d’IA ni à l’ensemble de données initial. Leur seul moyen d’action est l’ajout de nouvelles données à l’ensemble de données existant ou sa modification. Dans le cas des attaques par portes dérobées, la personne malveillante n’a pas nécessairement accès à l’ensemble de données initial, mais elle a au moins accès au modèle et à ses paramètres. Elle est donc en mesure de ré-entraîner ce modèle.

Attaques par extraction de modèle (model extraction) :

Il s’agit pour l’attaquant de soumettre un certain nombre de requêtes  à l’API et d’obtenir les sorties correspondantes afin d’estimer un modèle  aussi proche que possible du modèle cible

Enjeux DCP ; propriété intellectuelle, secret industriel 

Ces grandes familles d’attaques de systèmes d’IA (manipulation, infection et exfiltration), montrent la vulnérabilité des modèles d’IA, même si de telles attaques sont considérées comme relativement théoriques et complexes à mettre en œuvre. Néanmoins, la multiplication des systèmes d’IA, leur utilisation de plus en plus répandue (et cela dans tous les secteurs d’activités) – y compris pour des objectifs de plus en plus sensibles – mais également la mise à disposition ouverte de ressources (code, données, modèles, etc.) et l’augmentation du nombre de personnes en capacité de mener techniquement de telles attaques rend nécessaire l’anticipation des risques induits.

L’adoption de mesures spécifiques est nécessaire pour contrer ses attaques.

Test de confidentialité des modèles d’IA  : Projet PANAME (Privacy AuditiNg of Ai ModEls),

Aucun cadre unifié n’existe actuellement pour formaliser le codage des tests de confidentialité.

Afin de répondre aux enjeux de conformité et de lever les freins identifiés, en 2025, la CNIL et ses partenaires ont lancé le projet PANAME (Privacy Auditing of AI Models). Pendant 18 mois, le PEReN, l’ANSSI, le projet IPoP piloté par INRIA du PEPR (programmes et équipements prioritaires de recherche) Cybersécurité et la CNIL travaillent ensemble au développement d’une bibliothèque logicielle disponible toute ou partie en source ouverte, destinée à unifier la façon dont la confidentialité des modèles est testée.

Chaque partenaire contribuera selon son domaine d’expertise :

• le PEReN (Pôle d’expertise de la régulation numérique) sera principalement en charge du développement de la bibliothèque ;
• l’ANSSI (l’Agence nationale de la sécurité des systèmes d’information) apportera son expertise cyber, notamment sur les contextes d’attaques sur les systèmes informatiques ;
• Le Projet IPoP piloté par INRIA assurera la direction scientifique du projet ;
• La CNIL  assurera le pilotage du projet ainsi que le cadrage juridique.

L’objectif de l’outil est de permettre une mise en œuvre efficace et à moindre coût de certains tests d’évaluation technique de confidentialité que les acteurs de l’écosystème IA sont susceptibles de réaliser pour évaluer la conformité RGPD d’un modèle d’IA. Des phases de tests avec des administrations et des industriels sont prévues afin de s’assurer que le développement de l’outil se fait en cohérence avec leur contexte d’utilisation.

HUGGINGFACE : Un outil pour la traçabilité des modèles d’IA publiés en source ouverte

La CNIL a mis à disposition en décembre 2025 un outil expérimental pour explorer comment les droits des personnes (comme les droits d’opposition, d’accès ou d’effacement) pourraient être exercés si leurs informations personnelles se retrouvaient dans un modèle d’IA. Une des difficultés est que ces données peuvent être mémorisées dans un modèle en source ouverte, puis utilisées et mémorisées par d’autres modèles. Il devient donc essentiel de pouvoir naviguer dans la généalogie des modèles échangés pour pouvoir efficacement exercer ses droits.

De nombreux utilisateurs téléchargent également ces modèles pour les modifier ou les spécialiser sur une tâche spécifique à l’aide de nouvelles données. Souvent, ces nouveaux modèles sont alors à nouveau mis à disposition en source ouverte. Ainsi, chaque modèle disponible en source ouverte fait partie d’une généalogie, constituée de l’ensemble des modèles dont il provient directement ou après plusieurs modifications (ses ascendants) et auxquels il a contribué à la constitution (ses descendants). Pouvoir décrire et rechercher dans une généalogie de modèle d’IA en source ouverte est donc une étape indispensable pour comprendre comment un modèle a été constitué.

La mémorisation des modèles d’IA : application du RGPD ?

Il est souvent possible d’extraire des informations sur la base d’entraînement d’un modèle d’IA, simplement à travers un accès à ce dernier. Ce phénomène se manifeste par la régurgitation des modèles génératifs, lorsque ceux-ci génèrent des données qui sont très similaires à des éléments de la base d’entraînement. Lorsqu’un modèle a été entraîné en partie sur des données personnelles (ce qui est généralement le cas pour l’IA générative), le Comité européen de la protection des données a énoncé dans son avis qu’il faudrait considérer dans la plupart des cas que celui-ci est soumis au RGPD. Le responsable de traitement pourra néanmoins démontrer, notamment à l’aide de tests, qu’il n’est pas possible d’extraire ou déduire de données personnelles à partir du modèle et que le RGPD ne viendrait pas à s’appliquer.

Dans ce contexte, la CNIL a mené une expérimentation visant à explorer des scénarios d’exercice des droits d’opposition, d’accès ou d’effacement, pour des personnes qui seraient concernées par la mémorisation de leurs données dans un modèle d’IA en open source. La première étape pour cela vise à identifier, partant de la connaissance qu’un modèle a mémorisé les données d’une personne, les autres modèles de sa généalogie qui seraient susceptibles d’avoir également mémorisé ces données.

HUGGINGFACE

Le service IA de la CNIL a développé, en collaboration avec le Laboratoire d’Innovation Numérique de la CNIL (LINC), un outil de démonstration qui permet d’explorer la généalogie d’un modèle d’IA présent sur la plateforme HuggingFace. L’observation de la généalogie d’un modèle d’intelligence artificielle consiste à reconstituer l’historique de sa création et de ses transformations :

Cela peut être représenté sous forme d’arbre généalogique, retraçant l’ensemble des étapes qui ont conduit à un modèle open source donné. Visualiser la généalogie des modèles est une étape importante pour :

• Protéger la vie privée des personnes dont les données pourraient être mémorisées par un modèle ou contenues dans un dataset
• Assurer la traçabilité sur les chaînes de modification des modèles

HUGGING FACE : outil permettant d’établir la généalogie des modèles IA en open source et donc identifier l’impact de la mémorisation de ses données personnelles par le modèle d’origine. A condition que les liens entre modèles soient déclarés par les utiliateurs sur HuggingFace). Ce projet relève de la mission d’intérêt public dont est investie la CNIL en application du règlement général sur la protection des données et de la loi Informatique et Libertés modifiée (article 8).

Les données sont publiées à partir de l’espace CNIL sur HuggingFace.

L’observation de la généalogie d’un dataset consiste à reconstituer l’historique de sa création et de ses différentes utilisations :

• À partir de quelle(s) source(s) de données le dataset a été construit
• Quels modèles ont été entrainés sur ce jeu de données
• A quelles(s) organisation(s) appartient l’auteur qui a publié ce jeu de données

La généalogie retrace toutes les étapes et ramifications de l’utilisation d’un dataset donné.

De fait, s’il y a un risque de régurgitation des données personnelles par les modèles, il y a aussi un risque de ruissellement de ces données lorsque les modèles sont publiés et réutilisés. Dans le cadre de l’IA open-source, il semble primordial de pouvoir analyser et naviguer dans la généalogie des modèles échangés. Pour un modèle donné publié, il s’agit en premier lieu de pouvoir identifier les modèles ascendants (ceux qui ont permis la création du modèle choisi), mais également, les modèles de la descendance (les modèles créés à partir de celui-ci, c’est-à-dire les enfants, petit-enfants, etc.)

Mentions d’information sur les traitements de données à caractère personnel

Afin d’étudier le développement de la communauté de l’IA open source, et de préparer la possibilité d’exercices de droits des citoyens, le projet vise à étudier la base de données des jeux de données et modèles présents sur la plateforme HuggingFace.

• Cette base de données permet d’établir un arbre généalogique des modèles.
• Les données traitées sont le pseudonyme de l’auteur (quand il apparaît dans les métadonnées), le nom du modèle/jeu de données et plusieurs informations inhérentes à ce modèle/jeu de données telles que la date de publication, la licence utilisée ou encore le nombre de téléchargements.

Le point de départ du projet est l’étude de la base de données accessible librement sur HuggingFace, celle-ci est mise à jour quotidiennement et contient la description de tous les modèles et jeux de données publiés sur la plateforme. Elle est actuellement composée d’environ 2 millions de modèles et 500 000 jeux de données (« datasets »). Des informations descriptives sont remplies, la plupart du temps de manière déclarative par l’entité qui téléverse le modèle ou le jeu de données.

En particulier, il est possible, pour un modèle, d’indiquer à partir de quel(s) autres modèle(s) celui-ci a été constitué (version fined tuning du modèle d’origine). L’objectif est d’identifier les modèles dérivés d’un modèle d’IA utilisé par un personne et qui régurgitent les données personnelles de cette personne. L’objectif est de permettre à la personne concernée d’exercer ses droits sur ces données personnelles dans les modèles descendants (régurgitant ses données à carctère personnel par ruissellement) et pour lesquels elle ne souhaite pas qu’ils traitent ses données.

Pour être opérationnelle et être utilisées pour exercer ses droits sur ces données dans tous les modèles dérivés à partir de cette plateforme, certaines évolutions sont nécessaires pour permettre une meilleure identification des responsables de publication des modèles. L’outil propose aussi un mode « expert » qui s’adresse aux chercheurs voulant analyser les graphes de la composante connexe de certains modèles, par exemple. Cela leur permettrait d’extraire les graphes sous format HTML.

A suivre …..