Posted by Les autorités en charge de l’IA Act en France
Eléonore Scaramozzino, Avocate Constellation Avocats
Le règlement UE 2024/1689 sur l’intelligence artificielle (IA Act) vise à offrir aux utilisateurs la confiance nécessaire pour adopter des solutions fondées sur l’IA, tout en encourageant les entreprises à développer ces solutions. L’IA Act encadre des Système d’IA et des modèles d’IA à usage général, imposant des exigences pour certains systèmes d’IA en fonction du niveau de risque et des obligations pour les fournisseurs de modèles d’IA à usage général (présentant ou non un risque systèmique). Alors que les dispositions de la législation sur l’IA concernant les systèmes d’IA dépendent du contexte d’utilisation du système, les dispositions de la législation sur l’IA concernant les modèles d’IA à usage général s’appliquent au modèle lui-même, quelle que soit son utilisation finale.
Une application fondée sur les risques
Le règlement européen (UE) 2024/1689 distingue les exigences auxquelles devront répondre les systèmes d’IA en les catégorisant en fonction de leur impact potentiel, de risque minimal à inacceptable.
L’AI Act ou le règlement UE 2024/1689 sur l’intelligence artificielle définit
Système d’IA (art. 3§1) :
système automatisé, conçu pour fonctionner à différents niveaux d’autonomie et pouvant faire preuve d’une capacité d’adaptation après son déploiement, qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer différentes sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels. Autrement dit, un système d’IA peut être utilisé seul ou en tant que composant d’un produit, que le système soit physiquement incorporé dans le produit (intégré) ou qu’il serve de fonctionnalité au produit sans y être intégré (non intégré). Cette distinction facilite la compréhension des différentes catégories et des usages possibles des systèmes d’IA, en particulier dans le contexte réglementaire.
Modèle d’IA à usage général (art. 3§63) :
« un modèle d’IA, y compris lorsque ce modèle d’IA est entraîné à l’aide d’un grand nombre de données utilisant l’auto-supervision à grande échelle, qui présente une généralité significative et est capable d’exécuter de manière compétente un large éventail de tâches distinctes, indépendamment de la manière dont le modèle est mis sur le marché, et qui peut être intégré dans une variété de systèmes ou d’applications en aval, à l’exception des modèles d’IA utilisés pour des activités de recherche, de développement ou de prototypage avant leur mise sur le marché; »
Le modèle d’IA à usage général peut être intégré dans une variété de systèmes ou d’applications en aval.
Ces modèles d’IA qui nécessitent une forte capacité de calcul pour leur développement, se voient imposer des obligations de diligence complémentaires et particulières incluant notamment des obligations de transparence, de respect des droits en matière de droits d’auteur et droits voisins et de mise à disposition du public d’un résumé de la base d’apprentissage.
Modèle d’IA à risque systémique
«risque systémique», un risque spécifique aux capacités à fort impact des modèles d’IA à usage général, ayant une incidence significative sur le marché de l’Union en raison de leur portée ou d’effets négatifs réels ou raisonnablement prévisibles sur la santé publique, la sûreté, la sécurité publique, les droits fondamentaux ou la société dans son ensemble, pouvant être propagé à grande échelle tout au long de la chaîne de valeur;
Ces modèles d’IA à risque systémique sont soumis à des obligations particulières d’évaluation et de limitation des risques identifiés
Système de gouvernance du RIA
Le règlement sur l’IA établit un système de gouvernance à deux niveaux, au sein duquel les autorités nationales sont chargées de superviser et de faire respecter les règles applicables aux systèmes d’IA, tandis que les modèles d’IA à usage général relèvent de la gouvernance de l’UE.
Au niveau national : SIA
Le contrôle de la bonne mise en œuvre de ce règlement sera assuré en France par plusieurs autorités, en accord avec les orientations proposées par le règlement IA lui-même. Ainsi, le contrôle des systèmes d’IA couverts par le règlement postérieurement à cette mise sur le marché ou mise en service sera assuré par les administrations, agences et autorités sectoriellement compétentes ou pertinentes.
Le schéma retenu par le Gouvernement sera mis en œuvre, sous réserve qu’il soit accepté par le Parlement par le biais d’un projet de loi.
Les pratiques interdites de l’article 5
Le Rôle de l’ARCOM et de la DGCCRF
L’Autorité de régulation de la communication audiovisuelle et numérique et la Direction générale de la concurrence, de la consommation et de la répression des fraudes seront garantes du respect de l’interdiction de la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA qui ont recours à des techniques subliminales, délibérément manipulatrices ou trompeuses (art. 5(1a)) ; « a) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui a recours à des techniques subliminales au-dessous du seuil de conscience d’une personne, ou à des techniques délibérément manipulatrices ou trompeuses, avec pour objectif ou effet d’altérer substantiellement le comportement d’une personne ou d’un groupe de personnes en
portant considérablement atteinte à leur capacité à prendre une décision éclairée, amenant ainsi la personne à prendre une décision qu’elle n’aurait pas prise autrement, d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne, à une autre personne ou à un groupe de personnes; »
et qui exploitent les vulnérabilités liées à l’âge, au handicap ou à la situation sociale ou économique (art. 5(1b)): »b) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les éventuelles vulnérabilités dues à l’âge, au handicap ou à la situation sociale ou économique spécifique d’une personne physique ou d’un groupe de personnes donné avec pour objectif ou effet d’altérer substantiellement le comportement de cette personne ou d’un membre de ce groupe d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à un tiers«
Le Rôle de la CNIL et de la DGCCRF
Le contrôle du respect de l’interdiction de la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA destinés à l’évaluation, la classification ou la notation sociale sera assuré par la Commission nationale de l’informatique et des libertés (CNIL) et la DGCCRF (art. 5(1c)). « c) la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA pour l’évaluation ou la classification de
personnes physiques ou de groupes de personnes au cours d’une période donnée en fonction de leur comportement social ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites, la note sociale conduisantà l’une ou l’autre des situations suivantes, ou aux deux » : i) le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes de personnes dans des contextes sociaux dissociés du contexte dans lequel les données ont été générées ou collectées à l’origine;
ii) le traitement préjudiciable ou défavorable de certaines personnes ou de groupes de personnes, qui est injustifié ou disproportionné par rapport à leur comportement social ou à la gravité de celui-ci;
Le contrôle du respect des autres pratiques interdites à l’article 5 du règlement IA sera également assuré par la CNIL : police prédictive (art. 5(1d)), »d) la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation d’un système d’IA pour mener des évaluations des risques des personnes physiques visant à évaluer ou à prédire le risque qu’une personne physique commette une infraction pénale, uniquement sur la base du profilage d’une personne physique ou de l’évaluation de ses traits de personnalité ou caractéristiques; cette interdiction ne s’applique pas aux systèmes d’IA utilisés pour étayer l’évaluation humaine de l’implication d’une personne dans une activité criminelle, qui est déjà fondée sur des faits objectifs et vérifiables, directement liés à une activité criminelle »
création ou développement de bases de données de reconnaissance faciale par moissonnage non ciblé (art. 5(1e)), e) la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance »
inférence des émotions sur le lieu de travail et dans les établissements d’enseignement (art. 5(1f)) » f) la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA pour inférer les émotions
d’une personne physique sur le lieu de travail et dans les établissements d’enseignement, sauf lorsque l’utilisation du
système d’IA est destinée à être mise en place ou mise sur le marché pour des raisons médicales ou de sécurité;
catégorisation biométrique (art. 5(1g)) « g) la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes de catégorisation biométrique qui catégorisent individuellement les personnes physiques sur la base de leurs données biométriques afin d’arriver à des déductions ou des inférences concernant leur race, leurs opinions politiques, leur affiliation à une organisation syndicale, leurs convictions religieuses ou philosophiques, leur vie sexuelle ou leur orientation sexuelle; cette interdiction ne couvre pas l’étiquetage ou le filtrage d’ensembles de données biométriques acquis légalement, tels que des images, fondés sur des données biométriques ou la catégorisation de données biométriques dans le domaine répressif »
, identification biométrique à distance en temps réel à des fins répressives (art. 5(1h)). »h) l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, sauf si et dans la mesure où cette utilisation est strictement nécessaire eu égard à l’un des objectifs suivants: »
Les systèmes d’IA à haut risque
Systèmes relevant de l’annexe I
Les autorités de surveillance du marché compétentes pour les produits réglementés par les textes listés à l’annexe I du règlement voient leur périmètre élargi afin de contrôler également l’intégration de l’IA dans ces produits lorsque celle-ci conduit à une classification à haut risque au sens du règlement IA.
Consulter la liste et les informations de contact de ces autorités
De même, les autorités notifiantes compétentes pour les produits réglementés par les textes listés à l’annexe I du règlement voient également leur périmètre élargi, en ce qui concerne la notification des organismes en charge de l’évaluation de la conformité (dits « organismes notifiés »).
Consulter la liste et les informations de contact de ces autorités
Systèmes relevant de l’annexe III
Pour les domaines d’usage identifiés à l’annexe III du règlement :
- les Hauts fonctionnaires de défense et de sécurité des ministères de l’Économie, des Finances et de la Souveraineté industrielle et numérique, ainsi que des ministères de l’Aménagement du territoire et Transition écologique seront responsables du contrôle des systèmes d’IA en matière d’infrastructures critiques (ann. III(2)) ;
- l’Autorité de contrôle prudentiel et de résolution (ACPR) sera responsable des systèmes d’IA destinés à être utilisés pour évaluer la solvabilité des personnes physiques, établir leur note de crédit et évaluer les risques et la tarification en matière d’assurance-vie et d’assurance maladie lorsque l’opérateur de ces systèmes d’IA relève de la compétence de l’Autorité (ann. III(5)) ;
- le Conseil d’État, la Cour de Cassation et la Cour des comptes des systèmes d’IA mis en service ou utilisés par les autorités judiciaires à des fins d’administration de la justice (ann. III(8a)) ;
- la CNIL sera chargée du contrôle des systèmes d’IA en matière d’enseignement et de formation professionnelle avec la DGCCRF (ann. III(3)) , en matière de processus démocratiques avec l’Arcom (ann. III(8b)) , et de tous les autres systèmes d’IA relevant de cette annexe III, notamment en matière de biométrie (ann. III(1)) , d’emploi et de gestion de la main d’œuvre (ann. III(4)) , d’usages répressifs (ann. III(6)) ou de migration, asile et contrôle des frontières (ann. III(7)) .
Le règlement n’appelle pas à la désignation d’autorités notifiantes sur le périmètre des usages identifiés à son annexe III.
Les obligations spécifiques de transparence : article 50
Le rôle de la CNIL
Article 50 (3) : « 3. Les déployeurs d’un système de reconnaissance des émotions ou d’un système de catégorisation biométrique informent les personnes physiques qui y sont exposées du fonctionnement du système et traitent les données à caractère personnel conformément au règlement (UE) 2016/679, au règlement (UE) 2018/1725 et à la directive (UE) 2016/680, selon le cas. Cette obligation ne s’applique pas aux systèmes d’IA utilisés pour la catégorisation biométrique et la reconnaissance des émotions dont la loi autorise l’utilisation à des fins de prévention ou de détection des infractions pénales ou d’enquêtes en la matière, sous réserve de garanties appropriées pour les droits et libertés des tiers et conformément au droit de l’Union »
La CNIL sera chargée du contrôle des obligations applicables aux systèmes de reconnaissance des émotions ou de catégorisation biométrique en vertu de l’article 50(3) du règlement.
Le rôle de la DGCCRF et de l’ARCOM
Article 50 (1)
« 1.Les fournisseurs veillent à ce que les systèmes d’IA destinés à interagir directement avec des personnes physiques soient conçus et développés de manière que les personnes physiques concernées soient informées qu’elles interagissent avec un système d’IA, sauf si cela ressort clairement du point de vue d’une personne physique normalement informée et raisonnablement attentive et avisée, compte tenu des circonstances et du contexte d’utilisation. Cette obligation ne s’applique pas aux systèmes d’IA dont la loi autorise l’utilisation à des fins de prévention ou de détection des infractions pénales, d’enquêtes ou de poursuites en la matière, sous réserve de garanties appropriées pour les droits et libertés des tiers, sauf si ces systèmes sont mis à la disposition du public pour permettre le signalement d’une infraction pénale. »
Article 50 (2,3)
« 2.Les fournisseurs de systèmes d’IA, y compris de systèmes d’IA à usage général, qui génèrent des contenus de synthèse de type audio, image, vidéo ou texte, veillent à ce que les sorties des systèmes d’IA soient marquées dans un format lisible par machine et identifiables comme ayant été générées ou manipulées par une IA. Les fournisseurs veillent à ce que leurs solutions techniques soient aussi efficaces, interopérables, solides et fiables que la technologie le permet, compte tenu des spécificités et des limites des différents types de contenus, des coûts de mise en œuvre et de l’état de la technique généralement reconnu, comme cela peut ressortir des normes techniques pertinentes. Cette obligation ne s’applique pas dans la mesure où les systèmes d’IA remplissent une fonction d’assistance pour la mise en forme standard ou ne modifient pas de manière substantielle les données d’entrée fournies par le déployeur ou leur sémantique, ou lorsque leur utilisation est autorisée par la loi à des fins de prévention ou de détection des infractions pénales, d’enquêtes ou de poursuites en la matière.
3. Les déployeurs d’un système de reconnaissance des émotions ou d’un système de catégorisation biométrique informent les personnes physiques qui y sont exposées du fonctionnement du système et traitent les données à caractère personnel conformément au règlement (UE) 2016/679, au règlement (UE) 2018/1725 et à la directive (UE) 2016/680, selon le cas. Cette obligation ne s’applique pas aux systèmes d’IA utilisés pour la catégorisation biométrique et la reconnaissance des émotions dont la loi autorise l’utilisation à des fins de prévention ou de détection des infractions pénales ou d’enquêtes en la matière, sous réserve de garanties appropriées pour les droits et libertés des tiers et conformément au droit de l’Union. »
La DGCCRF et l’Arcom seront quant à elles chargées du contrôle des systèmes d’IA destinés à interagir directement avec des personnes (art. 50(1)) ; qui génèrent des contenus de synthèse ou qui créent des hypertrucages (art. 50(2,3)).
Article 50 (4) « 4. Les déployeurs d’un système d’IA qui génère ou manipule des images ou des contenus audio ou vidéo constituant un hypertrucage indiquent que les contenus ont été générés ou manipulés par une IA. Cette obligation ne s’applique pas lorsque l’utilisation est autorisée par la loi à des fins de prévention ou de détection des infractions pénales, d’enquêtes ou de poursuites en la matière. Lorsque le contenu fait partie d’une œuvre ou d’un programme manifestement artistique, créatif, satirique, fictif ou analogue, les obligations de transparence énoncées au présent paragraphe se limitent à la divulgation de l’existence de tels contenus générés ou manipulés d’une manière appropriée qui n’entrave pas l’affichage ou la jouissance de l’œuvre.
Les déployeurs d’un système d’IA qui génère ou manipule des textes publiés dans le but d’informer le public sur des questions d’intérêt public indiquent que le texte a été généré ou manipulé par une IA. Cette obligation ne s’applique pas lorsque l’utilisation est autorisée par la loi à des fins de prévention ou de détection des infractions pénales, d’enquêtes ou de poursuites en la matière, ou lorsque le contenu généré par l’IA a fait l’objet d’un processus d’examen humain ou de contrôle éditorial et lorsqu’une personne physique ou morale assume la responsabilité éditoriale de la publication du contenu. »
L’Arcom est par ailleurs chargée du contrôle des systèmes d’IA qui génèrent ou manipulent des textes publiés dans le but d’informer le public sur des questions d’intérêt public (art. 50(4)).
La création d’un socle de compétences techniques mutualisées
Une mutualisation avancée des compétences et outils techniques en IA et cybersécurité est mise en place par le Pôle d’expertise de la régulation numérique (PEReN) et l’Agence nationale pour la sécurité des systèmes d’information (Anssi) pour appuyer les autorités dans leurs missions de contrôle de la conformité des systèmes d’IA.
Coordination et point de contact unique article 70.2
Article 70.2 « 2.Les États membres communiquent à la Commission les autorités notifiantes et les autorités de surveillance du marché désignées et les tâches incombant à ces autorités, ainsi que toute modification ultérieure y afférente. Les États membres rendent publiques des informations sur la manière dont les autorités compétentes et les points de contact uniques peuvent être contactés, par voie électronique, au plus tard le 2 août 2025. Les États membres désignent une autorité de surveillance du marché pour faire office de point de contact unique pour le présent règlement et communiquent à la Commission l’identité du point de contact unique. La Commission publie une liste des points de contact uniques«
La DGCCRF est chargée de la coordination des autorités de surveillance du marché et jouera à ce titre le rôle de point de contact unique.
La DGE continue d’apporter son soutien à la mise en œuvre de ce texte en tant qu’autorité réglementaire en charge du règlement IA et de son rôle au sein du Comité européen de l’IA, où elle représente la France.
