Posted by 
Guide pratique : Respect des valeurs de l’Union européenne et systèmes d’intelligence artificielle
METHODOLOGIE ET DOCUMENTS PRATIQUES DU RESPECT DES VALEURS DE L’UNION EUROPEENNE PAR LES SYSTEMES D’INTELLIGENCE ARTIFICIELLE DES LA CONCEPTION ET TOUT AU LONG DU CYCLE DE VIE
Eléonore Scaramozzino, Avocate Constellation Avocats
Baptiste Martinez, Ingénieur de recherche et Marion Ho-Dac, Professeure de droit privé, Université d’Artois, Centre droit éthique et procédures UR2471, se sont interrogés sur la manière de respecter les valeurs de l’Union Européenne dans la conception et le développement des SIA. Ils ont opté pour une identification des risques dans le cadre d’une étude d’impact du SIA sur les valeurs de l’UE (VUE), et une définition des mesures de gestion des risques permettant d’atteindre un niveau de risque acceptable, « by design ». Ils nous livrent un guide pratique du respect des VUE remarquable ! Ce guide est composé :
- une cartographie présentant certaines VUE et leurs droits et principes fondamentaux de concrétisation ;
- la méthodologie de l’étude d’impact sur les VUE à appliquer aux SIA, et sa mise en œuvre ;
- en annexe, les documents pratiques permettant de procéder à l’étude d’impact, complétés par d’autres ressources documentaires
Travail très détaillé avec le souci d’une implémentation pratique, lecture recommandée à tous les fournisseurs de SIA et à toutes les parties prenantes de l’écosystème de l’IA.
Ce travail a été soutenu par le gouvernement français dans le cadre du programme « France 2030 », au sein de l’Institut de Recherche Technologique SystemX dans le cadre du projet Confiance.ai.
Focus sur l’étude d’impact proposée par Baptiste Martinez et Marion Ho-Dac.
Les auteurs proposent une étude d’impact sur les VUE en 3 étapes pour réduire le niveau de risque identifié et adopter des mesures de protection pour tendre vers un risque acceptable. L’ensemble des résultats de ce processus doit être consigné dans un Tableau synthétique de l’étude d’impact à titre d’information des déployeurs.
L’importance des Valeurs de l’Union Européenne (VUE) dans les SIA
Les valeurs de l’UE : VUE
Respect des VUE dans le SIA
Le respect des valeurs de l’Union européenne (VUE) est au cœur de la règlementation des systèmes d’intelligence artificielle élaborée par l’Union européenne (AI Act, règl. UE 2024/1689 du 13 juin 2024). Le respect des VUE est un élément fondamental de l’encadrement juridique des systèmes d’intelligence artificielle (SIA) dans le marché européen. Le considérant 6 de l’AI Act, indiquant que « l’IA et son cadre réglementaire doivent impérativement être élaborés dans le respect des valeurs de l’Union consacrées à l’article 2 du traité sur l’Union européenne ». Certaines pratiques sont expressément considérées comme interdites par l’AI Act (article 5). La mise en œuvre de ces pratiques est interdite, car « elles sont contraires aux valeurs de l’Union relatives au respect de la dignité humaine, à la liberté, à l’égalité, à la démocratie et à l’état de droit, ainsi qu’aux droits fondamentaux consacrés dans la Charte, y compris le droit à la non-discrimination, le droit à la protection des données et à la vie privée et les droits de l’enfant » (AI Act, cons. 28). Ces systèmes d’IA ne peuvent pas être commercialisés ou mis en service.
Le respect des VUE est une préoccupation tout au long du cycle de vie du SIA, de sa conception à son retrait. Ainsi, il convient de réévaluer la conformité du SIA aux VUE, même après la première mise sur le marché, à des périodes régulières et en cas de modification substantielle du SIA.
Etude d’Impact du SIA sur les VUE
Sévérité du préjudice généré par un SIA
- absence de définition de la sévérité du préjudice dans l’IA Act,
- 4 préjudices sont considérés comme des « incidents graves » (art 3 §49 IA Act) « 49) «incident grave», un incident ou dysfonctionnement d’un système d’IA entraînant directement ou indirectement:
- a) le décès d’une personne ou une atteinte grave à la santé d’une personne;
- b) une perturbation grave et irréversible de la gestion ou du fonctionnement d’infrastructures critiques;
- c) la violation des obligations au titre du droit de l’Union visant à protéger les droits fondamentaux;
- d) un dommage grave à des biens ou à l’environnement; »
- Infraction de grande ampleur art 3§61 de l’IA Act « tout acte ou toute omission contraire au droit de l’Union en matière de protection des intérêts des personnes qui :
a) a porté ou est susceptible de porter atteinte aux intérêts collectifs des personnes résidant dans au moins deux États membres autres que celui:
i) où l’acte ou l’omission en question a son origine ou a eu lieu;
ii) où le fournisseur concerné ou, le cas échéant, son mandataire, est situé ou établi;
iii) où le déployeur est établi, lorsque l’infraction est commise par le déployeur;
b) a porté, porte ou est susceptible de porter atteinte aux intérêts collectifs des personnes, qui présente des caractéristiques communes, notamment la même pratique illégale ou la violation du même intérêt, et qui se produit simultanément, commise par le même opérateur, dans au moins trois États membres;
- Pour les risques systémiques (art 51) l’annexe XIII de l’IA Act « critères de désignation des modèles d’IA à usage général présentant un risque systémique visés à l’article 51) définit l’impact important sur le marché intérieur en raison de la portée d’un modèle d’IA en prenant en considération les utilisateurs professionnels (personnes physiques et personnes morales) ;
| « La Commission tient compte des critères suivant :a) le nombre de paramètres du modèle;b) la qualité ou la taille du jeu de données, par exemple mesurée en tokens;c) la quantité de calcul utilisée pour l’entraînement du modèle, mesurée en nombre d’opérations en virgule flottante ou indiquée par une combinaison d’autres variables telles que le coût estimé de l’entraînement, le temps estimé nécessaire à l’entraînement ou la consommation d’énergie estimée pour l’entraînement;d) les modalités d’entrée et de sortie du modèle, telles que la conversion de texte en texte (grands modèles de langage), la conversion de texte en image, la multimodalité et les seuils de l’état de l’art pour déterminer les capacités à fort impact pour chaque modalité, ainsi que le type spécifique d’entrées et de sorties (p. ex.: séquences biologiques);e) les critères de référence et les évaluations des capacités du modèle, y compris en tenant compte du nombre de tâches ne nécessitant pas d’entraînement supplémentaire, sa capacité d’adaptation à apprendre de nouvelles tâches distinctes, son niveau d’autonomie et d’extensibilité, ainsi que les outils auxquels il a accès;f) si le modèle a un impact important sur le marché intérieur en raison de sa portée, qui est présumée lorsqu’il a été mis à la disposition d’au moins 10 000 utilisateurs professionnels enregistrés établis dans l’Union;g) le nombre d’utilisateurs finaux inscrits » |
Comment déterminer l’ampleur du préjudice ?
| critère | Ampleur du risque |
| nombre de personnes physiques ou morales susceptibles de subir les conséquences du risque | important pour déterminer si le risque est – sectoriel – systémique |
| criticité du secteur infrastructure critique au sens de l’art 2, point 4) directive (UE) 2022/2557 (art 3§62 IA Act) | services essentiels définis par la directive 2022/2555 du 14.12.2022 concernant les mesures destinées à assurer un niveau élevé commun de cybersécurité dans l’UE directive SRI 2 ou NIS 2 énergie, comprenant l’électricité, les réseaux de chaleur et de froid, le pétrole le gaz et l’hydrogène,les transports, compenant les transports aériens, ferroviaires, par eau et routiers ;le secteur bancaireles infrastructures de marchés financiersla santé, l’eau potable, les eaux usées,l’infrastructure numériquela gestion des services TIC (interentreprises)l’administration publique, l’espace Risque systémique |
| combinaison de critères : nombre important de personnes + secteur critique | risque systémique ou risque sectoriel (en fonction du nombre de personnes) |
Niveau d’ampleur du risque
Niveau de gravité
Le niveau de gravité résulte de l’ampleur des conséquences
Probabilité du préjudice
Caractéristiques socio-techniques des SIA
Données et Gouvernance des données (article 10 de l’IA Act)
Transparence et fourniture d’informations aux déployeurs (AI Act, article 13)
Dans certains domaines, la transparence est présentée par l’AI Act comme un moyen de garantir le respect des droits fondamentaux et des VUE (AI Act, cons. 59, 60 et 66).
La conception et le développement des systèmes d’IA à haut risque sont tels que le fonctionnement de ces systèmes est suffisamment transparent pour permettre aux déployeurs d’interpréter les sorties d’un système et de les utiliser de manière appropriée.
Informations de la notice d’utilisation :
La notice d’utilisation accessible et compréhensible pour les déployeurs contient au moins les informations suivantes:
| l’identité et les coordonnées du fournisseur | le cas échéant, identité et coordonnées de son mandataire; |
| SIA à haut risque, notamment – les caractéristiques, – les capacités, – les limites de performance i) sa destination; ii) le niveau d’exactitude, y compris les indicateurs utilisés, de robustesse et de cybersécurité visé à l’article 15 (Exactitude, robustesse et cybersécurité) qui a servi de référence pour les tests et la validation du système d’IA à haut risque et qui peut être attendu, -toutes circonstances connues et prévisibles susceptibles d’avoir une incidence sur le niveau attendu d’exactitude, de robustesse et de cybersécurité; iii) toutes circonstances connues ou prévisibles liées à l’utilisation du système d’IA à haut risque conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, susceptibles d’entraîner des risques pour la santé et la sécurité ou pour les droits fondamentaux visés à l’article 9, paragraphe 2; | le cas échéant – les capacités et caractéristiques techniques du système d’IA à haut risque à fournir des informations pertinentes pour expliquer ses sorties; – sa performance en ce qui concerne des personnes ou groupes de personnes spécifiques à l’égard desquels le système est destiné à être utilisé; – les spécifications relatives aux données d’entrée, ou toute autre information pertinente concernant les jeux de données d’entraînement, de validation et de test utilisés, compte tenu de la destination du système d’IA à haut risque; – les informations permettant aux déployeurs d’interpréter les sorties du système d’IA à haut risque et de les utiliser de manière appropriée; |
| – les modifications du système d’IA à haut risque et de sa performance | le cas échéant : modifications et performance prédéterminées par le fournisseur au moment de l’évaluation initiale de la conformité, |
| – les mesures de contrôle humain visées à l’article 14 (Contrôle humain), | notamment les mesures techniques mises en place pour faciliter l’interprétation des sorties des systèmes d’IA à haut risque par les déployeurs; |
| – les ressources informatiques et matérielles nécessaires, la durée de vie attendue du système d’IA à haut risque toutes les mesures de maintenance et de suivi, (mises à jour logicielles) | le cas échéant, une description des mécanismes compris dans le système d’IA à haut risque qui permet aux déployeurs de collecter, stocker et interpréter correctement les journaux, conformément à l’article 12 (relatif à l’enregistrement). |
Contrôle humain (article 14)
Le contrôle humain est expressément présenté comme un moyen permettant de garantir la protection des droits fondamentaux et en conséquence les VUE.
Le contrôle humain de l’article 14 de l’IA Act
- Objectif : prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu’un système d’IA à haut risque est utilisé
- conformément à sa destination ou
- dans des conditions de mauvaise utilisation raisonnablement prévisible, en particulier lorsque de tels risques persistent malgré l’application d’autres exigences énoncées dans la présente section.
- Contrôle effectif par des personnes physiques pendant la période d’utilisation
- Les mesures de contrôle : proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation du système d’IA à haut risque, et assurées au moyen d’un ou des deux types de mesures suivants:
- a) des mesures identifiées et, lorsque cela est techniquement possible, intégrées par le fournisseur dans le système d’IA à haut risque avant la mise sur le marché ou la mise en service de ce dernier;
- b) des mesures identifiées par le fournisseur avant la mise sur le marché ou la mise en service du système d’IA à haut risque et qui se prêtent à une mise en œuvre par le déployeur.
- Conditions de fourniture du SIA à haut risque au déployeur : les personnesphysiques chargées d’effectuer un contrôle humain, dans la mesure où cela est approprié et proportionné, ont la possibilité:
- de comprendre correctement les capacités et les limites pertinentes du système d’IA à haut risque et d’être en mesure de surveiller correctement son fonctionnement, y compris en vue de détecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues;
- d’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux sorties produites par un système d’IA à haut risque (biais d’automatisation), en particulier pour les systèmes d’IA à haut risque utilisés pour fournir des informations ou des recommandations concernant les décisions à prendre par des personnes physiques;
- d’interpréter correctement les sorties du système d’IA à haut risque, compte tenu par exemple des outils et méthodes d’interprétation disponibles ;
- de décider, dans une situation particulière, de ne pas utiliser le système d’IA à haut risque ou d’ignorer, remplacer ou inverser la sortie du système d’IA à haut risque;
- d’intervenir dans le fonctionnement du système d’IA à haut risque ou d’interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée.
- Pour les systèmes d’IA à haut risque d’identification biométrique à distance ( annexe III, point 1 a),
- Exigence spécifique : les mesures sont de nature à garantir que, en outre, aucune mesure ou décision n’est prise par le déployeur sur la base de l’identification résultant du système sans vérification et confirmation distinctes de cette identification par au moins deux personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires.
- Exception : L’exigence d’une vérification distincte par au moins deux personnes physiques ne s’applique pas aux systèmes d’IA à haut risque utilisés à des fins répressives ou dans les domaines de la migration, des contrôles aux frontières ou de l’asile, lorsque le droit de l’Union ou le droit national considère que l’application de cette exigence est disproportionnée.
Pour les auteurs
Détermination du niveau de risque : probabilité x gravité
Les auteurs proposent l’évaluation du risque d’un SIA de la manière suivante :
L’évaluation du niveau de risque consiste donc à combiner ces deux facteurs : sévérité du
préjudice*probabilité du préjudice = niveau de risque. On peut ainsi obtenir un score de risque
compris entre 1 et 9, 1 correspondant au niveau le plus faible et 9 à une importance maximale
- Le résultat de la combinaison des facteurs « sévérité » et « probabilité ». Une fois que les niveaux de sévérité et de probabilité du préjudice sont définis, il est possible de déterminer le niveau de risque en se reportant au tableau suivant.
proportionnalité et l’acceptabilité du risque. L’AI Act n’exige pas que les SIA ne présentent aucun risque mais que les risques, s’il y en a, soient acceptables. L’acceptabilité du risque découle de sa proportionnalité aux autres intérêts que le SIA met en œuvre. En cas de disproportion entre le risque d’atteinte aux VUE et les intérêts mis en œuvre par le SIA, le risque doit être considéré comme étant inacceptable. Pour établir que le risque est « acceptable », c’est-à-dire proportionné, il faut réaliser un contrôle de proportionnalité. A l’issue du contrôle de proportionnalité soit
- le risque est acceptable
- le risque est inacceptable et des mesures de gestion de risque sont nécessaires
La gestion du risque dans l’IA Act : Système de gestion du risque pour les SIA à haut risque (article 9)
- Définition d’un système de gestion des risques d’IA à haut risque.
un processus itératif continu qui est planifié et se déroule sur l’ensemble du cycle de vie d’un système d’IA à haut risque et qui doit périodiquement faire l’objet d’un examen et d’une mise à jour méthodiques.
Il comprend les étapes suivantes:
a) l’identification et l’analyse des risques connus et raisonnablement prévisibles que le système d’IA à haut risque peut poser pour la santé, la sécurité ou les droits fondamentaux lorsque le système d’IA à haut risque est utilisé conformément à sa destination;
b) l’estimation et l’évaluation des risques susceptibles d’apparaître lorsque le système d’IA à haut risque est utilisé conformément à sa destination et dans des conditions de mauvaise utilisation raisonnablement prévisible;
c) l’évaluation d’autres risques susceptibles d’apparaître, sur la base de l’analyse des données recueillies au moyen du système de surveillance après commercialisation visé à l’article 72;
d) l’adoption de mesures appropriées et ciblées de gestion des risques, conçues pour répondre aux risques identifiés en vertu du point a).
- Les risques visés ne concernent que ceux qui peuvent être raisonnablement atténués ou éliminés dans le cadre du développement ou de la conception du système d’IA à haut risque, ou par la fourniture d’informations techniques appropriées.
- Les mesures de gestion des risques tiennent dûment compte des effets et de l’interaction possibles résultant de l’application combinée des exigences, en vue de prévenir les risques plus efficacement tout en parvenant à un bon équilibre dans le cadre de la mise en œuvre des mesures visant à répondre à ces exigences.
- Les mesures de gestion des risques sont telles que le risque résiduel pertinent associé à chaque danger ainsi que le risque résiduel global lié aux systèmes d’IA à haut risque sont jugés acceptables.
Pour déterminer les mesures de gestion des risques les plus adaptées, il convient de veiller à:
a) éliminer ou réduire les risques identifiés et évalués conformément au paragraphe 2 autant que la technologie le permet grâce à une conception et à un développement appropriés du système d’IA à haut risque ;
b) mettre en œuvre, le cas échéant, des mesures adéquates d’atténuation et de contrôle répondant aux risques impossibles à éliminer ;
c) fournir aux déployeurs les informations requises conformément à l’article 13 et, éventuellement, une formation.
En vue de l’élimination ou de la réduction des risques liés à l’utilisation du système d’IA à haut risque, il est dûment tenu compte
- des connaissances techniques, de l’expérience, de l’éducation et de la formation pouvant être attendues du déployeur,
- du contexte prévisible dans lequel le système est destiné à être utilisé.
Les essais des SIA à haut risque
Les systèmes d’IA à haut risque sont soumis à des essais afin de déterminer les mesures de gestion des risques les plus appropriées et les plus ciblées.
Les essais garantissent que les systèmes d’IA à haut risque fonctionnent de manière conforme à leur destination et qu’ils sont conformes aux exigences
Les procédures d’essai peuvent comprendre des essais en conditions réelles conformément à l’article 60 de l’IA Act. Les tests des systèmes d’IA à haut risque sont effectués, selon les besoins, à tout moment pendant le processus de développement et, en tout état de cause, avant leur mise sur le marché ou leur mise en service.
Les tests sont effectués sur la base d’indicateurs et de seuils probabilistes préalablement définis, qui sont adaptés à la destination du système d’IA à haut risque.
Conséquences sur les groupes vulnérables
Lors de la mise en œuvre du système de gestion des risques, les fournisseurs prennent en considération la probabilité que, compte tenu de sa destination, le système d’IA à haut risque puisse avoir une incidence négative sur des personnes âgées de moins de 18 ans et, le cas échéant, sur d’autres groupes vulnérables.
Evaluation des effets des mesures de gestion des risques
Les mesures de gestion de risque doivent être évaluées sur l’acceptabilité des risques. Elles doivent être réévaluées par rapport aux risques et à leur proportionnalité.
Les auteurs considèrent que les résultats doivent se retrouver dans le Tableau synthétique de l’étude d’impact, et notamment dans la documentation relative au SIA aux fins d’information des déployeurs et utilisateurs finaux du SIA (article 11, documentation technique et l’Annexe VI de l’IA Act)