Posted by IA : Recommandations de bonnes pratiques de « l’éthique by design »
Eléonore Scaramozzino, Avocat, Constellation Avocats
Recommandations de bonnes pratiques pour intégrer l’éthique dès le développement des solutions d’Intelligence Artificielle en Santé : mise en œuvre de « l’éthique by design »
Présentation des travaux du GT3 de la Cellule éthique du numérique en santé de la Délégation ministérielle au Numérique en Santé Avril 2022, piloté par David Gruson, Directeur Programme Santé LUMINESS Fondateur Ethik-IA et Brigitte Séroussi, Directrice de Projets DNS -Responsable de la Cellule Ethique.
Guide méthodologique : sur la régulation de l’IA
Ce rapport recense l’ensemble des exigences éthiques requises par les solutions d’IA en santé au double sens du « by design », à la phase de la conception, pour intégrer des valeurs éthiques dans l’architecture matérielle et logicielle des systèmes, et à la phase de validation des solutions.
Ce guide s’adresse en priorité aux acteurs souhaitant implémenter des solutions d’IA basées sur des algorithmes ayant été entraînés à partir de données massives (IA connexionniste).
Définition de l’IA
L’IA des années 70-80 était une IA essentiellement symbolique qui s’appuyait sur un raisonnement logique, en exploitant les connaissances préexistantes modélisées dans une base de connaissances
A partir de la caractérisation d’un problème à résoudre, le moteur d’inférences parcourt la base de connaissances et propose la solution adaptée. L’IA symbolique est explicable.
En revanche, l’IA connexionniste incarnée par l’apprentissage automatique (ou machine learning, ML), illustré par des algorithmes d’apprentissage profond et des réseaux de neurones entraînés à partir de données massives, s’appuie sur des calculs est souvent comparée à une « boîte noire » dont les résultats sont difficiles à expliquer
Il existe plusieurs types d’apprentissage : § L’apprentissage supervisé consiste à apprendre à une machine à catégoriser des objets à partir d’un grand nombre d’objets préalablement étiquetés (la catégorie de chaque objet est connue). Pendant la phase d’apprentissage, l’algorithme est calibré pour adapter ses paramètres de catégorisation aux données fournies. Cet algorithme est ensuite utilisé pour catégoriser de nouveaux objets. § L’apprentissage non supervisé consiste à fournir à la machine un grand nombre d’objets non catégorisés. Le système va repérer des régularités, des proximités, des corrélations pour construire un algorithme de classification basée sur la ressemblance (les objets qui se ressemblent seront dans la même catégorie). § Dans le cas de l’apprentissage par renforcement, le système va induire le comportement d’un « agent » (par exemple un robot) évoluant dans un « environnement » donné (par exemple dans une pièce où il doit manipuler des objets) qui apprend grâce à un système de « récompense ».
L’IA généraliste qui rapproche l’IA symbolique et l’IA connexionniste est le prochain enjeu stratégique de la recherche en IA (IA explicable). En même temps, les systèmes de ML devraient évoluer pour aller vers des systèmes devenant plus proactifs et axés sur la récompense, apprenant continuellement à répondre à des applications de plus en plus complexes. Ils nécessiteront de fait plus de surveillance pour s’assurer qu’ils fonctionnent comme prévu.
Exclusion du champ d’application du guide méthodologique : IA en apprentissage continu
Le thème relatif aux solutions d’IA “en apprentissage continu” (ou systèmes d’IA “en adaptation constante” ou autoapprenants), a finalement été exclu du périmètre de ce guide de bonnes pratiques. Sont étudiées dans ce document uniquement les solutions, qui en l’absence de caractère évolutif en continu, ne nécessitent pas de mettre en place des mécanismes d’évaluation à plusieurs reprises au cours du cycle de vie de la technologie
Articulation Recommandation, RGPD et Règlement Dispositifs médicaux
Pour chacune des étapes identifiées, un certain nombre de critères sont déjà partiellement couvert par le RGPD et le règlement UE 2017/745 en ce qui concerne les solutions d’IA qui sont des dispositifs médicaux (DM). Afin de produire des recommandations de bonnes pratiques qui soient « auto-suffisantes », le groupe de travail 3 dédié à l’éthique en santé a néanmoins fait le choix d’intégrer ces critères partiellement couverts aux questionnements éthiques présentés dans ce guide
Cellule éthique de la DNS
Afin de répondre à ces objectifs, la Délégation ministérielle au Numérique en Santé du Ministère des Solidarités et de la Santé (DNS) s’est dotée d’une cellule Ethique. Cette cellule a pour mission de faire de l’éthique un élément central du virage numérique en santé, notamment grâce à l’élaboration d’outils pratiques de sensibilisation, d’évaluation et de labellisation éthique à destination des professionnels de santé, des industriels, des usagers du système de santé et des pouvoirs publics. Des travaux sur l’éthique du numérique sont, par ailleurs, engagés dans d’autres cadres comme le Comité pilote d’éthique du numérique.
Modélisation des étapes de développement d’une solution d’IA en santé
4 étapes viennent construire la solution d’IA dans toutes ses composantes :
Chaque étape donne lieu à des questions éthiques qui nécessitent l’adoption de mesures
Etape n°1 : Collecte des données
Le guide propose de s’interroger sur l’adoption de mesures visant à garantir :
- la qualité des données d’entrainement,
- l’origine des données et le respect des principes du RGPD,
- la réduction des biais,
- la sécurité : cyber-attaques,
- l’hébergement et la non-réutilisation non éthique des données.
Chaque question nécessite l’adoption d’une mesure spécifique
Etape n°2 : Pré-traitement (préparation) des données
L’objectif est donc de mettre en forme les données en vue de l’étape de construction de l’algorithme.
Plusieurs questions doivent permettre de définir les mesures de prétraitements pour réduire les risques de biais dans la construction de l’algorithme.
Une documentation sous forme de réponses à un questionnaire vise à assurer un traçage et être en capacité d’améliorer la qualité de jeux des données d’entraînement.
Le guide mentionne la possibilité d’instituer un comité consultatif regroupant les acteurs du système de santé et les développeurs des technologies embarquant l’IA. Ce comité peut notamment contribuer à normaliser les procédures de traitement de données quand il est question d’optimisation de logiciels destinés au secteur de la santé, et en assurer la reproductibilité par les éditeurs de logiciels.
Etape n°3 : Construction de l’algorithme : choix d’un algorithme d’apprentissage en adéquation avec la finalité
Exigence de transparence pour les IA connexionnistes (entraînées à partir de données massives) : traçage des étapes de la construction et explicabilité des procédures mises en place
Pour pallier les difficultés d’explicabilité de ces algorithmes, des critères précis issus de l’auditabilité ou encore des indicateurs de détection des dérives et d’adaptabilité pourront être proposés.
Cet effort de transparence devra être effectué tout au long du cycle de vie du produit et également sur les versions incrémentales ultérieures. La cellule éthique du numérique en santé propose que les codes sources de l’algorithme soient publiés par l’industriel et que leurs protections soient assurées par l’agence pour la protection des programmes (APP).
Etape 4 : Evaluation de l’algorithme
L’évaluation de l’algorithme en amont de la mise en production de la solution numérique : étape cruciale dans le développement du produit.
Les évaluateurs auront la responsabilité de procéder aux tests permettant de s’assurer que le comportement de la technologie est en adéquation avec les enjeux sécuritaires et éthiques liés à l’intelligence artificielle.
Garantir la mise en œuvre du principe de garantie humaine (art L 4001-3 du CSP)
L’implémentation de la garantie humaine nécessite de garantir l’autonomie décisionnelle du praticien. Le guide préconise de décrire en détail tout effet de l’interaction entre l’homme et la solution d’IA sur les résultats, y compris le niveau d’expertise requis pour comprendre les résultats et toute formation et/ou instruction qui devrait être fournie à cette fin.
Les informations produites par les interventions de comparaison doivent être décrites de manière similaire, avec une explication de la manière dont ces informations ont été utilisées pour arriver à des décisions cliniques sur la prise en charge des patients, le cas échéant.
Toute divergence entre la manière dont la décision a été prise et la manière dont elle devait l’être (c’est-à-dire comme spécifié dans le protocole d’essai) doit être signalée.
Source : Recommandations de bonnes pratiques pour intégrer l’éthique dès le développement des solutions d’Intelligence Artificielle en Santé : mise en œuvre de « l’éthique by design »Présentation des travaux du GT3 de la cellule éthique du Numérique en santé DNS avril 2022
Pour toute information complémentaire vous pouvez contacter l’auteur par mail : escaramozzino@constellation.law