Posted by Etudes cliniques des DM-IA
Are current clinical studies on artificial intelligence-based medical devices comprehensive enough to support a full health technology assessment? A systematic review, par Line Farah, Julie Davaze-Schneider, Tess Martin, Pierre Nguyen, Isabelle Borget et Nicolas Martelli-Elsevier-Volume 140-June 2023
Line Farah, Julie Davaze-Schneider, Tess Martin, Pierre Nguyen, Isabelle Borget et Nicolas Martelli, les auteurs ont examiné si les études actuelles visant à évaluer des DM basés sur l’IA contenaient les informations nécessaires pour une évaluation des technologies de santé par les agences d’évaluation des technologies de santé.
Les auteurs considèrent que :
- les études cliniques relatives aux dispositifs médicaux basés sur l’IA présentent des limites et manquent souvent de preuves adaptées, robustes et complètes ;
- les sets de données de haute qualité sont également nécessaires, car les données de sortie ne sont fiables que si les données d’entrée sont fiables ;
- Les cadres d’évaluation existants ne sont pas spécifiquement conçus pour évaluer les dispositifs médicaux basés sur l’IA. Ils doivent être adaptés pour évaluer l’interprétabilité, l’explicabilité, la cybersécurité et la sécurité ;
- la transparence, l’acceptation des professionnels et des patients, les questions éthiques et les changements organisationnels sont nécessaires à la mise en œuvre de ces dispositifs ;
- les évaluations économiques de l’IA devraient s’appuyer sur une méthodologie robuste (impact commercial ou modèles économiques de la santé) afin de fournir aux décideurs des preuves plus fiables.
Les auteurs considèrent que les études sur l’IA sont insuffisantes pour couvrir les prérequis de l’ETS. Les processus d’ETS doivent également être adaptés, car ils ne prennent pas en compte les spécificités importantes des DM basés sur l’IA. Ils proposent de créer des outils d’évaluation conçus pour standardiser les évaluations, générer des preuves fiables et instaurer la confiance.
Ils proposent une méthodologie standardisée d’évaluation des technologies de santé adaptée à des DM basés sur l’IA.
Généralement, les modèles d’ETS de base combinent plusieurs éléments, notamment
- les problèmes de santé
- l’utilisation actuelle de la technologie,
- la description et les caractéristiques techniques de la technologie,
- la sécurité ;
- l’évaluation clinique,
- l’évaluation économique,
- les aspects éthiques, organisationnels, sociaux et juridiques.
Les auteurs précisent que ces modèles ne suffisent pas à concevoir des études robustes et validées impliquant des dispositifs médicaux basés sur l’IA dans un contexte d’ETS. Faut-il concevoir un processus d’ETS spécifique à l’IA pour le remboursement ? La principale question liée à l’évaluation de l’IA dans les soins de santé est : « À quel besoin non satisfait le DM basé sur l’IA va-t-il répondre ? »
L’article montre que les études cliniques publiquement accessibles analysées fondées sur la sécurité, l’impact organisationnel, le coût et l’évaluation économique, sont insuffisantes pour répondre aux attentes des agences d’évaluation. Les critères doivent être adaptés pour répondre aux spécificités des DM-IA.
Evaluation de la qualité des ensembles de données nécessaires au processus d’ETS
Pour garantir une évaluation de l’IA, les études doivent inclure une justification de la taille de l’échantillon et une évaluation de la qualité des données d’entrainement pour assurer la reproductibilité des résultats.
En effet,
- la taille de la base d’apprentissage automatique permet d’identifier l’existence de risque de biais, de gestion inappropriée de données manquantes et à l’incapacité à gérer le surajustement ;
- la qualité des données d’entraînement (origine) et le processus d’évaluation de la qualité des données techniques et cliniques avant l’utilisation pour entraîner l’IA sont essentiels, mais cela ne donne pas la garantie que l’algorithme entraîné sur des jeux de données complets pourra être généralisable ou transposable en vie réelle où les sets de données pourront être incomplets, de mauvaise qualité.
Les auteurs considèrent que les exigences relatives aux systèmes de gestion de la qualité et aux systèmes de surveillance post-commercialisation doivent être renforcés.
En outre la qualité de gestion des données (collecte, stockage, confidentialité et gouvernance) doit être considérée comme un critère de qualité des DM-IA dans le processus d’évaluation des technologies de santé de ces DM, mais aussi pour la surveillance post-commercialisation, en particulier pour les algorithmes évolutifs.
Evaluation de la « Transparence –Explicabilité-Ethique »
Ils préconisent des audits réguliers, une surveillance continue et des systèmes de reporting pour évaluer :
- la sécurité,
- la qualité,
- la transparence,
- les facteurs éthiques des services basés sur l’IA.
Parmi les défis posés par l’IA, la transparence, l’interprétabilité et l’explicabilité, qui permet de comprendre pourquoi la technologie est parvenue à ce résultat, sont déterminants, pour la confiance dans ces technologies. Dès lors les auteurs soulignent que lors du processus d’évaluation, les critères suivants :
- transparence,
- interprétabilité/ explicabilité,
- éthique,
- interaction homme-IA ,
- impact organisationnel
doivent être pris en compte, en plus des critères d’ETS habituels pour les technologies de la santé (tels que l’efficacité et la sécurité) pour améliorer la confiance des patients et des professionnels de santé dans l’IA.
Evaluation économique de l’IA
Pour les auteurs, les évaluations économiques de l’IA devraient s’appuyer sur une méthodologie plus robuste, comme des modèles d’impact commercial ou des modèles économiques spécifiques à la santé, afin de fournir aux parties prenantes de la prise de décision en matière de soins de santé des preuves plus fiables.
Proposition d’intégrer de nouveaux critères dans le cadre d’évaluation des DM-IA
Les auteurs considèrent que les cadres actuels d’ETS ne sont pas adaptés à l’évaluation des DM-IA, et doivent être ajustés pour évaluer correctement ces DM en y incluant :
- interprétabilité/explicabilité
- la cybersécurité
- la sécurité clinique des mises à jour algorithmique
- l’interopérabilité
- l’acceptation par les professionnels de santé et les patients
- les questions éthiques et juridiques
Cependant certains critères précis font défaut. Comment évaluer l’impact organisationnel avec un DM-IA. En d’autres termes, comment l’IA redistribue le travail entre les professionnels de santé. L’évaluation de l’IA devrait inclure les changements organisationnels nécessaires à sa mise en œuvre, dans la pratique courante.
Recommandations sur la conception des études médicales basées sur l’IA
Les auteurs recommandent que :
- la « sécurité » devrait être systématiquement évaluée lors de l’étude clinique initiale,
- des évaluations d’impact économique et organisationnel devraient être menées ;
- des critères éthiques doivent également être intégrés aux études d’évaluation afin d’améliorer la confiance des médecins dans les technologies basées sur l’IA
Concernant les critères d’IA,
- l’évaluation du modèle en pratique clinique » et la « reproductibilité » dans d’autres environnements cliniques devraient être évaluées et clairement énoncées dans les études cliniques afin de garantir un processus d’évaluation transparent et exhaustif ;
- l’identification claire de ces critères comme critères secondaires dans les études pourrait également être mise en avant lors du processus de revue des revues académiques afin de répondre à des normes de qualité plus élevées
En conclusion, pour les auteurs, il est nécessaire de collecte des données probantes à l’aide d’une méthodologie systématique, impartiale, transparente et robuste. Pour répondre aux agences d’ETS et les acteurs de la santé, les critères devraient être adaptés pour répondre :
- 1) la qualité des ensembles de données cliniques sur lesquels reposent les performances du DM-IA
- 2) l’interprétabilité et l’explicabilité, qui déterminent l’acceptabilité par les utilisateurs,
- 3) l’interopérabilité,
- 4) la reproductibilité.
Ils recommandent la création d’outils d’évaluation précis pour standardiser l’évaluation des dispositifs médicaux basés sur l’IA
Source :