Thibault Helleputte (DNAlytics): l’IA “pilule-miracle” cela n’existe pas

Pratique
Par · 20/05/2019

L’intelligence artificielle et l’apprentissage automatique (machine learning) sont présentés comme permettant de faire fondamentalement évoluer l’efficacité de la médecine. Mais cela implique un meilleur apprentissage de ce que ces technologies sont réellement et un décryptage des fausses promesses.

“Data science, artificial intelligence, and machine learning: Opportunities for laboratory medicine and the value of positive regulation”, tel est l’intitulé d’un article scientifique co-rédigé (1) par Thibault Helleputte, fondateur de la start-up DNAlytics. Le but est de passer en revue les raisons et la manière dont l’intelligence artificielle et les “data sciences” s’installent dans le monde de la “médecine de précision” ou encore dans les laboratoires cliniques et d’aborder les défis éthiques que cela pose potentiellement. 

Après avoir rappelé les principes de base de l’intelligence artificielle, de l’apprentissage automatique (supervisé ou non), les auteurs énumèrent et expliquent un certain nombre d’exemples d’applications possibles dans le monde de la médecine (diagnostics, surveillance active d’évolution de maladie, prédiction de risques, personnalisation des traitements, identification précise de candidats valables pour des tests cliniques…) mais s’attardent aussi sur les obstacles ou problèmes devant encore être résolus avant que l’IA ne soit réellement déployée: “manque de normalisation des données, différences syntaxiques et terminologiques, défis légaux, contraintes financières, inquiétudes éthiques sont sans doute les derniers obstacles au déploiement d’approches de data science dans le monde des soins de santé”.

L’intention des auteurs est notamment d’attirer l’attention du public – tant des professionnels de la médecine et de la recherche que des citoyens lambda – sur une série d’idées fausses ayant cours au sujet de l’intelligence artificielle, de l’apprentissage automatique (machine learning), des algorithmes, de leurs potentiels et de leur fonctionnement, sans oublier les conditions dans lesquelles ils sont utilisés.

Savoir de quoi on parle

Nombre de notions sont mal comprises, non seulement du grand public mais aussi des professionnels de la médecine, mettent en garde les quatre auteurs.

Attention par exemple aux modèles d’apprentissage automatique standard, “off the shelf”, parfois présentés comme des panacées. Attention aussi de s’en servir comme de boîtes noires “alors que l’apprentissage automatique requiert énormément d’adaptations et d’expertise si l’on veut obtenir des résultats solides et pertinents.

[…] Une autre tentation consiste à toujours appliquer le même modèle dès l’instant où son utilisateur en a acquis la maîtrise ou le trouve pratique pour des interprétations. Il a été prouvé qu’un type de modèle d’apprentissage automatique marchant à tous les coups n’existe pas. Il faut au contraire comparer différents types de modèles pour chaque cas. Et pour obtenir des résultats solides et pertinents, il vaut mieux faire appel à des approches personnalisées, implémentées par des spécialistes.”

Cela peut paraître évident mais les pratiques démontrent souvent le contraire, mettent en garde les auteurs.

Thibault Helleputte insiste notamment sur le fait qu’il est important de déployer des méthodes rigoureuses. Ce qui suppose aussi, de la part des personnes qui les utilisent un niveau suffisant d’expertise et de rigueur.

Une analyse critique en termes de choix de modèles et de leur utilisation est plus que nécessaire, ajoute Damien Bertrand, responsable Développement commercial chez DNAlytics.

“Les conditions de base pour une utilisation efficace de l’intelligence artificielle sont désormais présentes – volumes de données allant croissants, bibliothèques de modèles toujours plus fournies, puissance des plates-formes de déploiement…”, déclare Thibault Helleputte. “Mais il n’en reste pas moins que si on ne fait pas appel à des experts, si on utilise ces potentiels de manière trop naïve, on ne pourra pas exploiter le plein potentiel de la science des données appliquée au domaine de la santé.”

Regard critique

Gare aux belles promesses… Un modèle prédictif de machine learning présenté comme la formule miracle risque fort de n’avoir de réelle pertinence que dans des cas précis. Un modèle présenté comme ayant une précision de 99% peut en réalité être très mauvais parce que la population que l’on cible, qui souffre de cette pathologie est peut-être de un pour mille ou de 1 pour 10.000.”

Thibault Helleputte (DNAlytics): “Avoir les compétences nécessaires pour choisir soigneusement le modèle le plus adéquat et non pas simplement celui qui est présenté comme étant le plus populaire ou le plus utilisé.”

 

Pour l’utilisation des modèles, un autre piège qui nous est tendu est le suivant: “il arrive souvent que l’évaluation du modèle soit effectuée avec le même jeu de données que celui utilisé pour construire le modèle, ce qui conduit à des niveaux de performances illusoires. C’est le phénomène dit d’overfitting. Lorsque l’on utilise ensuite le même modèle sur des populations indépendantes, on obtient des performances nettement moindres.”

Seul un expert, un professionnel connaissant le domaine et capable d’appliquer les modèles adéquats pourra faire en sorte que les résultats soient satisfaisants.

Quelques conseils:
– savoir vérifier et valider si le modèle sélectionné est réellement prédictif (“certains modèles confirment simplement ce qu’on savait déjà”
– bien sélectionner la cohorte de référence (si on utilise par exemple la même cohorte pour bâtir le modèle et pour calculer un résultat prédictif, on court tout droit au faux positif
– gare à la précision qui n’en est pas une – exemple: un modèle prédictif qui semble être hautement efficace mais qui n’opère en réalité que sur un échantillon trop limité

Exemple: une appli de l’Apple Watch permet d’identifier des problèmes liés au rythme cardiaque. Elle dit détecter les risques de développer une pathologie d’arythmie. Taux d’efficacité avancé: 98%. Ce pourcentage fait en réalité référence au potentiel d’identification de cas déjà avérés. Par contre, sur une population indépendante, des études ont démontré que l’appli génère environ 50% de faux positifs. “C’est un problème en termes de rigueur mais aussi, potentiellement, de santé publique, de surcoût inutile pour la sécurité sociale…”

 

Quels conseils donner au grand public pour qu’il s’éduque mieux pour prendre conscience et arriver à maîtriser et contrer ces risques de mauvaise perception ou d’arnaque? Sans pour autant devoir en passer par des experts, des consultants…?

Thibault Helleputte: “Des initiatives de formation du genre AI Black Belt sont utiles afin d’enseigner la matière à des non spécialistes et leur procurer une culture générale, leur faire découvrir les concepts au-delà des slogans. Cela leur donne la capacité d’avoir une discussion plus efficace avec des spécialistes, d’être conscients de certains enjeux.”

 

Qu’en est-il dans le monde de la santé? Faut-il évoluer vers une sensibilisation du grand public mais aussi des milieux professionnels par le biais d’acteurs reconnus, privés ou publics, ou de travaux de comités d’éthique?

Thibault Helleputte: “Je verrais plutôt une institution qui émettrait des bonnes pratiques et des recommandations, plus qu’un organe de contrôle puisque la majorité des choses à mettre en oeuvre sont déjà reprises dans d’autres législations. Il est par contre très utile d’attirer l’attention sur certaines bonnes pratiques.”

Damien Bertrand: “C’est toute la question de la réglementation de l’IA – nécessaire ou pas? L’objectif n’est pas d’imposer trop de réglementation spécifique à cette technologie mais plutôt de faire prendre conscience aux acteurs du domaine que s’ils développent un outil de diagnostic basé sur l’intelligence artificielle, ils tombent nécessairement sous le coup de la même législation que d’autres technologies qui mènent à du diagnostic. Ce qui reste par contre nécessaire, c’est de valider les performances de l’outil.”

 

Que penser de la frilosité face à l’exploitation des données dans le domaine de la santé?

Damien Bertrand: “Le message à faire passer à des décideurs ou à des responsables d’institutions de santé (hôpitaux, Santé publique), c’est de pousser vers une collecte et une standardisation plus grande des données. C’est étonnant de constater que, quand on se connecte à Tax-on-Web, la moitié des champs sont déjà pré-remplis alors qu’on est encore loin de ce stade en matière de santé.

Or c’est possible mais cela demande une volonté politique et des grandes institutions. Et une sérénité vis-à-vis de cette problématique.

Il s’agit bien entendu d’être très prudent par rapport à des questions de respect de la vie privée quand on parle de données liées à la santé mais il y a toute une série d’éléments qu’il serait sans doute opportun de partager et de consolider à un certain niveau afin de pouvoir nourrir des outils, des technologies innovantes qui font appel à l’intelligence artificielle et qui seraient construits en respect de la vie privée et de la protection des individus.

“L’Intelligence artificielle dans le domaine de la santé fait peur à beaucoup de gens, ce qui génère de l’immobilisme ou une prudence parfois excessive par rapport au partage de données.”

 

A quel niveau voyez-vous cette plate-forme, cet environnement de partage, se mettre en oeuvre? Le projet INAH (Institute of Analytics for Health) pourrait-il être du nombre?

Thibault Helleputte: “INAH se veut un projet-pilote qui va investiguer un certain nombre de questions au travers de quelques cas d’utilisation. Mais cela restera un laboratoire dans le cadre duquel certaines approches technologiques seront investiguées.

Notre message dans l’article vise une réflexion à un plus haut niveau. Il faut encourager une certaine agilité pour envisager les possibilités de développement d’outils faisant appel à l’intelligence artificielle dans le domaine de la santé. Via des démonstrateurs et des applications qui ont prouvé leurs bénéfices et leur impact sur la santé publique, on pourra progressivement amener une certaine sérénité tant sur la manière de construire ces outils que sur leur rôle dans la santé publique.
Les deux dimensions sont complémentaires.”

 

Estimez-vous, comme d’autres, que ce serait une bonne idée de sensibiliser les plus jeunes aux possibilités, enjeux et risques de l’intelligence artificielle? Quid de l’enseignement à orientation médicale?

Thibault Helleputte: “Je trouve assez frappant que, dès le début des humanités, on sensibilise les étudiants à la chimie, à la physique, à la biologie mais pas à l’informatique. Cela pose question… Tout le monde ne doit pas devenir informaticien mais tout le monde doit avoir une culture algorithmique générale.

Pour ce qui est du monde médical, c’est parfois difficile de dialoguer avec des experts en biologie, en médecine, en chimie qui n’ont aucune notion d’informatique ou de data science. Peut-être en partie en raison du message qu’on entend, comme quoi il suffit de télécharger un programme, d’appuyer sur un bouton. Evidemment, ce n’est pas le cas. On bute alors sur une grosse difficulté à faire comprendre et expliquer les complexités de mise en oeuvre…”

“Au niveau d’un plus large public, il y a intérêt à démystifier le rôle que peut jouer l’informatique”, déclare Damien Bertrand. “Sans entrer dans les arcanes, l’algorithmique amène une manière de penser, de structurer qui est bénéfique, quelle que soit l’orientation future des jeunes…”

 

Pour le professionnel mais aussi pour le citoyen et le patient, quel regard jetez-vous sur la question de la transparence des algorithmes?

Thibault Helleputte: “C’est un peu un fantasme. Il faudrait en quelque sorte demander au patient de comprendre le mécanisme chimique du Dafalgan ! Ce n’est d’ailleurs pas uniquement vrai pour le patient… Pour un grand nombre de médicaments sur le marché, le mécanisme d’action reste inexpliqué. Mais la manière de les mettre sur le marché fait en sorte qu’ils sont sûrs et efficaces. Le système assure par ailleurs la surveillance de l’efficacité des médicaments dans le temps.

En matière de lisibilité des algorithmes, il faudra peut-être, à un moment donné, faire un choix entre un modèle très puissant mais dont on ne comprend pas toujours la prise de décision, et un modèle moins puissant mais que l’on peut expliquer. C’est un débat qu’il faudra avoir.”

Damien Bertrand: “On parle en fait de lisibilité de l’algorithme en tant que méthode et de lisibilité des résultats au regard des données qui ont été utilisées, de la manière dont l’algorithme a été entraîné à produire ces résultats. Ce qui n’est pas exactement la même chose qu’une décomposition complète.

On peut parfaitement, dans une démarche pédagogique, expliquer les fondements de la plupart des modèles utilisés dans l’intelligence artificielle, les mécanismes de raisonnement des algorithmes, et comprendre la méthodologie générale, sans rentrer dans une description pas à pas du cycle décisionnel et de la manière dont les algorithmes sont codés.”

 

Reste néanmoins le nécessaire principe de confiance… ou de l’existence d’un organe de surveillance des algorithmes qui garantisse sa pertinence et sa fiabilité…

Thibault Helleputte: “A nouveau, dans le domaine de la santé, si on développe un modèle issu du machine learning pour poser un diagnostic, cela tombe sous le coup de la réglementation européenne qui, d’une part, exige l’existence d’un dossier technique qui explique comment l’outil a été développé, et qui, d’autre part, impose que ses performances soient publiées… Cela rend d’ailleurs très difficile la mise en oeuvre du machine learning dans le cas d’un modèle qui s’améliore en continu. C’est techniquement possible mais cela va à l’encontre de la réglementation sur le diagnostic.”

Cette rigueur – notons-le – porte sur les outils “professionnels”. Un autre champ, nettement moins balisé et contrôlé, est celui du “consumer health”, ou du “fitness”, avec sa myriade d’applis librement téléchargeables, venant d’auteurs plus ou moins sérieux… “On ne parle pas à proprement parler d’acte médical. Il faut garder la tête froide par rapport au niveau d’insight que ces outils visent. Est-ce du style de vie ou de l’information médicale? Dans ce dernier cas, cela tombe dans le champ de la réglementation.”

_________________

“Data science, artificial intelligence, and machine learning: Opportunities for laboratory medicine and the value of positive regulation, Clinical Biochemistry”. L’article peut être téléchargé ou consulté via ce lien.
Les quatre auteurs de l’article sont Thibault Helleputte (DNAlytics), Damien Gruson et Patrick Rousseau (Département de Biologie médicale, Cliniques Universitaires St-Luc et UCLouvain), et David Gruson (Sciences Po Paris, maître de conférence à l’université Paris Descartes, fondateur de l’initiative Ethik IA). [ Retour au texte ]