Quand on lui demande un avis médical, ChatGPT se trompe plus d'une fois sur deux

C’est devenu un réflexe pour bon nombre d’entre nous : demander à ChatGPT son avis lorsque l’on est souffrant. Selon des chercheurs américains, l’intelligence artificielle se trompe plus d’une fois sur deux en termes de diagnostic ou de conseils.

Nous sommes nombreux à nous autodiagnostiquer grâce à des forums ou à des sites comme Doctissimo. Une simple recherche Internet, et on se découvre toutes sortes de maladies !

Depuis que des intelligences artificielles existent, il est facile de se tourner vers elles pour obtenir des réponses à nos inquiétudes médicales. Sur Tiktok, on voit des internautes demander à ChatGPT d’analyser leurs bilans sanguins ou leurs IRM, par exemple.

Une étude récente démontre que ce réflexe peut-être dangereux. Les chercheurs de l’Icahn School of Medecine, à New York, appellent à la prudence. Ils ont analysé les réponses de ChatGPT face à des situations médicales. Des cas d’urgences, mais aussi des situations moins graves.

Dans les situations d’urgence, l’IA ne donne la bonne recommandation que dans 48,4% des cas. Plus d’une fois sur deux, donc, la réponse n’est pas la bonne. Ce n’est pas mieux quand ce n’est pas urgent : seulement 35,2% de bonnes réponses. Surtout, c’est dangereux : l’intelligence artificielle peut minimiser une urgence ou au contraire, nous inquiéter inutilement.

Parmi les erreurs les plus inquiétantes, les chercheurs ont observé que l’IA sous-estimait les crises d’asthme sévères ou les complications graves du diabète. Des situations potentiellement mortelles si elles ne sont pas prises en charge rapidement.

Une intelligence artificielle ne voit pas le patient. Elle ne pose pas de questions complémentaires, comme le ferait un médecin. Elle peut produire des réponses qui semblent convaincantes même quand elles sont fausses, des informations inventées qui font illusion car formulées avec assurance.

Pourtant, d’autres études disent l’inverse et expliquent que ChatGPT peut surpasser un médecin en termes de diagnostic. Notamment une étude américaine qui date de 2024, relayée par le New York Times, qui concluait que l’IA pouvait surpasser des médecins.

Mais attention : les conditions d’études n’étaient pas les mêmes. Il s’agissait de tests en laboratoire, avec des cas cliniques déjà structurés, complets, presque « parfaits ». ChatGPT, dans cette étude de 2024, répondait à des exercices de médecine.

Dans la vraie vie, les symptômes sont flous, incomplets, parfois mal décrits. Et dans ces situations-là, l’intelligence artificielle se trompe très souvent si elle n’est pas bien aiguillée ou remise en question par l’utilisateur.

En résumé, il n’y a pas vraiment de contradiction : l’intelligence artificielle peut être performante pour répondre à une question bien posée, et beaucoup moins fiable quand il s’agit de prendre une décision médicale dans des conditions réelles.