Google annonce un accès limité à son LMM médical Med-PaLM 2

Le 13 avril dernier, Google a annoncé qu’un groupe restreint de clients Google Cloud aura accès à son LLM médical Med-PaLM 2 dans les semaines à venir pour des tests limités, afin d’explorer des cas d’utilisation pour étudier des moyens sûrs, responsables et significatifs d’utiliser cette technologie.

C’est lors de son événement annuel sur la santé, The Check Up, où Google a partagé des mises à jour sur l’IA en santé, notamment ses progrès dans la recherche sur le modèle médical du grand langage (LLM) qu’a été présenté Med-PaLM 2.

Le LLM Med-PaLM

Med-PaLM est une version adaptée au domaine médical de PaLM (Pathways Language Model), le LLM de 540 milliards de paramètres, entraîné avec le système Pathways par Google Research, introduit dans l’article intitulé « PaLM: Scaling Language Modeling with Pathways », publié le lundi 4 avril 2022.

Présenté en décembre 2022 par Google Research et DeepMind, Med-PaLM a été entraîné en utilisant MultiMedQA, qui combine six ensembles de données existantes sur les réponses aux questions ouvertes couvrant les examens médicaux professionnels, la recherche et les demandes des consommateurs et HealthSearchQA, un nouvel ensemble de données à réponse libre des questions médicales recherchées en ligne.

Le modèle a été le premier à obtenir une « note de passage » (avec 67,5% de bonnes réponses alors que l’on en exige 60%) aux questions-réponses à choix multiples basées sur les examens de licence médicale des États-Unis (USMLE).

Pour le tester, les chercheurs l’ont soumis, ainsi que des professionnels de santé, à une même série de questions-réponses que d’autres professionnels ont ensuite évalués. Le résultat était très proche : 92,6 % des réponses correctes pour Med-PaLM, contre 92,9 % pour les professionnels humains.

Med-PaLM 2

Med-PaLM 2 a été le premier LLM à effectuer une performance de niveau « expert » sur l’ensemble de données MedQA des questions USMLE atteignant une précision de 85%, soit une amélioration de 18% par rapport aux performances précédentes de Med-PaLM et dépassant de loin les modèles d’IA similaires. Il a été d’autre part le premier système d’IA à atteindre une note de passage sur l’ensemble de données MedMCQA comprenant des questions d’examen médical indien AIIMS et NEET, avec un score de 72,3 %.

Selon Google, bien qu’il s’agisse d’un progrès passionnant, il reste encore beaucoup de travail à faire pour s’assurer que cette technologie peut fonctionner dans des contextes réels.

Med-PaM 2 a été testé en fonction de 14 critères, notamment la factualité scientifique, la précision, le consensus médical, le raisonnement, les biais et les préjudices et évalué par des cliniciens et des non-cliniciens de divers horizons et pays. L’équipe a constaté des lacunes importantes dans les réponses aux questions médicales et se dit impatiente de travailler avec les chercheurs et la communauté médicale mondiale pour combler ces lacunes, et comprendre comment cette technologie peut aider à améliorer la prestation des soins de santé.

Recevez gratuitement l'actualité de l'intelligence artificielle

Suivez la Newsletter de référence sur l'intelligence artificielle (+ de 18 000 membres), quotidienne et 100% gratuite.


Tout comme vous, nous n'apprécions pas le spam. Vos coordonnées ne seront transmises à aucun tiers.

1ère Marketplace de l'IA et de la transformation numérique vous recommande :
SCOP - Plateforme d'optimisation de la supply chain par EURODECISION

La plateforme scop regroupe plusieurs modules en optimisation de la supply chain : - module de network design, pour l’optimisation de la localisation...

 
Partager l'article
Offre exclusive : 1 an d'abonnement au magazine ActuIA + Le guide pratique d'adoption de l'IA en entreprise pour seulement 27,60€ Boutique ActuIA Pour tout abonnement à ActuIA, recevez en cadeau le Guide Pratique d'Adoption de l'IA en Entreprise, d'une valeur de 23€ !
intelligence artificielle
À PROPOS DE NOUS
Le portail francophone consacré à l'intelligence artificielle et à la datascience, à destination des chercheurs, étudiants, professionnels et passionnés.