Les modèles de langage pré-entraînés font l’objet d’une attention croissante pour traiter l’abondance des données dans le domaine biomédical. Alors que la majorité des recherches actuelles utilisent des modèles BERT, Microsoft Research a décidé de s’appuye...