L’autisme est un trouble sévère et précoce du développement qui affecte entre autres les interactions sociales. En raison de la multiplicité et de la diversité des symptômes, on parle d’ailleurs plutôt de « troubles du spectre de l’autisme » ou TSA. Pour permettre aux jeunes autistes de développer des compétences sociales et motrices dans un environnement qui soit sécurisé et maîtrisé, des scientifiques dont Guillaume Dumas ont créé « Pop’Balloons », le premier jeu vidéo sérieux en réalité mixte qui leur soit adressé.
Selon l’INSERM, l’Institut national de la santé et de la recherche médicale, près de 700 000 personnes seraient atteintes d’un TSA en France, parmi elles 100 000 ont moins de 20 ans. Actuellement, 8 000 enfants autistes naîtraient tous les ans, soit environ une personne sur 100.
Pop’Balloons est un projet qui a été dirigé par Guillaume Dumas, actuellement Professeur de psychiatrie informatique à la Faculté de médecine de l’Université de Montréal et Directeur du Laboratoire de psychiatrie de précision et de physiologie sociale du Centre de recherche du CHU Sainte-Justine. Il est également titulaire de la Chaire IVADO en intelligence artificielle et en santé mentale et membre académique associé au MILA, l’Institut québécois d’IA.
Auparavant, il était chercheur permanent en neurosciences et en biologie computationnelle à l’Institut Pasteur à Paris et à participé au développement d’Hol’Autisme, un projet visant à proposer une alternative au problème de l’expérimentation en conditions réelles, trop dangereuse pour les jeunes autistes, dont Pop’Balloons est une des applications.
Découverte d’un nouveau paradigme
On peut étudier l’activité cérébrale d’un individu avec une IRM ou à l’aide d’électrodes et de l’encéphalogramme. Auparavant, pour observer l’activité cérébrale d’une personne en interaction avec d’autres, les scientifiques, ne pouvant réunir plusieurs sujets au même endroit, en prenaient un seul et le plaçaient devant des situations d’interaction sociale enregistrées ou simulées.
Guillaume Dumas a participé au développement de la technique d’hyperbalayage ou hyperscanning qui permet aujourd’hui d’enregistrer simultanément l’activité cérébrale de 2 ou plusieurs cerveaux et ainsi d’analyser des interactions sociales réelles.
Il a non seulement mis en lumière l’existence de synchronisations entre les cerveaux lors d’interactions sociales, réalisé en 2010 les premières simulations neuro-informatiques de deux cerveaux en interaction, mais aussi introduit en 2014 un nouveau paradigme de l’interaction homme-machine inspiré des neurosciences cognitives : le Human Dynamic Clamp, testé à l’époque par des sujets neurotypiques. Ce partenaire virtuel a d’ailleurs passé le test de Turing et a réussi à être pris pour un humain…
Ce système pouvait s’adapter à différents comportements des utilisateurs, mais aussi leur faire adopter de nouveaux comportements en interagissant avec eux.
Alors que plusieurs études tendaient alors à démontrer que les différences sensorimotrices chez les personnes atteintes d’un TSA étaient la cause de leurs difficultés d’interaction, Guillaume Dumas a développé en 2020 une nouvelle méthode d’évaluation neuropsychologique du TSA assistée par une machine, qui a été testée en milieu clinique sur plus de 155 personnes et validée par les pairs.
Puisque le système d’interaction avec le partenaire virtuel avait démontré sa capacité à enseigner de nouveaux comportements, son équipe a également travaillé sur une version qui permettrait aux individus autistes de développer leur motricité.
Le jeu Pop’Balloons
Guillaume Dumas a testé ce jeu à l’Hôpital Universitaire Robert Debré, à Paris, avec des enfants autistes qui ne l’ont pas trouvé très attrayant, voire « nul ».
Avec des étudiants de l’École centrale de Paris, un prototype de jeu vidéo plus engageant a alors été créé. L’entreprise Actimage, experte dans le développement d’applications en réalité mixte, a ensuite collaboré avec l’Institut Pasteur pour une version 3D du jeu.
Un partenariat avec Microsoft, concepteur des lunettes HoloLens utilisées dans le cadre de ce jeu, a d’ailleurs été mis en place pour concevoir cette version en réalité mixte : tandis que la réalité virtuelle est immersive, la réalité mixte permet de maintenir le lien avec le réel tout en permettant d’interagir avec les hologrammes
Ainsi, le jeu Pop’Balloons propose à de jeunes autistes de partir de façon sécuritaire à la découverte de leur propre environnement. Des hologrammes de ballons s’insèrent virtuellement dans une pièce et ils sont invités à les percer. Plus les ballons sont percés avec rapidité, plus le score sera élevé. Un enfant autiste peut ainsi explorer la pièce à son rythme et y retourner autant de fois que nécessaire.
Une deuxième version a ensuite été développée en libre accès avec l’aide financière de la Fondation Orange, ce qui a permis à Guillaume Dumas de continuer à travailler sur ce jeu à Montréal lorsqu’il a été engagé comme professeur à l’UdeM.
Un jeu amélioré pour une médecine de précision
Grâce à une collaboration avec Eidos-Montréal, un studio de jeux vidéo, le jeu a été de nouveau amélioré, l’affiliation au MILA permettant de son côté d’élaborer des techniques d’apprentissage automatique plus poussées. L’équipe d’IVADO, l’institut de recherche et de transfert en intelligence artificielle, a, quant à elle, facilité l’échange de liens entre l’ Université de Montréal et l’industrie du jeu vidéo, dont l’expertise se révèle indispensable à la conception de jeux vidéos sérieux plus engageants.
Guillaume Dumas explique :
« On a ainsi pu partir du jeu vidéo et aller jusqu’à de la stratification clinique, c’est-à-dire cibler des sous-groupes de participants pour faire de la médecine de précision en santé mentale. C’est le but de mon laboratoire: comprendre la physiologie et les bases de la socialité pour créer des approches en psychiatrie qui seraient adaptées à chaque personne ».
Ce premier jeu pourrait servir de modèle pour la réalisation de jeux vidéos plus inclusifs et également favoriser la télémédecine personnalisée.
Les résultats préliminaires de stratification clinique à partir des données de Pop’Balloons feront l’objet d’une communication à NeurIPS, la prestigieuse conférence internationale dans le domaine de l’apprentissage automatique et des neurosciences informatiques.
Source de l’article : Université de Montréal (UdeM)
