Retrouvez le magazine de l'intelligence artificielle
Actualité L'IRT SystemX dévoile le projet Evaluation des performances de systèmes de décision...

Pour approfondir le sujet

La caméra dédiée au Deep Learning, AWS DeepLens, d’Amazon est disponible

Amazon a présenté au Amazon re:invent de novembre 2017 une caméra destinée à l'intelligence artificielle, et plus précisément à l'apprentissage profond. Mais celle-ci n'était...

LinkedIn rend TonY open source pour exécuter des jobs TensorFlow

LinkedIn a annoncé récemment avoir rendu open source TonY, son projet permettant aux chercheurs et développeurs d’exécuter facilement des jobs TensorFlow sur Hadoop, Map/Reduce...

Nouvelles collaborations académiques pour le FAIR qui se renforce dans la recherche en intelligence artificielle

Facebook AI Research (FAIR) a annoncé ce 17 juillet par un article de Yann LeCun se renforcer dans le domaine de la recherche en...

OVH propose un Meetup Machine Learning à Brest le 5 octobre

Le géant français de l'hébergement OVH propose un Meetup dédié au Machine Learning. La rencontre sera animée par Alexis Gendronnau et Guillaume Salou. Alexis Gendronneau présentera...

L’IRT SystemX dévoile le projet Evaluation des performances de systèmes de décision basés sur le machine learning (EPI)

La mobilité, le transport autonome et les environnements complexes incertains sont au coeur du projet Evaluation des performances de systèmes de décision à base d’intelligence artificielle (EPI) lancé par SystemX. Il a pour objectif d’aboutir à la définition d’une méthodologie générique partagée entre les partenaires pour l’évaluation des performances de ces algorithmes basés sur le machine learning.

À travers ce projet EPI, SystemX et ses partenaires industriels (Apsys, Expleo Assystem Technologies (Expleo), Groupe PSA et Naval Group) s’intéressent à l’évaluation et à l’optimisation des performances des systèmes de décision qui embarquent du machine learning, dans les domaines du transport autonome et des environnements complexes incertains comme le maritime. L’IRT a donc lancé le projet EPI d’une durée de trois ans. Les systèmes concernés permettent la prise de décision sur la base de l’interprétation et la reconnaissance de l’environnement par des capteurs au travers de l’intelligence embarquée. L’évaluation des performances de cette intelligence est clé pour s’assurer du bon fonctionnement du système.

Ce projet aboutira à la définition d’une méthodologie générique partagée entre les partenaires pour l’évaluation des performances de ces algorithmes. Deux Proof of Concept (PoC, preuve de concept) seront réalisées dans les domaines du transport autonome routier et maritime.

Réunissant quatre partenaires industriels autour de l’intérêt commun d’évaluer les performances des systèmes de décision à base d’IA, le projet EPI piloté par SystemX sert trois objectifs :

  • Évaluer la performance de systèmes de décision reposant sur des algorithmes de type réseaux de neurones (ex : représentation exacte de la réalité, latence du système, sûreté de fonctionnement, etc.).
  • Améliorer la performance des systèmes de réseaux de neurones en mixant données réelles et données simulées. En effet, la simulation numérique permet d’accroître le corpus de données étudiées et ainsi d’augmenter les performances des algorithmes.
  • Proposer une approche pour évaluer le niveau de couverture de situations approprié, sur la base de deux cas d’applications. Dans le domaine du véhicule autonome, la fonction étudiée sera de type autopilote. Dans le cas du martime, la fonction décisionnelle reste à définir mais pourra concerner les entrées ou sorties de port, les zones denses et multi-navires, etc.

L’ambition partagée des acteurs du projet est de bâtir une méthodologie d’évaluation des performances des systèmes de décision à base de machine learning. Cette méthode doit garantir l’indépendance entre les données d’apprentissage (simulées) et les données de test (données réelles) et assurer la traçabilité et la reproductibilité des résultats.

« À ce jour, il n’existe pas de projet comparable au niveau national : la méthodologie développée dans le cadre du projet EPI sera validée dans un contexte industriel sur la base de données réelles et simulées. Notre ambition est que cette méthodologie devienne d’ici quelques années le standard en France pour certifier les systèmes de décision à base d’IA », explique Abdelkrim Doufene, Directeur Stratégie et Programmes chez SystemX.

Parmi les verrous à lever dans le cadre de ce projet :

  • Comment entraîner un réseau de neurones, sélectionner le mélange optimal entre des données réelles, les données simulées, et les données générées par un autre réseau de neurones adverse ?
  • Comment définir la donnée de simulation (et sa qualité) dans un environnement incertain et complexe ? Comment évaluer l’impact de la donnée d’entrée sur la qualité des décisions ?
  • Comment optimiser le choix des exemples à simuler pour bien couvrir le périmètre de validité du modèle machine learning sans traiter la quantification des probabilités d’occurrence ? Quels sont les critères d’optimisation ?
  • Comment évaluer le niveau de couverture de situations, et garantir l’indépendance entre les données d’apprentissage et les données de test ? Quelles sont les métriques nécessaires pour mesurer les niveaux de couverture ?
  • Ou encore comment quantifier la performance et la fiabilité de la méthode d’évaluation des performances des algorithmes de décision à base d’IA ?

Le projet EPI va contribuer à consolider l’expertise de l’IRT SystemX dans la conception et validation des systèmes de transport autonome, notamment en procédant au rapprochement des filières automobiles et maritimes. Ce projet contribuera également à évaluer l’apport de l’intelligence artificielle pour le renforcement de la sécurité de ces systèmes.

Thomas Calvi

Partager l'article

Adoption massive des projets d’IA dans les entreprises, l’enquête d’Axians France et HPE

Axians France (VINCI Energies) et HPE ont mené entre juin et juillet 2020 une enquête sur l'évolution des projets IA dans les entreprises françaises....

Devoteam et Télécom SudParis lancent la Chaire d’enseignement « Interpretable AI for Mission-Critical Applications »

Devoteam et Télécom SudParis ont annoncé la création d’une nouvelle Chaire d’enseignement intitulée “​Interpretable AI for Mission-Critical Applications​”. D’une​ durée de 3 ans, elle...

Charles Bouveyron devient le nouveau Directeur de l’institut 3IA Côte d’Azur succédant à Jean Marc Gambaudo

Charles Bouveyron est devenu en début de mois le nouveau Directeur du 3IA Côte d’Azur. Fort de son expérience au sein de l’écosystème d’Université...

Intelligence artificielle et technologies des langues : l’ordinateur passe la barrière de la langue

Ce 12 janvier 2021, le GdR TAL organise une journée consacrée aux récentes avancées des technologies des langues pour des applications au cœur de...