Actualité Retour sur NEURONIC, le projet de Réseau Neuronal Binaire à base d’architecture...

Pour approfondir le sujet

Le système AutoML de Google a créé un réseau de neurones IA sans intervention humaine

Google est depuis plusieurs années un acteur fondamental de l'intelligence artificielle. À l'occasion de l'événement MadeWithAI qui s'est tenu dans les locaux de Google...

Un modèle deep learning d’Alibaba fait ses preuves dans le Global Machine Understanding Test

Alibaba Group a annoncé ce jour que l'Alibaba DAMO Academy Language Technology Lab, avait obtenu un excellent résultat dans le test de compréhension en...

Pluribus, l’IA développée par l’Université Carnegie Mellon et Facebook devient la 1re à battre l’homme au Hold’em no-limit à six joueurs

Pluribus, un bot IA développé par des chercheurs de l'Université Carnegie Mellon et de Facebook, est parvenu à battre des joueurs professionnels de haut niveau...

Atos et Google Cloud présentent leur laboratoire d’intelligence artificielle nord-américain

Atos et Google Cloud inaugurent aujourd’hui le laboratoire d’intelligence artificielle de Google Cloud au siège texan d’Atos. Ce nouveau centre de recherche s'inscrit dans...

Retour sur NEURONIC, le projet de Réseau Neuronal Binaire à base d’architecture hybride de mémoires intégrant des fonctions de calcul (CMOS/RRAM) pour la fusion de capteurs

Le projet NEURONIC, coordonné par Jacques-Olivier Klein du Centre de Nanosciences et de Nanotechnologies de l’Université Paris Sud, ambitionne la fabrication d’un accélérateur matériel de réseaux de neurones binaires à base de technologie hybride CMOS/RRAM, et utilisant le concept de calcul dans les mémoires. Il a reçu un financement de l’ANR à hauteur de 513 000 euros pour 48 mois.

Cet accélérateur permettra de réaliser de l’inférence en exploitant un concept révolutionnaire : le «XNOR-NET», avec une sobriété énergétique inégalée jusqu’ici indique l’équipe du projet réunissant l’UPSud, C2N Université Paris Sud, Centre de Nanosciences et de Nanotechnologies, l’IM2NP Institut des Matériaux, de Microélectronique et des Nanosciences de Provence et le CEA – LETI Commissariat à l’énergie atomique et aux énergies alternatives.

Résumé du projet

En intelligence artificielle les réseaux de neurones profonds sont aujourd’hui largement étudiés, mais leur simulation sur des cartes graphiques gaspille une énergie considérable lors des échanges de données entre mémoires et processeurs. Dernièrement, l’approche « XNOR-NET » a permis de remplacer les multiplications 32 ou 64 bits par des opérations booléennes, simplifiant considérablement l’architecture du circuit, limitant d’autant l’empreinte mémoire. Mais de manière assez surprenante et grâce à la redondance intrinsèque des réseaux de neurones, la simplification drastique apportée par les XNOR-NET ne dégrade que faiblement les performances.

Basé sur ce concept de XNOR-NET, dans le cadre du projet NEURONIC, nous fabriquerons un circuit intégré révolutionnaire qui réalisera de l’inférence, en évitant le transfert des poids synaptiques, grâce à des mémoires RRAM embarquées permettant un calcul local avec une approche logique dans la mémoire. Notre solution permettra un traitement minimal en énergie comparativement aux solutions actuelles qui incluent des processeurs et sont contraintes par la capacité des mémoires pour enregistrer l’historique des données et les échanges.

L’application visée est de la fusion multi-capteurs qui agrègent des données pour produire une information plus précise. Cette application se base sur l’extraction de traits caractéristiques permettant d’obtenir des tailles de réseaux réduites, adaptées aux technologies visées.
L’efficacité énergétique de notre solution sera exceptionnelle grâce aux éléments suivants :

  • Une partie des calculs sera directement effectuée avec une approche de logique en mémoire permettant d’éviter le transfert des poids synaptiques.
  • L’approche XNOR-NET permet de réduire l’empreinte mémoire autorisant le stockage des poids dans des RRAM embarquées. De plus, cette caractéristique permettra de couper l’alimentation lors de la non utilisation du circuit et d’avoir à disposition instantanément les poids synaptiques lors de la remise sous tension.
  • Le circuit étant dédié à l’inférence, l’apprentissage sera réalisé hors-ligne et une seule programmation sera nécessaire avant d’utiliser le circuit.

Nous estimons que la combinaison de ces facteurs permettrait de réduire la consommation d’un facteur x1000 par rapport à une solution classique.

Deux générations de circuits NEURONIC seront développées : la première génération utilisant des transistors comme éléments de sélection (1T1R), puis une seconde génération exploitant une technologie de sélecteurs en cours de développement (1S1R) qui permet un gain considérable en surface. L’architecture du circuit reposera sur la conception à façon des blocs mémoires et de leur logique associée selon diverses options d’organisation mémoire. L’architecture du démonstrateur complet sera ensuite définie en utilisant une approche « top-down » permettant d’intégrer les optimisations classiques des systèmes numériques, à savoir virtualisation, multiplexage et « pipe-line » pour adapter l’architecture à la complexité du réseau XNOR-NET.

Plusieurs groupes américains et asiatiques s’intéressent au concept de XNOR-NET à base de RRAM. Toutefois, les architectures proposées sont de type « cross-point » pour réaliser l’inférence de manière analogique ce qui peut entrainer des problèmes de conversion et de fiabilité. Nous estimons que notre approche entièrement numérique est plus robuste et plus efficace en terme de surface. Toutefois, cette compétition internationale permet de mesurer l’urgence de financer le projet NEURONIC.

Thomas Calvi

Partager l'article

Transformation cloud et digitale : Thales élargit son écosystème de partenaires technologiques

Thales a dévoilé de nouveaux partenaires pour aider notamment les entreprises à accélérer, réduire les risques cyber et sécuriser les initiatives de transformation numérique....

Focus sur le projet APRIORICS de l’IUCT-O Toulouse : IA et médecine personnalisée pour lutter contre le cancer du sein

Le projet APRIORICS (Apprentissage Profond Renforcé par l’ImmunohistOchimie pour la Requalification d’Images de Cancers du Sein) a pour objectif d’utiliser l’intelligence artificielle afin de décrire...

Focus pays : Webinaire « L’intelligence artificielle, instrument de relance économique en Tunisie ? »

Le 29 juillet dernier, le ministère de l'industrie et des PME, en collaboration avec le projet Innov’i – EU4Innovation, a organisé un webinaire réunissant...

Le corpus d’articles arXiv est désormais disponible sur Kaggle

Le corpus d'articles arXiv permet depuis plus de 30 ans à la communauté de chercheurs et au public d'avoir accès aux articles scientifiques dans...