Intelligence artificielle Retour sur le partenariat Hugging Face et Graphcore pour faciliter le déploiement...

Pour approfondir le sujet

Sur le même thème :

L’Inria et le DFKI organisent leur première école d’été européenne autour de l’intelligence artificielle

Inria et le centre de recherche allemand en intelligence artificielle (DFKI) organisent une école d’été européenne autour de l’intelligence artificielle qui se déroulera du...

Chronopost et ILLUIN Technology : l’intelligence artificielle au service des livraisons

La société Chronopost a annoncé son entrée au capital d'ILLUIN Technology, concepteur de projets innovants autour de l'intelligence artificielle. Cette prise de participation à...

ABBYY enrichit sa bibliothèque de développement open source dédiée au machine learning

ABBYY, une multinationale spécialisée dans la conception de logiciels et dans "l'intelligence digitale", étend les capacités de sa bibliothèque de développement open source NeoML....

L’Université de Paris cherche à accélérer la recherche en cosmologie grâce aux IPU et aux réseaux de neurones

L'intelligence artificielle est de plus en plus utilisée dans l'astrophysique : récemment, plusieurs chercheurs japonais ont exploité le deep learning pour mieux observer et...

Retour sur le partenariat Hugging Face et Graphcore pour faciliter le déploiement de transformeurs sur les IPU

Graphcore a annoncé ce début de mois rejoindre le programme de partenariat de Hugging Face centré notamment sur les modèles optimisés et les intégrations logicielles. Cette collaboration permettra aux développeurs de déployer, à l’échelle de production et sur des IPU, des modèles basés sur des transformeurs.

Le secteur de l’intelligence artificielle (IA) s’est vu refaçonné avec l’arrivée des transformeurs. Des modèles tels que BERT sont employés dans le traitement automatique du langage naturel, l’extraction de caractéristiques, la génération de textes, l’analyse des sentiments, la traduction et dans bien d’autres domaines. Cependant la mise en production de ces modèles massifs et leur exécution rapide à grande échelle constituent un défi de taille.

C’est dans ce cadre que la startup Hugging Face a lancé un nouveau programme de partenariat. Ce dernier est axé, en particulier, sur les modèles optimisés et les intégrations logicielles, et Graphcore en est l’un des membres fondateurs. Du fait de cette collaboration, les développeurs exploitant des systèmes Graphcore pourront déployer, sur une plus grande échelle de production et sur un IPU, des modèles basés sur des transformeurs avoir avoir à procéder à un codage complexe.

Optimiser les transformeurs pour la production

Hugging Face héberge déjà des centaines de transformeurs, parmi lesquels CamemBERT, en langue française, ou ViT, qui applique les résultats obtenus avec le TALN à la vision par ordinateur. La bibliothèque de transformeurs est téléchargée en moyenne deux millions de fois chaque mois, et la demande est en augmentation.

Avec une communauté de plus de 50 000 développeurs, Hugging Face a connu une adoption massive, qui plus est pour un projet open source. Par le biais de son programme de partenariat, Hugging Face permet de profiter d’un kit de transformeurs de haute qualité, combiné à un matériel très évolué en matière d’IA. À l’aide d’Optimum, un nouvel ensemble d’outils open source qui inclut une bibliothèque, les développeurs peuvent accéder à des modèles optimisés et certifiés par Hugging Face.

Ces derniers sont le fruit d’une collaboration entre Graphcore et Hugging Face : les premiers modèles optimisés pour les IPU feront leur apparition au sein d’Optimum d’ici la fin 2021. À terme, ces modèles engloberont aussi bien des applications dédiées à la vision et à la parole qu’à la traduction et à la génération de textes, pour ne citer que ces exemples. Comme l’indique Clément Delangue, PDG de Hugging Face,

“Les développeurs souhaitent tous pouvoir exploiter le matériel le plus récent et le plus performant, comme l’IPU de Graphcore. Cependant, la question est à chaque fois de savoir s’il sera nécessaire de maîtriser un nouveau code ou de nouveaux processus. Avec Optimum et le programme de partenariat de Hugging Face, elle ne se pose pas. On parle essentiellement de plug and play”.

Qu’est-ce qu’une « Intelligence Processing Unit » ?

Une « Intelligence Processing Unit », ou IPU, est un processeur que l’on retrouve sur les systèmes de calcul IPU-POD pour datacenter de Graphcore. Ce nouveau type de processeur a été spécialement conçu afin de répondre aux besoins spécifiques et uniques requis pour l’IA et l’apprentissage automatique. Il se caractérise, entre autres, par un parallélisme granulaire, une arithmétique à simple précision et la prise en charge de la sparsité.

L’architecture des IPU de Graphcore diffère de l’architecture SIMD/SIMT des GPU. Il s’agit en effet d’une architecture MIMD à fort parallélisme, avec une mémoire sur puce à bande passante extrêmement élevée. Une telle conception est garante de performances d’exception et d’une efficacité inégalée, qu’il soit question des modèles les plus populaires d’aujourd’hui, comme BERT et EfficientNet, ou d’applications d’IA nouvelle génération. L’aspect logiciel joue un rôle majeur. Poplar, le kit SDK de Graphcore, a été élaboré conjointement au processeur. Il s’intègre désormais totalement aux cadres d’apprentissage automatique standard, comme PyTorch et TensorFlow, ainsi qu’à des outils d’orchestration et de déploiement tels que Docker et Kubernetes.

Poplar étant compatible avec ces systèmes tiers, largement répandus, les développeurs peuvent sans difficulté transposer des modèles provenant d’autres plateformes de calcul et, ainsi, bénéficier pleinement des fonctionnalités d’IA avancées de l’IPU.

 
Thomas Calvi

Partager l'article

Découvrez ActuIA n°8, le nouveau numéro du magazine de l’intelligence artificielle

L’été est bien là et c’est déjà l’heure du nouveau numéro d’ActuIA, votre magazine de l’intelligence artificielle ! Pour ce n°8 d’ActuIA, disponible dès...

Victor Schmidt, doctorant sous la direction de Yoshua Bengio, est le lauréat de la 6ème bourse Antidote en TAL

Druide informatique a annoncé fin mai la nomination du lauréat de la 6e Bourse Antidote en traitement automatique de la langue (TAL). Victor Schmidt,...

Retour sur le lauréat du Prix CNIL-INRIA pour la protection de la vie privée

Fin mai, François Pelligrini et Mathieu Cunche, co-présidents du Jury du Prix CNIL-Inria, ont remis le prix pour la protection de la vie privée...

La Lufthansa s’appuie sur le logiciel « Virtual Aviation Training » de NMY pour former ses équipes de cabine

La pandémie a fortement impacté les compagnies aériennes. Depuis la levée des restrictions sanitaires, elles doivent affronter un autre problème : malgré une forte...
Recevoir une notification en cas d'actualité importante    OK Non merci