Au cours de l’année écoulée, Graphcore a démontré les excellentes performances des IUP pour exécuter des réseaux de neurones graphiques (GNN) tandis que PyTorch Geometric (PyG) s’imposait comme référence sur la construction de ces réseaux… Les deux acteurs de l’IA se sont associés et annoncent l’intégration de PyG à la pile logicielle de Graphcore, permettant à leurs utilisateurs de construire, porter et exécuter leurs GNN sur des IPU.
Créée en 2016, Graphcore, société britannique de semi-conducteurs a mis au point l’Intelligence Processing Unit, ou IPU, un microprocesseur que l’on retrouve sur les systèmes de calcul IPU-POD pour datacenter de Graphcore. Spécialement conçu afin de répondre aux besoins spécifiques de l’IA et de l’apprentissage automatique, il se caractérise, entre autres, par un parallélisme granulaire, une arithmétique à simple précision et la prise en charge de la sparsité.
Les Graph Neural Networks
Les GNN (Graph Neural Networks) sont conçus pour traiter des données structurées sous forme de graphes, ce qui les différencie des autres types de réseaux de neurones qui traitent généralement des données en grille comme les images (CNN) ou des données séquentielles comme le texte ou les séries temporelles (RNN). Ils utilisent des techniques de passage de messages pour mettre à jour les caractéristiques des nœuds et des arêtes du graphe en fonction de leurs voisins, ce qui leur permet d’apprendre à prédire des propriétés du graphe ou de ses composants. Cette capacité à gérer des structures de données et des relations irrégulières distingue les GNN des autres types de réseaux de neurones.
Les GNN ont de nombreuses applications : ils peuvent, par exemple, être utilisés en chimie pour prédire les propriétés des molécules en représentant les atomes et les liaisons sous forme de graphes, pour prédire les relations entre les utilisateurs ou pour recommander du contenu en fonction de leurs interactions mais aussi pour la détection de fraudes, la recommandation de produits, la logistique et la planification de routes…
L’idée des réseaux de neurones graphiques a été introduite pour la première fois en 2009 par Franco Scarselli et al. dans leur article “The graph neural network model” Cependant, ils n’ont commencé à gagner en popularité que ces dernières années.
Selon Graphcore, l’une des raisons pour lesquelles les GNN ont mis un peu plus de temps à atteindre leur maturité que d’autres domaines de l’IA est que le calcul derrière eux s’est avéré problématique pour les architectures de processeurs héritées, principalement les processeurs et les GPU.
En 2022, cependant, d’énormes progrès ont été réalisés en utilisant les IPU de Graphcore, grâce à un certain nombre de leurs caractéristiques architecturales, notamment :
- Le processus de collecte-dispersion de l’échange d’informations entre les nœuds est essentiellement une opération de communication massive, se déplaçant autour de nombreux petits morceaux de données. La grande SRAM sur puce de Graphcore permet à l’UIP d’effectuer de telles opérations beaucoup plus rapidement que les autres types de processeurs.
- La capacité de gérer des multiplications matricielles plus petites qui sont courantes dans les applications Graph ML telles que la découverte de médicaments, mais plus difficiles à paralléliser sur les GPU qui favorisent les grandes matmuls. L’UIP excelle dans de tels calculs, grâce à sa capacité à exécuter des opérations véritablement indépendantes sur chacun de ses 1 472 cœurs de processeur.
Une collaboration Graphcore-PyG pour accélérer l’adoption du GNN
PyTorch Geometric (PyG) est une bibliothèque construite sur PyTorch pour faciliter l’écriture et l’entraînement des GNN pour un large éventail d’applications liées aux données structurées. Elle se compose de diverses méthodes d’apprentissage profond sur des graphiques et d’autres structures irrégulières, également connues sous le nom “d’apprentissage profond géométrique“, à partir d’une variété d’articles publiés et s’est rapidement imposée comme le cadre de référence pour la construction des GNN.
Graphcore a intégré PyG à sa pile logicielle, permettant aux utilisateurs de construire, porter et exécuter leurs GNN sur des IPU. Il affirme avoir travaillé dur pour rendre PyTorch Geometric aussi transparent que possible sur les interfaces utilisateur Graphcore. Sa dernière version Poplar SDK 3.2 inclut des extensions de PyG, appelées PopTorch Geometric, qui vous permettent d’exécuter PyG sur des IPU.
Il met également à disposition une gamme d’exemples de modèles à exécuter en tant que blocs-notes Paperspace Gradient. Ceux-ci couvrent la science moléculaire, les réseaux de graphes temporels, la prédiction de graphes de connaissances…
Matthias Fey, créateur de PyG et fondateur de Kumo.ai, se félicitant de ce partenariat, déclare :
“L’adéquation des IPU à l’exécution de GNN et le type d’avantage de performance démontré par Graphcore et ses clients contribuent vraiment à accélérer l’adoption de cette classe de modèles passionnante. L’intégration de PyTorch Geometric permettra aux développeurs de créer de nouveaux GNN à partir de zéro, de transférer des modèles existants vers des IPU ou de tirer parti du catalogue croissant de GNN prêts pour l’IPU“.
Modifications minimales du code
L’exécution d’un modèle PyG sur des IPU Graphcore, pour la formation ou l’inférence, ne nécessite que des modifications de code minimales par rapport à l’utilisation de PyG sur un GPU.
Le blog Premiers pas avec PyTorch Geometric (PyG) sur les IPU Graphcore – explique comment être opérationnel en quelques minutes.
Les utilisateurs qui souhaitent commencer à utiliser les GNN immédiatement peuvent également choisir parmi les modèles de carnets de notes prédéfinis en utilisant un essai gratuit de six heures sur Paperspace.
