Google Cloud a récemment lancé le projet OpenXLA, un écosystème open source communautaire de compilateurs ML et de projets d’infrastructure visant à rendre les frameworks ML faciles à utiliser avec divers backends matériels pour un développement plus rapide, plus flexible et plus percutant.
Les logiciels exclusifs sont un frein à l'innovation en matière d'IA et ML, Google prône une approche open source. Sachin Gupta, vice-président de Google et directeur général de l’infrastructure, déclare dans un billet de blog consacré au projet :
« Chez Google, nous pensons que les logiciels libres sont essentiels pour surmonter les défis associés aux stratégies inflexibles. Et en tant que principal contributeur de la Cloud Native Computing Foundation (CNCF), nous avons plus de deux décennies d’expérience de travail avec la communauté pour transformer les projets OSS en catalyseurs accessibles et transparents pour le progrès technologique. Nous nous engageons en faveur d’écosystèmes ouverts de toutes sortes, et cet engagement s’étend à l’IA / ML - nous croyons fermement qu’aucune entreprise ne devrait posséder l’innovation en IA / ML ».
Le projet OpenXLA
Les développeurs se heurtent souvent à des incompatibilités entre les frameworks et le matériel lors de la création de solutions ML.
Le projet OpenXLA est un écosystème de compilateurs open source modulaire et axé sur la communauté codéveloppés par des leaders de l’IA / ML, notamment AMD, Arm, Google, Intel, Meta, NVIDIA...Il permettra de réduire, d’optimiser et de déployer efficacement les modèles ML de la plupart des principaux frameworks (TensorFlow, PyTorch et JAX) vers n’importe quel backend matériel, notamment les CPU, les GPU et les ASIC ML.
Les premiers objectifs
La communauté commencera par faire évoluer en collaboration le compilateur XLA, (Accelerated Linear Algebra), un compilateur d'algèbre linéaire découplé de TensorFlow, qui permet d'accélérer les modèles TensorFlow sans qu'il faille nécessairement modifier le code source.
Ainsi, dans le cas du modèle BERT, il a permis de multiplier les performances par 7 et la taille de lot par 5 pour une soumission MLPerf utilisant 8 GPU Volta V100.
Elle fera également évoluer StableHLO, un ensemble d’opérations de calcul ML portable qui facilite le déploiement des frameworks sur différentes options matérielles, inspiré du dialecte MHLO auquel il a apporté de nouvelles fonctionnalités, notamment la sérialisation et la versioning.
Au cours de la phase d’amorçage du projet en 2022, les ingénieurs de Google assumeront la responsabilité de la direction technique du projet. Des principes de collaboration, des processus de révision de code et une infrastructure communautaire pour OpenXLA seront établis en 2023 lorsque le projet quittera l’organisation TensorFlow.
Toutes les personnes impliquées dans le développement ou l’intégration avec XLA sont invitées à participer aux discussions. Pour participer, les membres peuvent demander une invitation à rejoindre l’organisation GitHub et SIG Discord, qui sera annoncée ultérieurement.
Pour plus d'informations :
https://github.com/openxla/xla
