Intelligence artificielle 192 systèmes Cerebras CS-2 mis en réseau pour mettre 163 millions de...

Pour approfondir le sujet

Skoda ouvre son laboratoire dédié à l’intelligence artificielle pour améliorer sa production de véhicules électriques

Au sein de l'Université technique d'Ostrava, en République tchèque, le constructeur automobile Skoda a inauguré un laboratoire de production par intelligence artificielle (AIM.Lab). Cette...

Recevez le numéro 5 d’ActuIA, le magazine de l’intelligence artificielle

Le numéro 5 d’ActuIA, le magazine de l’intelligence artificielle, arrive en kiosques et en version numérique le 21 septembre 2021 ! Recevez-le directement chez...

Québec : création d’une chaire de recherche en numérique de la santé pour mieux soigner les maladies rares

Mieux comprendre les maladies rares afin de mieux les diagnostiquer et les traiter efficacement constitue un défi de taille en raison de la multiplicité...

Greenly lève 3 millions de dollars pour déployer sa solution de comptabilité carbone alimentée par l’IA

Greenly, une start-up technologique spécialisée dans l'aide aux organisations à réduire leurs émissions de dioxyde de carbone, a annoncé cette semaine une levée de...

192 systèmes Cerebras CS-2 mis en réseau pour mettre 163 millions de cœurs au service de l’intelligence artificielle

Officiellement dévoilé en avril dernier, le Wafer Scale Engine V2 (inclus dans le système Cerebras CS-2) est le dernier processeur conçu par l’entreprise Cerebras, un constructeur américain de semi-conducteurs. Toujours dans une volonté d’aller plus loin et de pouvoir mettre en réseau ses processeurs, la firme annonce avoir associé jusqu’à 192 systèmes CS-2. Si une Wafer Scale Engine V2 embarque 850 000 cœurs, cette association si particulière comporte près de 163 millions de cœurs.

Le Wafer Scale Engine V2, la puce aux 850 000 coeurs gravée sur 7 nm

Le Wafer Scale Engine V1 de Cerebras mesurait 46 225 mm2 (soit un carré de 21,5 cm de côté), 1,2 billion (mille milliards) de transistors et 400 000 coeurs. En avril 2021, Cerebras annonce avoir conçu le Wafer Scale Engine V2, avec une gravure de 7 nm, ce qui a permis à l’entreprise, malgré une surface de die identique (21,5 cm x 21,5 cm) d’embarquer 850 000 coeurs et 2,6 billions de transistors.

Cerebras Water Scale Engine V2

On retrouve 40 Go de mémoire intégré (SRAM), offre une bande passante mémoire de 20 Po/s et bénéficie d’une interconnexion de 220 Pb/s. Les E/S comprennent 12 ports GbE, soit une bande passante de 1,2 Tb/s. Un seul système engloutit jusqu’à 23 kW. Afin de fonctionner, la société intègre le processeur dans le système Cerebras CS-2 dont on retrouve une illustration ci-dessous :

système Cerebras CS-2

Pour ce qui est de l’architecture, les cœurs se répartissent sous forme de tuiles, elles-mêmes disséminées au sein d’une multitude de petits dies. Chacune des tuiles a sa mémoire SRAM, son chemin de données FMAC, son propre routeur et son module de contrôle tensoriel. Chacun des cœurs est interconnecté à l’aide d’une matrice 2D.

192 Cerebras CS-2 mis en réseau pour offrir une puissance de calcul sans précédent

Selon Cerebras, un seul système Cerebras CS-2 suffit à une couche d’un réseau neuronal à 120 billions de paramètres (alors que la moyenne tourne autour d’un billion de paramètres). Si elles le souhaitent, les institutions et entreprises pourront créer un énorme supercalculateur puisque le fabricant de semi-conducteurs a réussi à réunir 192 systèmes CS-2 fonctionnant de pair.

Cela donne un réseau de 162 millions de coeurs dédiés au calcul à haute performance, ce qui offre une complexité de 120 billions de connexions potentielles. À titre comparatif, notre cerveau se “contente” de 100 billions de connexions synaptiques, soit 20 billions de moins. À noter toutefois que notre cerveau est bien moins gourmand en énergie.

Pour construire un réseau comme celui-ci, Cerebras a bâti un système de parallélisme par distribution de données pour offrir une mise à l’échelle des performances linéaires. Ainsi, les paramètres du modèle sont stockés dans des blocs MemoryX pouvant contenir entre 4 To et 2,4 Po de donnés. Chaque bloc pilote jusqu’à 32 Cerebras CS-2 et intègre de la mémoire RAM et Flash pour conserver les modèles et paramètres hors des processeurs, ce qui permet de libérer la mémoire interne de chaque puce pour exécuter les calculs.

Technologie MemoryX

Ce réseau pourrait permettre à des modèles comme GPT-3 d’être entrainés en des temps records alors qu’à l’heure actuelle, plusieurs semaines voire plusieurs mois sont nécessaires.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Zacharie Tazrout

Partager l'article

Skoda ouvre son laboratoire dédié à l’intelligence artificielle pour améliorer sa production de véhicules électriques

Au sein de l'Université technique d'Ostrava, en République tchèque, le constructeur automobile Skoda a inauguré un laboratoire de production par intelligence artificielle (AIM.Lab). Cette...

Recevez le numéro 5 d’ActuIA, le magazine de l’intelligence artificielle

Le numéro 5 d’ActuIA, le magazine de l’intelligence artificielle, arrive en kiosques et en version numérique le 21 septembre 2021 ! Recevez-le directement chez...

Québec : création d’une chaire de recherche en numérique de la santé pour mieux soigner les maladies rares

Mieux comprendre les maladies rares afin de mieux les diagnostiquer et les traiter efficacement constitue un défi de taille en raison de la multiplicité...

Greenly lève 3 millions de dollars pour déployer sa solution de comptabilité carbone alimentée par l’IA

Greenly, une start-up technologique spécialisée dans l'aide aux organisations à réduire leurs émissions de dioxyde de carbone, a annoncé cette semaine une levée de...