Intelligence artificielle 192 systèmes Cerebras CS-2 mis en réseau pour mettre 163 millions de...

Pour approfondir le sujet

Sur le même thème :

IBM lance ses nouveaux serveurs conçus pour l’intelligence artificielle

IBM fait de nouveau le pari de l'intelligence artificielle en dévoilant de nouveaux systèmes construits autour de son processeur Power9. Baptisés Power Systems AC922, ils...

Intel présente ses nouveaux processeurs de troisième génération développés grâce à sa plateforme de data centers

Les nouveaux processeurs Intel Xeon Scalable de troisième génération ont été récemment présentés. Ils offrent en moyenne 46% de performances supplémentaires par rapport à...

NVIDIA annonce son nouveau processeur ARM “Grace” à destination des data centers pour 2023

Une semaine riche en événements pour NVIDIA qui a annoncé la sortie en 2023 d'un CPU ARM, le premier de sa conception. Baptisé Grace,...

OpenAI optimise les GPU afin d’accélérer les réseaux de neurones

OpenAI a dévoilé sur son blog le 6 décembre dernier un programme permettant de construire des réseaux de neurones plus rapides et plus efficaces. Les...

192 systèmes Cerebras CS-2 mis en réseau pour mettre 163 millions de cœurs au service de l’intelligence artificielle

Officiellement dévoilé en avril dernier, le Wafer Scale Engine V2 (inclus dans le système Cerebras CS-2) est le dernier processeur conçu par l’entreprise Cerebras, un constructeur américain de semi-conducteurs. Toujours dans une volonté d’aller plus loin et de pouvoir mettre en réseau ses processeurs, la firme annonce avoir associé jusqu’à 192 systèmes CS-2. Si une Wafer Scale Engine V2 embarque 850 000 cœurs, cette association si particulière comporte près de 163 millions de cœurs.

Le Wafer Scale Engine V2, la puce aux 850 000 coeurs gravée sur 7 nm

Le Wafer Scale Engine V1 de Cerebras mesurait 46 225 mm2 (soit un carré de 21,5 cm de côté), 1,2 billion (mille milliards) de transistors et 400 000 coeurs. En avril 2021, Cerebras annonce avoir conçu le Wafer Scale Engine V2, avec une gravure de 7 nm, ce qui a permis à l’entreprise, malgré une surface de die identique (21,5 cm x 21,5 cm) d’embarquer 850 000 coeurs et 2,6 billions de transistors.

Cerebras Water Scale Engine V2

On retrouve 40 Go de mémoire intégré (SRAM), offre une bande passante mémoire de 20 Po/s et bénéficie d’une interconnexion de 220 Pb/s. Les E/S comprennent 12 ports GbE, soit une bande passante de 1,2 Tb/s. Un seul système engloutit jusqu’à 23 kW. Afin de fonctionner, la société intègre le processeur dans le système Cerebras CS-2 dont on retrouve une illustration ci-dessous :

système Cerebras CS-2

Pour ce qui est de l’architecture, les cœurs se répartissent sous forme de tuiles, elles-mêmes disséminées au sein d’une multitude de petits dies. Chacune des tuiles a sa mémoire SRAM, son chemin de données FMAC, son propre routeur et son module de contrôle tensoriel. Chacun des cœurs est interconnecté à l’aide d’une matrice 2D.

192 Cerebras CS-2 mis en réseau pour offrir une puissance de calcul sans précédent

Selon Cerebras, un seul système Cerebras CS-2 suffit à une couche d’un réseau neuronal à 120 billions de paramètres (alors que la moyenne tourne autour d’un billion de paramètres). Si elles le souhaitent, les institutions et entreprises pourront créer un énorme supercalculateur puisque le fabricant de semi-conducteurs a réussi à réunir 192 systèmes CS-2 fonctionnant de pair.

Cela donne un réseau de 162 millions de coeurs dédiés au calcul à haute performance, ce qui offre une complexité de 120 billions de connexions potentielles. À titre comparatif, notre cerveau se “contente” de 100 billions de connexions synaptiques, soit 20 billions de moins. À noter toutefois que notre cerveau est bien moins gourmand en énergie.

Pour construire un réseau comme celui-ci, Cerebras a bâti un système de parallélisme par distribution de données pour offrir une mise à l’échelle des performances linéaires. Ainsi, les paramètres du modèle sont stockés dans des blocs MemoryX pouvant contenir entre 4 To et 2,4 Po de donnés. Chaque bloc pilote jusqu’à 32 Cerebras CS-2 et intègre de la mémoire RAM et Flash pour conserver les modèles et paramètres hors des processeurs, ce qui permet de libérer la mémoire interne de chaque puce pour exécuter les calculs.

Technologie MemoryX

Ce réseau pourrait permettre à des modèles comme GPT-3 d’être entrainés en des temps records alors qu’à l’heure actuelle, plusieurs semaines voire plusieurs mois sont nécessaires.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Zacharie Tazrout

Partager l'article

IA et Musique : Soundcloud, plateforme de streaming audio musicale, annonce l’acquisition de Musiio

L'IA pour la musique est un sujet qui passionne, nous lui avons d'ailleurs consacré un dossier dans le dernier numéro d'ActuIA, actuellement en vente...

Focus sur la solution Tekimpact qui vise à accélérer l’innovation technologique des entreprises

La SATT CONECTUS, société alsacienne d'accélération du transfert de technologie, et la startup TEKIMPACT ont signé une licence exclusive pour l’exploitation mondiale d’une technologie...

Transition énergétique : Autogrid annonce son rachat par Schneider Electric

Début, Autogrid, société pionnière de l'optimisation basée sur l'IA pour les ressources énergétiques distribuées (RED), qui s'est donné pour mission d'accélérer l'accès aux énergies...

Atos annonce le lancement d’« Atos Business Outcomes-as-a-service » développé en collaboration avec Dell Technologies

Début mai, Atos a annoncé le lancement d’Atos Business Outcomes-as-a-Service ( Atos BOaaS ), une offre 5G, Edge et IoT développée conjointement avec Dell...
Recevoir une notification en cas d'actualité importante    OK Non merci