Le GPU Instinct 3100X pour entraîner les LLM et le HPC
Sa version optimisée pour l'entraînement des LLM et le HPC, Instinct MI300X, compte 153 milliards de transistors, 192 Go de mémoire HBM3 à large bande passante et 12 chiplets, AMD ayant remplacé les 3 CPU Zen 4 de MI300A par deux GPU CDNA 3. Le GPU dispose également d'une bande passante mémoire de 5,2 TB/s et de 896 Go/s de bande passante Infinity Fabric.
Lisa Su affirme :
"Notre utilisation des chiplets dans ce produit est très, très stratégique".
Selon elle, Instinct MI300X fournira 2,4 fois plus de densité HBM et 1,6 fois plus de bande passante que le H100 de NVIDIA et est le premier GPU suffisamment puissant pour entraîner un LLM comme le Falcon 40B, le modèle d’IA open-source des Émirats arabes unis, développé par le Technology Innovation Institute. Ce qu'elle a démontré avec la génération d'un poème sur San Francisco.
Elle a affirmé :
"Avec plus de mémoire, plus de bande passante mémoire et moins de GPU nécessaires, nous pouvons exécuter plus de tâches d’inférence par GPU qu’auparavant. Pour les plus grands modèles, cela réduit en fait le nombre de GPU dont vous avez besoin, accélérant considérablement les performances, en particulier pour l’inférence, et réduisant le coût total".
Ajoutant :
"Un seul MI300X peut exécuter des modèles jusqu’à environ 80 milliards de paramètres en mémoire".
La plateforme Instinct
La CEO a également dévoilé la plateforme AMD Instinct qui réunit huit GPU MI300X sur une seule carte mère de serveur avec 1,5 To de mémoire HBM3. La conception de ce serveur est conforme aux normes et aux recommandations de l'Open Compute Platform.
Lisa Su commente :
"Les clients peuvent utiliser toute cette capacité de calcul d’IA en mémoire dans une plateforme standard de l’industrie qui s’intègre directement dans leur infrastructure existante".
Nos articles remonteront en priorité dans « À la une » de Google.
