Intelligence artificielle OpenAI optimise les GPU afin d'accélérer les réseaux de neurones

Pour approfondir le sujet

Sur le même thème :

L’Université de Paris cherche à accélérer la recherche en cosmologie grâce aux IPU et aux réseaux de neurones

L'intelligence artificielle est de plus en plus utilisée dans l'astrophysique : récemment, plusieurs chercheurs japonais ont exploité le deep learning pour mieux observer et...

NVIDIA annonce son nouveau processeur ARM “Grace” à destination des data centers pour 2023

Une semaine riche en événements pour NVIDIA qui a annoncé la sortie en 2023 d'un CPU ARM, le premier de sa conception. Baptisé Grace,...

IBM annonce une nouvelle puce gravée en 2 nanomètres visant de hautes performances

IBM a présenté une nouvelle puce mesurant 2 nanomètres qui permettrait au groupe américain de dépasser une nouvelle frontière en ce qui concerne les...

Le jeu vidéo AI Dungeon met à jour son intelligence artificielle pour lutter contre les contenus choquants

AI Dungeon est un jeu d'aventure texte open source sorti fin 2019. Il a la particularité d'utiliser le modèle de génération de texte GPT-3...

OpenAI optimise les GPU afin d’accélérer les réseaux de neurones

OpenAI a dévoilé sur son blog le 6 décembre dernier un programme permettant de construire des réseaux de neurones plus rapides et plus efficaces.

Les matrices creuses pour accélérer le deep learning

Les réseaux de neurones, modelés sur le fonctionnement du cerveau humain, sont couramment utilisés dans le cadre du développement de systèmes d’intelligence artificielle, notamment via le deep learning. Les chercheurs d’OpenAI, Scott Gray, Alec Radford and Diederik P. Kingma, ont travaillé sur une nouvelle méthode permettant de rendre ces réseaux de neurones plus efficaces.

Pour cela, ils ont introduit dans leur conception des matrices creuses. Il s’agit d’une matrice contenant beaucoup de zéros. Très utilisées en analyse combinatoire et en théorie des réseaux notamment, les matrices creuses ont une faible densité de connections. Les données peuvent être compressées et contournées dans les multiplications de matrices. Cela permet d’utiliser moins de mémoire au niveau des GPU et d’économiser sur le calcul et par conséquent de mettre à profit ces bénéfices pour créer des réseaux de neurones profonds pouvant être entraînés de façon plus efficace. Les réseaux de neurones peuvent en effet faire fonctionner les algorithmes dix fois plus rapidement qu’une matrice classique.

OpenAI

Les block sparse GPU kernels

Ce constat effectué, les chercheurs d’OpenAI ont créé des “block sparse GPU kernels”. Ces noyaux optimisés permettent de créer sur des cartes graphiques Nvidia des réseaux de neurones basés sur les matrices creuses qui jusqu’alors ne les supportaient en effet pas. Codés en CUDA, le langage de programmation de Nvidia, les noyaux optimisés d’OpenAI sont pour l’instant uniquement compatibles avec le framework deep learning TensorFlow et supportent seulement les GPUs de Nvidia.

“Nous lançons des noyaux de GPU optimisés pour une gamme d’architecture de réseaux de neurones sous-explorée: les réseaux avec block-sparse weights.

Les noyaux permettent une évaluation et une différentiation efficace des couches linéaires (incluant les couches de réseaux convolutifs) avec des réglages flexibles. Nous avons découvert que selon la dispersion, ces noyaux peuvent exécuter des ordres de grandeur plus vite que les meilleures alternatives disponibles telles que cuBLAS.

Grâce à l’utilisation de noyaux optimisés, nous sommes parvenus à améliorer au-delà de l’état de l’art dans les domaines de l’analyse de sentiments dans le texte ou la modélisation générative de texte et d’images. En diffusant nos noyaux en open source, nous espérons aider à la conception de nouveaux modèles et algorithmes”

Fondée par Elon Musk, l’organisation de recherche en intelligence artificielle à but non lucratif cherche à promouvoir et à développer une intelligence artificielle au service du plus grand nombre. Ce faisant, les chercheurs d’OpenAI collaborent à divers organismes.

Leurs recherches et brevets sont partagés avec le grand public pour que d’autres puissent les utiliser. C’est le cas de ces block-sparse GPU kernels, disponibles sur GitHub. Le partage de ces noyaux optimisés devraient permettre à la communauté de chercheurs de se plonger dans les architectures de réseaux de neurones et d’obtenir davantage de données concernant les résultats de l’utilisation des matrices creuses en deep learning.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Johanna Diaz

Partager l'article

Atos annonce le lancement d’« Atos Business Outcomes-as-a-service » développé en collaboration avec Dell Technologies

Début mai, Atos a annoncé le lancement d’Atos Business Outcomes-as-a-Service ( Atos BOaaS ), une offre 5G, Edge et IoT développée conjointement avec Dell...

Auvergne-Rhône-Alpes : Minalogic et Visiativ annoncent un partenariat pour l’innovation et la transformation digitale des entreprises

Minalogic, pôle de compétitivité des technologies du numérique de la région Auvergne-Rhône-Alpes, et Visiativ, spécialiste de la transformation numérique et de l'innovation pour les...

Une équipe de l’Université de Columbia a développé un algorithme d’IA pour lutter contre les microphones indiscrets

Il arrive que nous recevions des publicités sur un produit ou un service alors que nous en avons discuté peu de temps avant avec...

Qualcomm a dévoilé la plateforme Qualcomm Robotics RB6 et la conception de référence Qualcomm RB5 AMR lors du « 5G Summit » 2022

C'est lors de son évènement annuel « 5G Summit » qui s'est déroulé à San Diego, en Californie, que Qualcomm a dévoilé une feuille...
Recevoir une notification en cas d'actualité importante    OK Non merci