Actualité OpenAI optimise les GPU afin d'accélérer les réseaux de neurones

Pour approfondir le sujet

Télécom Evolution lance le Certificat d’Etudes Spécialisées (CES) Intelligence artificielle

Télécom Evolution lance le Certificat d'Etudes Spécialisées (CES) Intelligence artificielle. Conçu et réalisé par Télécom ParisTech et ENSTA ParisTech, et placé sous la responsabilité...

Journée mondiale de l’océan : L’UNESCO présente des cas d’usage de la technologie pour un océan durable

Aujourd'hui se tient comme chaque 8 juin, la Journée mondiale de l'océan des Nations Unies. Cette année, l'UNESCO a souhaité mettre en avant l'importance cruciale...

Intelligence artificielle et Immobilier : Valode&Pistre signe un partenariat avec Spacemaker AI

Le Groupe Valode&Pistre et la start-up norvégienne Spacemaker AI ont annoncé un accord de partenariat portant sur le développement et adaptation de sa solution...

Replay : Conférence de Laurence Devillers, Les enjeux éthiques de l’intelligence artificielle à AI for Tomorrow

Du 21 mai au 12 juillet 2020 se tient le cycle de webinars d'AI for Tomorrow. À cette occasion, Laurence Devillers (Professeur d'intelligence artificielle...

OpenAI optimise les GPU afin d’accélérer les réseaux de neurones

OpenAI a dévoilé sur son blog le 6 décembre dernier un programme permettant de construire des réseaux de neurones plus rapides et plus efficaces.

Les matrices creuses pour accélérer le deep learning

Les réseaux de neurones, modelés sur le fonctionnement du cerveau humain, sont couramment utilisés dans le cadre du développement de systèmes d’intelligence artificielle, notamment via le deep learning. Les chercheurs d’OpenAI, Scott Gray, Alec Radford and Diederik P. Kingma, ont travaillé sur une nouvelle méthode permettant de rendre ces réseaux de neurones plus efficaces.

Pour cela, ils ont introduit dans leur conception des matrices creuses. Il s’agit d’une matrice contenant beaucoup de zéros. Très utilisées en analyse combinatoire et en théorie des réseaux notamment, les matrices creuses ont une faible densité de connections. Les données peuvent être compressées et contournées dans les multiplications de matrices. Cela permet d’utiliser moins de mémoire au niveau des GPU et d’économiser sur le calcul et par conséquent de mettre à profit ces bénéfices pour créer des réseaux de neurones profonds pouvant être entraînés de façon plus efficace. Les réseaux de neurones peuvent en effet faire fonctionner les algorithmes dix fois plus rapidement qu’une matrice classique.

OpenAI

Les block sparse GPU kernels

Ce constat effectué, les chercheurs d’OpenAI ont créé des “block sparse GPU kernels”. Ces noyaux optimisés permettent de créer sur des cartes graphiques Nvidia des réseaux de neurones basés sur les matrices creuses qui jusqu’alors ne les supportaient en effet pas. Codés en CUDA, le langage de programmation de Nvidia, les noyaux optimisés d’OpenAI sont pour l’instant uniquement compatibles avec le framework deep learning TensorFlow et supportent seulement les GPUs de Nvidia.

“Nous lançons des noyaux de GPU optimisés pour une gamme d’architecture de réseaux de neurones sous-explorée: les réseaux avec block-sparse weights.

Les noyaux permettent une évaluation et une différentiation efficace des couches linéaires (incluant les couches de réseaux convolutifs) avec des réglages flexibles. Nous avons découvert que selon la dispersion, ces noyaux peuvent exécuter des ordres de grandeur plus vite que les meilleures alternatives disponibles telles que cuBLAS.

Grâce à l’utilisation de noyaux optimisés, nous sommes parvenus à améliorer au-delà de l’état de l’art dans les domaines de l’analyse de sentiments dans le texte ou la modélisation générative de texte et d’images. En diffusant nos noyaux en open source, nous espérons aider à la conception de nouveaux modèles et algorithmes”

Fondée par Elon Musk, l’organisation de recherche en intelligence artificielle à but non lucratif cherche à promouvoir et à développer une intelligence artificielle au service du plus grand nombre. Ce faisant, les chercheurs d’OpenAI collaborent à divers organismes.

Leurs recherches et brevets sont partagés avec le grand public pour que d’autres puissent les utiliser. C’est le cas de ces block-sparse GPU kernels, disponibles sur GitHub. Le partage de ces noyaux optimisés devraient permettre à la communauté de chercheurs de se plonger dans les architectures de réseaux de neurones et d’obtenir davantage de données concernant les résultats de l’utilisation des matrices creuses en deep learning.

Johanna Diaz

Partager l'article

Synapse AI : Entretien avec Julian Lucchesi, directeur des partenariats du CenTech à Montréal

L'adoption de l'intelligence artificielle en entreprise nécessite bien souvent un accompagnement. Dans ce numéro 3 de Synapse AI, Mathieu Barreau rencontre Julian Lucchesi, Directeur...

Un modèle de deep learning pour repérer plus facilement les tumeurs métastasiques complexes

Nous vous présentions récemment un système mis au point par des scientifiques écossais permettant de repérer plus facilement les mésothéliomes, une forme rare de cancer....

Trois start-up, spécialisées data et intelligence artificielle, finalistes du LVMH Innovation Award

Dans le cadre de la cinquième édition du LVMH Innovation Award, 28 start-up ont été sélectionnées. Grâce à ce prix dédié à l'innovation, les...

Quelle fiabilité pour la reconnaissance vocale utilisée pour le diagnostic du COVID-19 ?

Savoir si des patients sont atteints du COVID-19 grâce à leur voix ? C'est le défi que se sont lancé plusieurs équipes de recherche....