Intelligence artificielle AlphaCode, générateur de code de Deepmind, évalué sur Codeforces

Pour approfondir le sujet

Sur le même thème :

Selon une étude de chercheurs du MIT, les CNN souffrent de surinterprétation

Au sein du CSAIL, le laboratoire d'informatique et d'intelligence artificielle du célèbre Massachussets Institute of Technology, Brandon Carter et ses collègues ont mené une...

Le Ministère de la Justice abandonne le développement de DataJust, l’algorithme devant aider au calcul de l’indemnisation des préjudices corporels

Selon Acteurs Publics, le Ministère de la Justice aurait décidé l'abandon du développement de DataJust jeudi 13 janvier. L'objectif de ce projet était la...

Bouches-du-Rhône et Var : 12 000 piscines non déclarées détectées grâce à l’Intelligence Artificielle

Il y a et il y aura toujours des fraudeurs... L'intelligence artificielle va permettre de repérer ceux qui ont «omis» de déclarer certains bâtis...

INRIA, l’Ecole Polytechnique et Radio France se lancent dans le fact-checking

Le fact-checking (vérification des faits), consiste à vérifier de manière systématique des affirmations de responsables politiques ou des éléments du débat public, d'autant plus...

AlphaCode, générateur de code de Deepmind, évalué sur Codeforces

DeepMind, la filiale d’Alphabet (ex Google), spécialisée en IA a présenté AlphaCode, outil capable d’écrire du code informatique de façon totalement autonome pour résoudre des problèmes nécessitant réflexion logique et compréhension du langage. Elle a confronté ce nouveau système de génération de code à des développeurs humains lors de concours de programmation sur la plateforme Codeforces où il a obtenu un score de 54,3%.

DeepMind Technologies, entreprise  britannique spécialisée dans l’intelligence artificielle, créée en 2010 par Demis Hassabis, Mustafa Suleyman et Shane Legg a été rachetée en 2014, par Google pour plus de 628 millions de dollars. elle a pour objectif de trouver «les meilleures techniques de l’apprentissage automatique et des neurosciences des systèmes pour construire de puissants algorithmes d’apprentissage généraliste». Renommée pour son programme Alphago qui a battu plusieurs champions de go avant de remporter une victoire définitive sur le n°1 mondial en 2017 ou AlphaFold, capable de prédire la structure des protéines à partir de leurs séquences en acides aminés, DeepMind travaille sur les raisonnements rationnel et prédictif, ainsi que sur les méthodes d’apprentissage de type deep learning et deep reinforcement learning.

Programmation compétitive avec AlphaCode

Le développement des modèles d’apprentissage automatique semblables à AlphaCode permet de générer du code à partir d’algorithmes. Plusieurs sociétés ont créé des outils d’auto-complémentation de code: Microsoft et Open AI se sont associés pour produire Github Copilot, reposant sur Codex, TabNine a donné son nom au sien. L’objectif est de permettre aux développeurs de gagner en productivité dans une activité toujours plus complexe. C’est justement pour apporter «des solutions aux problèmes de programmation concurrentiels qui nécessitent une compréhension des algorithmes et du langage naturel complexe» que Deepmind a créé AlphaCode.

AlphaCode utilise des modèles de langage basés sur des transformateurs de grandes tailles efficaces à échantillonner pour générer du code à  grande échelle, puis filtre vers un petit ensemble de programmes. Deepmind a évalué et validé les performances de son modèle lors de compétitions sur Codeforces, une plateforme populaire où se confrontent des dizaines de milliers de développeurs du monde entier venus tester leurs compétences en codage. AlphaCode a été confronté à 5000 concurrents lors de 10 concours, il a obtenu un score de 54,3% et s’est placé à peu près au niveau du concurrent médian, marquant la première fois qu’un système de génération de code IA a atteint un niveau de performance compétitif dans les compétitions de programmation. Petr Mitrichchev, ingénieur logiciel, google et programmeur compétitif de classe mondiale a déclaré :

«Résoudre des problèmes de programmation compétitifs est une chose très difficile à faire, nécessitant à la fois de bonnes compétences en codage et de la créativité en résolution de problèmes chez les humains. J’ai été très impressionné qu’AlphaCode puisse progresser dans ce domaine et ravi de voir comment le modèle utilise sa compréhension des énoncés pour produire du code et guider son exploration aléatoire afin de créer des solutions.»

Mike Mirzayanov, fondateur de Codeforces, a ajouté:

«Je peux dire en toute sécurité que les résultats d’AlphaCode ont dépassé mes attentes. J’étais sceptique car même dans des problèmes compétitifs simples il faut souvent non seulement implémenter l’algorithme, mais aussi (et c’est la partie la plus difficile) l’inventer. AlphaCode a réussi à performer au niveau d’un nouveau concurrent prometteur. J’ai hâte de voir ce qui m’attend !»

Une IA à ses débuts

Selon DeepMind, cette IA en est encore à ses débuts mais «Notre exploration de la génération de code laisse une vaste marge d’amélioration et laisse entrevoir des idées encore plus intéressantes qui pourraient aider les programmeurs à améliorer leur productivité et ouvrir le champ aux personnes qui n’écrivent pas actuellement de code. Nous poursuivrons cette exploration…».

Pour l’instant, AlphaCode a été évalué dans la programmation compétitive mais n’a pas encore les compétences d’un développeur humain. D’autre part, à l’instar des autres générateurs de code, il se base sur des codes existants, donc pourrait être accusé de plagiat.

 
Thomas Calvi

Partager l'article

Découvrez ActuIA n°8, le nouveau numéro du magazine de l’intelligence artificielle

L’été est bien là et c’est déjà l’heure du nouveau numéro d’ActuIA, votre magazine de l’intelligence artificielle ! Pour ce n°8 d’ActuIA, disponible dès...

Victor Schmidt, doctorant sous la direction de Yoshua Bengio, est le lauréat de la 6ème bourse Antidote en TAL

Druide informatique a annoncé fin mai la nomination du lauréat de la 6e Bourse Antidote en traitement automatique de la langue (TAL). Victor Schmidt,...

Retour sur le lauréat du Prix CNIL-INRIA pour la protection de la vie privée

Fin mai, François Pelligrini et Mathieu Cunche, co-présidents du Jury du Prix CNIL-Inria, ont remis le prix pour la protection de la vie privée...

La Lufthansa s’appuie sur le logiciel « Virtual Aviation Training » de NMY pour former ses équipes de cabine

La pandémie a fortement impacté les compagnies aériennes. Depuis la levée des restrictions sanitaires, elles doivent affronter un autre problème : malgré une forte...
Recevoir une notification en cas d'actualité importante    OK Non merci