Fin juin 2021, Microsoft, propriétaire de la plateforme web collaborative GitHub, et Open AI lançaient un aperçu technique de GitHub Copilot, un outil de complétion basé sur l’IA conçu pour aider les développeurs à coder plus rapidement. Il est d’ailleurs mis à leur disposition depuis le 21 juin dernier sous forme d’abonnement, mais est gratuit pour les étudiants et les responsables de projets open source populaires. GitHub a interrogé plus de 2 000 développeurs ayant participé à l’aperçu technique, il ressort de l’étude publiée récemment que Copilot augmente leur productivité.
Les outils de complétion sont conçus pour permettre aux développeurs de gagner en productivité dans une activité toujours plus complexe. GitHub Copilot, extension de Visual Studio Code, est alimenté par OpenAI Codex, un système d’IA créé par OpenAI, plus performant que GPT-3 pour la génération de code, en partie parce qu’il a été formé sur un ensemble de données qui comprend une concentration beaucoup plus importante de code source public. GitHub Copilot fonctionne avec un large éventail de frameworks et de langages, mais fonctionne particulièrement bien pour Python, JavaScript, TypeScript, Ruby et Go. Il propose des suggestions que le développeur est libre d’accepter ou de rejeter.
Le lancement de l’aperçu technique de Copilot avait suscité de nombreuses réactions dans la communauté des développeurs et, tout particulièrement, celle de la La Free Software Foundation concernant les droits d’auteur, les questions de propriété du code généré par l’IA et les impacts juridiques pour les auteurs GitHub. Elle avait alors lancé un appel à livres blancs sur le copilote, le droit d’auteur, l’apprentissage automatique et le logiciel libre, en a sélectionné et publié 5 le 24 février dernier.
L’étude de GitHub sur la productivité des développeurs utilisant Copilot
En avril dernier, GitHub avait mené une 1ére étude auprès de 24 utilisateurs pour comprendre comment les programmeurs utilisent et perçoivent Copilot, elle avait révélé que, bien qu’il ne réduise pas le temps des tâches ou n’augmente pas le taux de réussite, la plupart des participants préféraient utiliser Copilot dans les tâches de programmation quotidiennes, car il fournissait souvent un point de départ utile et économisait l’effort de recherche en ligne. Cependant, les participants avaient rencontré des difficultés à comprendre, à éditer et à déboguer les extraits de code générés par Copilot, ce qui a considérablement entravé leur efficacité de résolution de tâches.
Pour cette nouvelle étude, les équipes de recherche et d’ingénierie se sont associées pour combiner les données d’enquête qualitatives de plus de 2 000 développeurs basés aux États-Unis avec des données anonymisées afin de déterminer si les développeurs pensent être plus productifs grâce à GitHub Copilot et si les données prouvent qu’ils le sont réellement.
L’utilisation de GitHub Copilot est en corrélation avec l’amélioration de la productivité des développeurs
Les développeurs qui signalent les gains de productivité les plus élevés avec GitHub Copilot sont ceux qui ont accepté le plus grand nombre de suggestions de code affichées :
- Ceux qui ont accepté 29,73% des suggestions ont fait état de gains de productivité « énormes »;
- Ceux ayant déclaré de « hauts » gains de productivité avaient accepté 27,77% des suggestions;
- Les utilisateurs ayant déclaré des gains de productivité « moyens » ont accepté 26,94% des suggestions;
- 23,16% des suggestions ont été acceptées par ceux qui ont fait état de gains « modestes ».
L’étude révèle également que les taux d’acceptation différent selon les langages, ce qui n’a pas étonné les auteurs de GitHub, Javascript et Python sont ceux qui ont bénéficié des plus forts taux d’acceptation. L’étude a permis de constater également que les développeurs étaient avant tout à la recherche d’un point de départ approprié.
