Depuis l’arrivée de ChatGPT, plusieurs études sur l’impact de l’IA générative en entreprise ont été menées, la plupart reposant sur le ressenti et les attentes des personnes interrogées. Les chercheurs utilisent ici une approche totalement différente, basée sur des expériences sur le terrain : ils ont demandé à des consultants de Boston Consulting Group (BCG) d’effectuer différentes tâches à l’aide ou non de GPT-4. Si l’IA a permis d’améliorer leurs performances pour certaines d’entre elles de plus de 40%, elle les a également réduits dans d’autres cas.
L’étude a réuni des chercheurs de l’Université de Harvard, de l’Université de Pennsylvanie, du MIT et des membres du Henderson Institute de BCG. Leur objectif était de déterminer comment l’introduction de GPT-4 dans les tâches de travailleurs du savoir hautement qualifiés pourrait augmenter, perturber ou influencer leurs flux de travail traditionnels.
Ils ont réparti les participants, 758 consultants contributeurs individuels de BCG, en deux groupes et leur ont demandé d’effectuer des tâches conçues en collaboration avec BCG correspondant à certaines des activités professionnelles typiques qu’ils sont amenés à réaliser.
Environ la moitié des participants (385 consultants) ont effectué une série de tâches où ils étaient invités à conceptualiser et développer de nouvelles idées de produits, en mettant l’accent sur des aspects tels que la créativité, les compétences analytiques, la capacité de persuasion et les compétences en écriture.
L’autre moitié s’est engagée dans des tâches de résolution de problèmes commerciaux en utilisant des données quantitatives, des entretiens avec des clients et des entreprises, et comprenant également une composante de rédaction persuasive.
Alors que les deux expériences étaient conçues pour être comparables en termes de complexité et de réalisme, la première série de tâches a été choisie pour être dans le potentiel technologique de GPT-4 alors que la seconde l’a été de manière à ce que GPT-4 commette une erreur lors de l’analyse, afin que le travail se situe juste en dehors de la frontière.
Une frontière technologique “dentelée”
Les participants ont d’abord effectué une tâche sans l’aide de l’IA pour établir une référence de performance. Ensuite, ils ont été répartis au hasard en trois groupes. Le premier groupe n’a eu aucune assistance de l’IA, le second a utilisé GPT-4, le troisième l’a également utilisé mais a bénéficié en plus d’un aperçu d’ingénierie, comprenant des vidéos et des documents pour le familiariser avec l’IA.
Pour l’expérience “inside-the-frontier”, l’équipe a demandé aux participants de proposer des concepts innovants de boissons. Ils ont donc identifié l’option la plus viable et élaboré un plan complet pour son lancement sur le marché.
Ils sont ensuite passés à la tâche expérimentale principale où ils ont été chargés de conceptualiser une idée de chaussure pour des marchés de niche et de détailler chaque étape de la conception, de la description du prototype à la segmentation du marché en passant par l’entrée sur le marché.
Les participants ont répondu à un total de 18 tâches (ou à autant qu’ils le pouvaient dans le cadre du temps imparti). Ces tâches couvraient divers domaines et peuvent être catégorisées en quatre types : créativité (“Proposez au moins 10 idées pour une nouvelle chaussure ciblant un marché ou un sport sous-desservi.”), pensée analytique (“Segmentez le marché de l’industrie de la chaussure en fonction des utilisateurs.”), rédaction et marketing ( “Rédigez un communiqué de presse pour promouvoir votre produit.”), et persuasion (“Rédigez une note inspirante aux employés expliquant pourquoi votre produit surpasserait la concurrence.”).
Pour chacune des 18 tâches “inside-the-frontier”, ceux qui ont utilisé l’IA ont non seulement effectué une moyenne de 12,2% de tâches en plus en moyenne et ceci, 25% plus rapidement, mais aussi avec une qualité de réponses supérieure de 40%.
L’utilisation de l’IA a surtout bénéficié aux consultants évalués comme les moins performants (hausse des performances de 43%) tandis que les autres ont augmenté en moyenne leurs scores de 17% : l’IA semble niveler les compétences.
Toutefois, pour une tâche sélectionnée en dehors de la frontière où les consultants devaient proposer des recommandations stratégiques concrètes au CEO d’une entreprise fictive, les meilleures solutions étaient apportées par ceux n’utilisant pas GPT-4 (+19%).
Pour les chercheurs, les capacités de l’IA générative créent une frontière technologique irrégulière qu’ils qualifient de “dentelée”, où certaines tâches sont facilement effectuées par l’IA, tandis que d’autres, bien qu’apparemment similaires en termes de niveau de difficulté, sont en dehors de ses capacités actuelles.
Deux façons différentes de s’approprier l’IA
Les chercheurs ont observé deux comportements différents des consultants dans leur utilisation de l’IA. Un premier modèle, appelé “Centaure”, implique une division stratégique du travail entre humains et machines, où les utilisateurs alternent entre les tâches humaines et celles gérées par l’IA en fonction de leurs capacités respectives. Le second modèle, “Cyborg”, se caractérise par une intégration plus étroite entre l’humain et l’IA, où les consultants travaillent en tandem avec l’IA, même au niveau des sous-tâches.
Ces comportements sont actuellement étudiés à partir des données de tâches expérimentales pour mieux comprendre leur impact sur les performances.
Conclusion
Pour les chercheurs, l’IA générative remodèle déjà le travail, mais il est essentiel que les professionnels appréhendent cette frontière technologique irrégulière, amenée à s’élargir en parallèle aux capacités futures de l’IA, et pour les organisations de se préparer à un nouveau paradigme de travail combinant compétences humaines et celles de l’IA.
Références de l’article :
“Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality” (15 septembre 2023). Harvard Business School Technology & Operations Mgt. Unit Working Paper No. 24-013, http://dx.doi.org/10.2139/ssrn.4573321
Auteurs :
Fabrizio Dell’Acqua et Edward McFowland III, Université Harvard – École de commerce (HBS)
Karim Lakhani, Harvard Business School
Hila Lifshitz-Assaf, Warwick Business School
Katherine Kellogg, Institut de technologie du Massachusetts (MIT)
Ethan R. Mollick, Université de Pennsylvanie – Wharton School
Saran Rajendran, Lisa Krayer et François Candelon, Boston Consulting Group, Henderson Institut
