« Hallucinations légales » : des chercheurs mettent en lumière les erreurs des LLMs dans le domaine juridique

L’IA générative offre un potentiel énorme pour accélérer ou automatiser un large éventail de tâches dans de nombreux domaines différents, y compris celui du droit. Cependant, une récente étude met en lumière les risques sous-jacents associés à l’utilisation des LLMs dans la pratique juridique. Les auteurs ont examiné trois modèles de langage populaires (GPT 3.5, Llama 2 et PaLM 2) et ont découvert des erreurs fréquentes et troublantes qu’ils décrivent comme des “hallucinations légales”.

Des systèmes tels que ChatGPT, PaLM, Claude et Llama offrent des capacités sans précédent pour analyser et générer des textes détaillés sur une multitude de sujets. Dans le domaine du droit, ils sont utilisés pour une variété de tâches, allant du criblage de documents à la rédaction de mémorandums et de synthèses juridiques détaillés, en passant par la formulation de stratégies de litige complexes.

Cependant, alors que, selon leurs développeurs, certains LLMs ont obtenu de bons scores à l’examen du barreau, ils sont comme tous les modèles de langage sujets à des hallucinations, générant du contenu qui s’écarte des faits juridiques réels ou des principes et précédents juridiques bien établis.

Dans leur étude, les chercheurs du Stanford RegLab et de l’Institute for Human-Centered AI démontrent que les hallucinations légales sont nombreuses : les taux d’hallucination de GPT 3.5, PaLM 2 et Llama 2 sont respectivement de 69 %, 72% et 88 % en réponse à des requêtes juridiques spécifiques. Ces résultats soulèvent des préoccupations importantes quant à la fiabilité des LLMs dans les contextes juridiques, soulignant l’importance d’une intégration prudente et supervisée de ces technologies d’IA dans la pratique juridique.

Les chercheurs ont constaté que les performances des trois modèles se détériorent lorsque les tâches sont plus complexes, nécessitant une compréhension nuancée des questions juridiques, des textes juridiques ou de la hiérarchie judiciaire. Alors qu’ils ont tendance à mieux performer avec des cas célèbres et dans les cours supérieures américaines, ils éprouvent des difficultés dans l’analyse de la jurisprudence des tribunaux inférieurs, ce qui remet en question leur capacité à réduire les barrières d’accès à la justice en offrant un moyen facile et peu coûteux pour le public d’obtenir des conseils juridiques.

Pour eux, “ces résultats suggèrent que les LLM ne sont pas encore en mesure d’effectuer le type de raisonnement juridique que les avocats effectuent lorsqu’ils évaluent la relation de précédent entre les affaires – un objectif central de la recherche juridique”.

Un autre défi critique identifié est le biais contrafactuel, où les LLM ont tendance à supposer la véracité de fausses affirmations en tant qu’invites conduisant à des réponses incorrectes. Si Llama 2 rejette fréquemment ces fausses prémisses, il nie parfois à tort l’existence de cas ou de juges réels.

Les trois modèles ont également tendance à un excès de confiance, indépendamment de leur précision réelle. Ces biais soulèvent des préoccupations quant à la capacité des LLM à fournir des informations précises et fiables.

Malgré ces défis, les LLM présentent un potentiel important pour améliorer l’accès à la justice et accélérer les processus juridiques. Cependant, une approche prudente est nécessaire pour maximiser les avantages tout en minimisant les risques. Ce qui nécessite une surveillance étroite, une compréhension humaine des capacités et des limites de l’IA, ainsi qu’une intégration responsable de ces technologies dans la pratique juridique.

Références de l’article
“Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models”  arXiv :2401.01301v1 2 janvier 2024

Auteurs

    • Matthew Dahl, Yale University
    • Varun Magesh, Mirac Suzgun, Daniel E. Ho, Stanford University
Recevez gratuitement l'actualité de l'intelligence artificielle

Suivez la Newsletter de référence sur l'intelligence artificielle (+ de 18 000 membres), quotidienne et 100% gratuite.


Tout comme vous, nous n'apprécions pas le spam. Vos coordonnées ne seront transmises à aucun tiers.

1ère Marketplace de l'IA et de la transformation numérique vous recommande :
DataEcriture par demain.ai

Dataecriture est l’offre dédiée de demain.ai dans le traitement du langage. nous transformons vos données en langage naturel. nos équipes vous propose...

 
Partager l'article
Offre exclusive : 1 an d'abonnement au magazine ActuIA + Le guide pratique d'adoption de l'IA en entreprise pour seulement 27,60€ Boutique ActuIA Pour tout abonnement à ActuIA, recevez en cadeau le Guide Pratique d'Adoption de l'IA en Entreprise, d'une valeur de 23€ !
intelligence artificielle
À PROPOS DE NOUS
Le portail francophone consacré à l'intelligence artificielle et à la datascience, à destination des chercheurs, étudiants, professionnels et passionnés.