Ce matin, The Hill rapportait que « les modèles d’IA « hallucinent » fréquemment sur des questions juridiques, selon une étude. » Il s’avère que The Register et Bloomberg se sont joints à nous. Saviez-vous que les outils d’IA générative destinés aux consommateurs sont incroyablement mauvais dans le travail juridique ? Ou avez-vous également passé l’année enfermé dans un bunker ?
Sérieusement, entre ces histoires et le fait que le juge en chef Roberts transforme son rapport annuel sur le système judiciaire fédéral en une analyse approfondie de l’intelligence artificielle de 2013, c’est comme si personne n’avait pris la peine de suivre l’intelligence artificielle l’année dernière.
ChatGPT et autres grands modèles linguistiques hallucinent la jurisprudence ? Sans blague! Les avocats ont été sanctionnés pour cela. Un autre a vu son permis suspendu. L’ancien avocat de Trump s’y est laissé prendre. Y a-t-il encore quelqu’un qui NE SAIT PAS que ces outils produisent un travail juridique de mauvaise qualité ?
Pour défendre ces gros titres, ils proviennent d’une nouvelle étude de Stanford qui examine la prévalence des erreurs juridiques liées à la génération IA. Il s’agit d’une étude utile, non pas parce qu’elle a livré une nouvelle révélation audacieuse, mais parce qu’elle a apporté des informations quantitatives sur ce que nous savions tous déjà.
Ce sont des informations précieuses pour affiner ces modèles. Mais aussi, GPT 4 est déjà là. Llama 3 devrait sortir sous peu.
Et tandis que les produits destinés aux consommateurs comme ChatGPT accumulent les erreurs, nous avons déjà presque dépassé le problème des hallucinations alors que des ensembles de données fiables et des garde-fous à caractère juridique envahissent l’espace. Les applications juridiques se concentrent désormais sur l’exactitude – en trouvant comment séparer les avoirs des dicta et des cas que l’IA sait être réels.
Peut-être devrais-je donner un peu de répit aux médias grand public sur ce point. Les avocats – on pourrait l’espérer – limiteront leur travail à des outils spécifiquement adaptés au travail juridique. Le message doit atteindre la communauté professionnelle et ceux qui tentent de résoudre des questions juridiques non contentieuses sans avocat. C’est à eux qu’il faut alerter du danger de s’appuyer sur ces robots pour obtenir une aide juridique.
L’étude de Stanford souligne ceci :
Deuxièmement, la jurisprudence des tribunaux inférieurs, comme les tribunaux de district, est sujette à des hallucinations plus fréquentes que la jurisprudence des tribunaux supérieurs, comme la Cour suprême. Cela suggère que les LLM peuvent avoir des difficultés avec des connaissances juridiques localisées qui sont souvent cruciales dans les affaires devant les tribunaux inférieurs, et remettent en question les affirmations selon lesquelles les LLM réduiraient les obstacles de longue date à l’accès à la justice aux États-Unis.
Si la théorie était que les justiciables pouvaient eux-mêmes utiliser des robots pour résoudre leurs problèmes d’accès à la justice, c’est vrai. Mais ce n’est pas tant la faute du LLM que le fait qu’un outil suffisamment bon marché pour quelqu’un qui ne peut pas engager un avocat va échouer. Mais les LLM mariés à un outil approprié et approuvé par des professionnels peuvent rendre le travail pro bono et low bono beaucoup moins fastidieux pour les avocats, empruntant ainsi une voie différente pour combler le fossé judiciaire.
Alors peut-être que c’est normal que nous recevions quelques gros titres haletants destinés au public sur les risques du avocat ChatGPT pour le bien des personnes qui ne savent vraiment pas comment le secteur juridique a abordé l’IA.
Mais sérieusement, quelle est l’excuse du juge en chef Roberts ?
Droit hallucinant : les erreurs juridiques liées aux grands modèles linguistiques sont omniprésentes [Stanford Human-Centered Artificial Intelligence]
Joe Patrice est rédacteur en chef chez Above the Law et co-animateur de Thinking Like A Lawyer. N’hésitez pas à envoyer par courrier électronique des conseils, des questions ou des commentaires. Suivez-le sur Twitter si vous êtes intéressé par le droit, la politique et une bonne dose d’actualité sportive universitaire. Joe est également directeur général chez RPN Executive Search.
