(via Getty Images)
« Avez-vous étudié les cas de forum non dans le district Est ? » La plupart des projets de recherche d’associés de première année se terminent par une question de ce type, ce qui envoie le junior vers une nouvelle mission qui n’était pas tout à fait évidente à la lecture de la question initiale, mais qu’un avocat expérimenté pourrait reconnaître comme un terrain de recherche fertile. La recherche juridique, en particulier pour les avocats plaidants, est un dialogue.
« Ce que dit la loi » aide rarement le client. Les avocats doivent démêler les exceptions à cette réponse. Ou les faits qui distinguent la situation difficile du client de cette réponse. Ou le pamphlétaire médiéval ésotérique et trié sur le volet que le cinquième circuit remplacera à cette réponse. C’est le va-et-vient de la recherche juridique, chaque passage découvrant une pépite potentielle – ou un risque – et l’avocat principal affinant ou même redéfinissant la mission pour arriver là où il doit être. C’est un processus avec lequel l’IA, de par sa nature d’outil s’efforçant d’enchaîner les « bons » mots pour répondre à une question, peut avoir du mal. C’est ainsi que l’on se retrouve avec des dossiers qui ne font que sortir de l’éther.
Et si un agent d’IA pouvait faire évoluer les talents de l’IA générative pour devenir un partenaire contributeur dans le dialogue de recherche ? Paxton AI a relevé ce défi.
Paxton AI a soumis son nouveau citateur juridique – un outil qui ne prend que la jurisprudence accessible au public et peut identifier le statut d’une affaire sans l’aide d’outils sélectionnés par l’homme comme KeyCite ou Shepard – aux tests développés par la récente étude de l’Université de Stanford testant le taux d’hallucinations de l’IA juridique, obtenant une précision retentissante de 94 pour cent.
Bon, 93,82 mais dans cette maison, on croit à l’arrondi.
Cependant, l’entreprise n’en a pas fini avec ces tests. En prenant un sous-ensemble représentatif des tâches utilisées dans l’étude de Stanford, Paxton AI a créé son indicateur de confiance pour évaluer ses réponses afin de fournir aux utilisateurs un score de confiance élevé/moyen/faible. Les questions vagues donneront, sans surprise, des résultats de faible confiance. Mais le produit fournit ensuite des conseils pour expliquer à l’utilisateur comment obtenir un meilleur résultat après avoir lu la jurisprudence de faible confiance à 30 000 pieds que l’outil identifie :
Il s’agit bien sûr de recommandations assez standard pour obtenir un résultat plus précis. Lorsque vous avez commencé avec une invite vague et basique, le conseil va être. Mais ce n’est pas tant le conseil spécifique que l’état d’esprit qui sous-tend cette fonctionnalité qui m’intéresse.
Comme l’explique le cofondateur et PDG Tanguy Chao, les avocats qui effectuent des recherches « s’attendent normalement à avoir une conversation avec un avocat humain ». C’est ainsi qu’ils développent le contexte qui manque à la recherche de premier passage. Plus la recherche sur l’IA est conçue comme un processus itératif, où les « réponses » sont moins définitives que des invitations à des améliorations ultérieures, plus l’IA sera utile dans ce domaine.
Pour reprendre les termes de la NBA, l’IA juridique doit « faire confiance au processus ». Le flux de travail de recherche juridique ne consiste pas à « aller me chercher la réponse à X », mais à « trouver des informations sur X que nous pourrons examiner et discuter de la prochaine recherche ». La précision est évidemment importante, mais la prochaine étape pour l’adoption consistera à développer quelque chose qui s’engage véritablement dans le processus de va-et-vient du juriste.
Il s’agit d’un changement subtil dans la façon de penser le rôle de l’IA dans le secteur juridique, mais il s’agit d’un changement crucial. On ne peut pas « remplacer les avocats juniors » sans remplacer la partie « les renvoyer faire plus de recherches ».
Paxton AI atteint une précision de plus de 93 % sur le test Stanford Hallucination Benchmark ; lance une nouvelle fonctionnalité d’indicateur de confiance [Paxton AI]
Joe Patrice est rédacteur en chef chez Above the Law et co-animateur de Thinking Like A Lawyer. N’hésitez pas à lui envoyer par e-mail des conseils, des questions ou des commentaires. Suivez-le sur Twitter si vous vous intéressez au droit, à la politique et à une bonne dose d’actualités sportives universitaires. Joe est également directeur général chez RPN Executive Search.
