Image reproduite avec l’aimable autorisation de NetDocuments.
« On ne peut pas mettre trop d’eau dans un réacteur nucléaire. »
C’est le conseil d’un superviseur de centrale électrique à la retraite joué par Ed Asner dans un sketch vintage de « Saturday Night Live ». Le personnage d’Asner quitte la centrale une dernière fois, laissant derrière lui une nouvelle équipe qui doit débattre pour savoir si ses mots d’adieu signifiaient qu’ils pouvaient mettre autant d’eau qu’ils le voulaient dans le réacteur ou s’ils voulaient dire qu’il ne fallait pas en mettre trop. Finalement, quelqu’un a suggéré que le mot clé était peut-être « vous » et que ce n’était pas leur responsabilité mais celle de l’équipe suivante. Le sketch s’est terminé sur un nuage en forme de champignon.
En droit, les avocats savent que le langage est important. Une virgule mal placée ou une clause mal rédigée dans un contrat peut créer une ambiguïté ou altérer le sens d’un document juridique. Au tribunal, la formulation d’une question ou la réponse d’un témoin lors d’un contre-interrogatoire sont examinées de près. Parfois, cela dépend de la signification du mot « est ».
L’étude récente de Stanford sur la précision des services de recherche juridique et la probabilité d’hallucinations a fait sensation dans le monde juridique. Elle s’est concentrée sur la capacité des services de recherche juridique à fournir des réponses sans erreur qui reflètent l’état actuel du droit dans la recherche de jurisprudence. Le débat a été animé car certaines réponses fournies par les systèmes peuvent être utiles mais comportent des inexactitudes. Est-ce différent d’un associé inexpérimenté effectuant des recherches avec des outils traditionnels ? Différents chercheurs peuvent adopter des approches différentes et proposer des réponses différentes. Le droit n’est pas toujours noir ou blanc. Et dans un litige, une partie recherche des arguments en faveur de sa position, tandis que l’avocat adverse recherche le contraire.
L’étude de Stanford constitue un bond en avant dans la mesure où le débat sur la mesure et l’analyse comparative progresse.
Les résultats et les rendements comptent
En fin de compte, c’est le résultat des systèmes qui est ce que la communauté juridique appréciera. Les systèmes GenAI produisent-ils de meilleurs résultats et peuvent-ils être plus précis ? Toutes les solutions créées devront continuer à relever la barre. Même si une réponse n’est pas toujours exacte, il faut également tenir compte du contexte plus large de la façon dont elle contribue au modèle spécifique du client, de l’affaire et des faits. Pour plus de réflexions sur les mesures et la priorisation de GenAI pour les résultats commerciaux, cliquez ici.
Les commentaires comptent aussi
Il y a un autre élément de l’équation : la qualité des informations fournies. Les chercheurs abordent les tâches différemment. Et un système GenAI bien conçu et performant ne sera efficace que si l’utilisateur y apporte des informations. Tout comme le conseil du superviseur qui part à la retraite de la centrale nucléaire était mal formulé, il en va de même pour les conseils d’un avocat qui recommande un système GenAI.
Il est frappant de constater que les avocats formés pour créer un argument éloquent et convaincant ou une clause irréfutable dans un contrat peuvent avoir des difficultés à utiliser un système GenAI. Pour être juste, une préparation importante en coulisses est nécessaire pour construire cet argument éloquent et convaincant. Et la technologie GenAI est nouvelle, avec des interfaces utilisateur qui n’ont pas encore libéré la créativité des avocats lorsqu’ils parlent à un écran.
Il n’est pas surprenant que certains associés de Biglaw soient connus pour ne pas fournir suffisamment de contexte – demandez simplement aux associés. Les associés sont essentiels aux cabinets et peuvent facturer des tarifs horaires bien supérieurs à 1 000 $. Leur temps est précieux. Et tout comme le stage d’un étudiant en médecine est un terrain d’essai pour tester la détermination des médecins, l’environnement d’un cabinet Biglaw l’est aussi pour un associé. Même si cela peut changer quelque peu, les associés doivent faire leurs preuves et faire preuve d’ingéniosité.
Dans ce contexte, un nouvel associé pourrait recevoir des instructions telles que : « Allez à Standard Fed et dites-moi quelle est la pénalité prévue par l’article 6662 du code en cas de négligence. J’ai besoin de la réponse maintenant ! »
L’associé doit être débrouillard et construire un réseau de relations pour apprendre que Standard Fed est une publication. L’associé sait probablement que le contexte est le droit fiscal, mais il peut ne pas être familier avec l’article 6662 du code et qu’il concerne les pénalités pour sous-paiement d’impôts pour les transactions transfrontalières interentreprises. De la même manière que l’associé est testé par un contexte limité, les systèmes GenAI le sont aussi. Peut-être que GenAI deviendra aussi débrouillard que les associés humains, en apprenant davantage et en gagnant en perspective à chaque nouvelle interaction.
Comment fournir de meilleures informations et créer de meilleures invites
La précision du langage est importante et plus le contexte est fourni, plus une machine (ou un humain) peut être performante. Nous avons récemment mené un défi de stimulation avec la faculté de droit de l’université de Suffolk parce que le langage est important et parce que nous voulions comprendre comment les nouveaux esprits juridiques envisagent l’interaction avec les systèmes GenAI.
Les bibliothèques de messages d’invite se multiplient et les entreprises continueront de tester et de développer les meilleures pratiques en la matière. Dans un processus connu sous le nom d’« injection de messages d’invite », les systèmes peuvent être conçus pour « injecter » du contexte dans un message d’invite en coulisses.
Mais que peuvent faire les avocats eux-mêmes ? Qu’en est-il de ce partenaire expérimenté qui sait qu’il devra utiliser GenAI ?
Voici une approche simple. Lorsque vous contactez GenAI, pensez à l’incitation comme si vous encadriez un avocat que vous appréciez et qui a un potentiel élevé. Dans ces situations, les individus sont patients et prennent le temps d’expliquer les choses. Faites de même lorsque vous incitez GenAI. Prenez le temps de ralentir. Expliquez la nuance d’un concept juridique et pourquoi vous pensez qu’il est important. Fournissez le contexte comme vous le feriez si vous investissiez du temps dans un avocat moins expérimenté. Expliquez les choses en détail. N’abrégez pas et n’utilisez pas d’acronymes. Dites au système GenAI tout ce que vous voulez qu’il sache et donnez des instructions spécifiques.
Le monde de GenAI évolue chaque jour. Anthropic vient de sortir une nouvelle version de Claude (Claude 3.5 Sonnet) qui permet à un utilisateur de saisir jusqu’à 200 000 jetons, ce qui correspond à près de 150 000 mots ou 300 pages de texte à simple interligne. GPT-4o a des capacités similaires, tout comme Gemini de Google. Le point ici est que les systèmes continueront à fournir davantage de capacités pour commander GenAI. Il appartiendra aux systèmes de traduire les entrées en sorties de qualité.
Pour les avocats qui utilisent GenAI, le langage est important. En fournissant plus de contexte et des instructions spécifiques, le superviseur partant à la retraite dans le sketch de « Saturday Night Live » aurait probablement évité la fin comiquement désastreuse de la centrale électrique. Les avocats peuvent améliorer l’utilité et les résultats liés à l’utilisation de GenAI de la même manière, même si les réponses fournies ne sont pas parfaites.
Ken Crutchfield est vice-président et directeur général des marchés juridiques chez Wolters Kluwer Legal & Regulatory US, l’un des principaux fournisseurs de solutions d’information, de veille stratégique, de gestion réglementaire et de flux de travail juridique. Ken a plus de trois décennies d’expérience en tant que leader des solutions d’information et de logiciels dans tous les secteurs. Vous pouvez le contacter à l’adresse suivante : [email protected].
