Nous sommes en octobre. Les saisons changent. L’air devient plus frais. Et les Américains commencent à s’intéresser davantage à la Ligue majeure de baseball à l’approche des World Series. Pour célébrer la saison, nous invitons les professionnels du droit à revisiter « Moneyball », le drame sportif de 2011 mettant en vedette Brad Pitt et réalisé par Bennett Miller.
Pitt incarne Billy Beane, qui, il convient de le noter d’emblée, n’est ni un avocat ni un expert en IA. Il est cependant le directeur général des Oakland A’s de 2002, un étudiant de longue date qui a eu du mal à produire systématiquement une équipe gagnante dans un petit marché du baseball. Beane n’avait pas le budget nécessaire pour rivaliser avec des joueurs comme des équipes sur de plus grands marchés comme New York ou Boston. Les A pouvaient développer des joueurs, mais ils ne pouvaient pas les retenir lorsqu’ils devenaient des stars. Ils ont cependant eu accès aux statistiques de l’état civil.
Le baseball est un sport avec un siècle de données derrière lui et des repères comme la moyenne au bâton d’un joueur sont connus même par les fans occasionnels. Ce que Billy et les A ont fait, c’est utiliser des analyses et différents indicateurs de performance clés pour gagner. La moyenne au bâton d’un joueur est une excellente mesure, mais elle ne tient pas compte d’autres facteurs comme la capacité d’atteindre la base, donc le pourcentage de base est meilleur. Arriver sur la base conduit à plus de points marqués. Et plus de points marqués signifie gagner plus de matchs.
Lorsqu’on perd un joueur vedette comme Jason Giambi au profit des Yankees de New York ou Johnny Damon aux Red Sox de Boston, la sagesse conventionnelle dirait que l’équipe devrait remplacer deux étoiles. Mais Beane a reconnu que les A devaient remplacer la production des joueurs qu’ils avaient perdus. Dans l’ensemble, ils devaient se rendre sur la base autant que l’année précédente. Grâce à l’analyse, les A ont établi un record de la Ligue américaine en remportant 20 matchs consécutifs et en se qualifiant également pour les World Series. Mais la façon dont ils l’ont fait était la plus grande histoire.
Alors, que peut nous apprendre « Moneyball » sur l’analyse comparative de l’IA dans le domaine juridique ?
L’étude de Stanford sur l’analyse comparative des solutions GenAI l’été dernier a fait avancer la conversation sur l’utilité et l’impact des solutions GenAI. L’étude n’a pas été sans controverse qui a également contribué à sensibiliser l’opinion à un sujet important : comment mesurer les résultats de GenAI sur le secteur juridique.
L’étude de Stanford a testé des produits de recherche de pointe sur leur capacité à créer des réponses aux questions liées à la recherche jurisprudentielle. Une bonne réponse est celle qui reflète fidèlement l’état actuel du droit. Une réponse qui ne reflète pas l’état actuel du droit est considérée comme une hallucination. Le résultat ? Une requête sur six hallucinait.
La définition de l’hallucination dans l’étude est idéale pour l’analyse comparative. Mais une hallucination telle que définie dans l’étude équivaut-elle toujours à un mauvais résultat ? Et si la réponse faisait avancer votre recherche dans la bonne direction et que vous étiez alors capable de formuler une recherche booléenne qui répondait à votre question ? Une autre course traversant le marbre.
Et qu’en est-il des associés utilisant des solutions de recherche traditionnelles ? Quelqu’un a-t-il évalué ses compétences en matière de recherche juridique pour voir à quelle fréquence ses conclusions ne reflètent pas l’état actuel du droit ?
Les points clés sont :
Les repères sont importants, et les bons repères pour vos objectifs sont plus importants que ce qui est facile à mesurer. Les critères relatifs aux nouvelles approches doivent refléter le contexte de l’efficacité des approches actuelles. Les résultats sont plus importants que les points de repère.
Les résultats sont toujours intéressants. Les objectifs de deux organisations peuvent différer. Et ce qui compte comme une victoire ou un résultat positif à un niveau peut être différent à un autre niveau d’une organisation.
Une publicité télévisée divertissante dont les téléspectateurs se souviennent est considérée comme gagnante dans le monde de la publicité. Mais que se passe-t-il si les téléspectateurs ne se souviennent pas du nom de l’annonceur ? Que se passe-t-il s’il n’y a aucune augmentation perceptible de l’activité commerciale à la suite de la campagne publicitaire ? Le souvenir d’une publicité peut être un exemple de mesure de vanité – quelque chose qui est peut-être facile à mesurer mais qui ne soutient pas les décisions qu’une entreprise ou un cabinet d’avocats devrait prendre. Les mêmes pièges peuvent s’appliquer à la mesure de l’efficacité des solutions GenAI. Ce que nous mesurons est-il aligné sur les résultats de l’entreprise ?
Certes, les objectifs et les résultats peuvent changer avec le temps. Billy Beane a mis au point une stratégie gagnante pour affronter les réalités du métier de directeur général dans un petit marché. Les circonstances ont changé : le 26 septembre 2024, les Oakland A’s ont disputé leur dernier match à Oakland alors qu’ils se préparaient à un éventuel déménagement à Las Vegas, un marché beaucoup plus vaste avec ses propres défis.
Le mois prochain, j’explorerai différents cas d’utilisation de GenAI juridique et relierai les performances des outils à des résultats positifs. Autrement dit, je vais explorer comment identifier le fait de se rendre sur la base pour marquer des points et gagner des matchs avec GenAI légal.
Ken Crutchfield est vice-président et directeur général des marchés juridiques chez Wolters Kluwer Legal & Regulatory US, l’un des principaux fournisseurs de solutions d’information, de veille économique, de flux de travail réglementaire et juridique. Ken possède plus de trois décennies d’expérience en tant que leader des solutions d’information et de logiciels dans tous les secteurs. Il est joignable au [email protected].
