Nous critiquons depuis longtemps la technologie de reconnaissance faciale chez Techdirt. Même si la progression constante de la technologie signifie inévitablement que la technologie deviendra plus rapide et meilleure, le problème réside dans la première partie : plus rapide.
La technologie s’est avérée très faillible. Et cela a aggravé la situation pour le type de personnes le plus souvent ciblées par les flics : les minorités. Presque toutes les options proposées par les fournisseurs de technologies de reconnaissance faciale fonctionnent à leur pire lorsqu’il s’agit de personnes qui ne sont pas blanches et de sexe masculin.
Ainsi, les personnes qui ont passé toute leur histoire à être la cible d’efforts policiers biaisés n’ont vu rien s’améliorer. Au lieu de cela, les progrès technologiques ont, pour la plupart, simplement automatisé le sectarisme et fourni aux services de police un déni plausible de leur propre racisme inné. “C’est la machine qui m’a poussé à le faire.”
Le Royaume-Uni – en particulier Londres et la zone supervisée par la police métropolitaine – a été l’un des premiers à adopter cette technologie. Le gouvernement avait déjà couvert la ville de caméras, la plaçant au même niveau que la Chine et l’Inde en termes de surveillance permanente de ses habitants.
Le secteur privé était en avance sur l’adoption des technologies de reconnaissance faciale. Les premières préoccupations ont été soulevées concernant les violations des droits, mais la plupart de ces problèmes ne s’appliquaient tout simplement pas aux propriétaires d’entreprises et à leurs caméras. L’afflux de caméras et d’IA de reconnaissance faciale complémentaire n’a fait qu’augmenter la possibilité d’accuser faussement les gens de crimes et/ou de violer leurs droits (si le gouvernement est impliqué).
Et c’est ce qui se passe ici dans ce récent rapport de la BBC, qui détaille quelques autres cas où des personnes ont été converties en criminels à cause de ratés logiciels.
Sara avait besoin de chocolat – elle en avait mangé un de ces jours – alors elle s’est rendue dans un magasin Home Bargains.
“En moins d’une minute, je suis approché par un employé du magasin qui s’approche de moi et me dit : ‘Tu es un voleur, tu dois quitter le magasin’.”
Sara – qui souhaite rester anonyme – a été accusée à tort après avoir été signalée par un système de reconnaissance faciale appelé Facewatch.
Elle dit qu’après la fouille de son sac, elle a été conduite hors du magasin et on lui a dit qu’elle avait été bannie de tous les magasins utilisant cette technologie.
Bien que cela puisse paraître quelque peu inoffensif comparé aux fausses arrestations et aux fausses accusations criminelles, c’est loin d’être inoffensif. Bien que Sara puisse encore avoir d’autres options d’achat, ce faux signalement l’a peut-être empêchée d’utiliser son option préférée – ou la plus pratique.
Ce n’est pas rien. Il s’agit d’une entreprise privée qui prend une décision basée sur une technologie défectueuse qui peut considérablement modifier la façon dont une personne vit et se déplace. Et comme il n’est souvent pas immédiatement clair quel conglomérat multinational possède quel magasin de détail, les personnes confrontées à ce type d’interdiction peuvent involontairement la violer simplement en se dirigeant vers l’option B. Et des violations répétées peuvent probablement mettre les forces de l’ordre en jeu, même si les violations étaient totalement involontaires.
Mais la grande expérience du Royaume-Uni continue de nuire aux gens selon l’ancienne méthode, avec du harcèlement, de la contrainte et des recherches invasives supplémentaires fondées sur un peu plus que ce à quoi un produit technologique pensait qu’une personne passant devant une caméra ressemblait.
M. Thompson, qui travaille pour le groupe de défense des jeunes Streetfathers, n’y a pas vraiment prêté attention lorsqu’il est passé devant une camionnette blanche près de London Bridge en février.
Quelques secondes plus tard, la police l’a approché et lui a dit qu’il était un homme recherché.
« C’est à ce moment-là que j’ai reçu un coup de pouce sur l’épaule, disant qu’à ce moment-là, j’étais recherché ».
On lui a demandé de donner ses empreintes digitales et on l’a détenu pendant 20 minutes. Il dit qu’il n’a été relâché qu’après avoir remis une copie de son passeport.
Mais il s’agissait d’une erreur d’identité.
Bien sûr, il pourrait s’agir d’anomalies, étant donné le grand nombre d’options technologiques de reconnaissance faciale déployées par le gouvernement britannique et un certain nombre d’entreprises privées qui ont élu domicile dans ce pays. Mais, encore une fois, le fait que ce soit si courant signifie que ces expériences seront forcément beaucoup plus courantes qu’elles ne pourraient l’être dans des zones où les déploiements sont plus limités ou soumis à une meilleure réglementation.
La reconnaissance faciale en direct – la technologie responsable de cet appel raté – reste encore une relative rareté à Londres. La police du métro ne l’a utilisé que neuf fois entre 2020 et 2022. Mais en 2024, elle l’avait déjà utilisé 67 fois, ce qui montre clairement que son intention est d’augmenter progressivement son utilisation. Et ce chiffre ne couvre que les déploiements. Cela ne dit rien sur la durée pendant laquelle les personnes ont été soumises à une reconnaissance faciale en direct, ni sur le nombre de visages scannés par la technologie.
La police métropolitaine affirme que toute inquiétude concernant les faux positifs est déplacée. Selon la police métropolitaine, le taux de faux positifs est de un pour 33 000 personnes se trouvant à proximité de ses caméras.
Mais ce n’est pas une bonne excuse pour soumettre les gens à une technologie défectueuse. Premièrement, il ne dit rien sur les faux négatifs, c’est-à-dire chaque fois que la technologie ne parvient pas à identifier une personne qui devrait être signalée comme un criminel présumé.
De plus, le pourcentage de faux positifs monte en flèche lorsque des personnes sont signalées par le système d’IA en direct :
Jusqu’à présent cette année, une alerte sur 40 était un faux positif.
C’est un taux d’erreur incroyablement terrible. Ce sont les « coups » qui comptent – ceux qui peuvent entraîner la détention, l’arrestation, l’interrogatoire, la fouille et d’autres recours à la force gouvernementale contre une personne dont un ordinateur a déclaré qu’elle était quelqu’un que les agents devraient soumettre à un certain nombre d’indignités.
Pour l’instant, de nombreuses opérations de reconnaissance faciale en direct sont déployées par des unités de police mobiles facilement identifiables, généralement via des fourgonnettes blanches « banalisées ». Les criminels qui craignent d’être repérés peuvent simplement choisir d’éviter les zones où se trouvent ces fourgonnettes ou de se tenir à l’écart des caméras. Si c’est ainsi que les choses sont traitées, il est très peu probable que les gains en matière de sécurité publique dépassent les dommages collatéraux d’un taux d’erreur de 1 sur 40.
Pire encore, la police métropolitaine pourrait se rendre compte que sa technologie de surveillance n’est plus utile lorsqu’elle est transportée dans des véhicules facilement reconnaissables. À ce stade, il pourrait commencer à envisager d’ajouter cette technologie aux milliers de caméras que le gouvernement a installées partout à Londres et dans d’autres régions du Royaume-Uni. Et lorsque cela deviendra une procédure opérationnelle standard pour des milliers de caméras, le taux d’erreur pourra rester le même, mais le nombre de faux positifs augmentera de façon exponentielle. Et une fois que cela se produira, les anomalies seront si nombreuses qu’il sera difficile pour le gouvernement de prétendre que ce n’est pas un problème. Mais à ce stade, la technologie sera déjà en place et il sera d’autant plus difficile de la freiner, et encore moins de l’éradiquer complètement, si les défaillances systémiques s’avèrent trop lourdes à accepter pour le public.
La reconnaissance faciale a encore du mal à reconnaître les visages, car de plus en plus de personnes sont identifiées à tort comme des criminels
Un tribunal de DC reproche au gouvernement fédéral d’avoir fait du shopping après que leur demande de mandat ait été refusée. Le 4e circuit déclare que l’utilisation de drones pour photographier des biens n’est pas protégée par le 1er amendement.
