La surveillance par l'IA et la reconnaissance faciale

 Ce rapport de l'Initiative pour l'intelligence artificielle et les technologies émergentes (AIET) de The Brookings Institution fait partie de l'IA et des biais », une série qui explore les moyens d'atténuer les biais possibles et de créer une voie vers une plus grande équité dans l'IA et les technologies émergentes.
Dans le film futuriste Minority Report de 2002, «les forces de l'ordre utilisent une technologie prédictive qui inclut l'intelligence artificielle (IA) pour évaluer les risques afin d'arrêter les meurtriers potentiels avant qu'ils ne commettent des crimes. Cependant, un policier est maintenant l'un des futurs meurtriers accusés et est en fuite du ministère de la Justice pour prouver que la technologie a des défauts. Si vous pensez que ce film de fiction pourrait devenir réalité, alors vous devriez continuer à lire, car l'art est devenu réalité.
La promesse et le péril des technologies émergentes sont sur nous. Pour l'application de la loi, l'IA offre des avancées par rapport aux méthodes précédemment utilisées pour dissuader et résoudre le crime, améliorer l'efficacité, réduire les disparités raciales et potentiellement économiser des ressources liées au capital humain et financier. Actuellement, certaines des technologies d'application de la loi qui utilisent des algorithmes d'apprentissage automatique comprennent les lampadaires intelligents, la surveillance des points chauds, la reconnaissance faciale, la surveillance des drones, le géorepérage, les évaluations des risques et les données des médias sociaux pour mettre fin à la violence des gangs. sur le terrain, ce qui élève des comparaisons avec le film dystopique de 1987 RoboCop. » Les fonctions d'application de la loi et de technologie évoluent également rapidement. En 2017, j'ai mené une étude qui a montré que les civils et les policiers soutiennent considérablement les caméras portées sur le corps comme une prétendue panacée pour améliorer les relations entre la police et la communauté. Maintenant, l'IA peut soi-disant déterminer qui commettra le crime, prédire où le crime se produira et identifier les menaces potentielles, ce qui amplifie sa viabilité perçue liée aux caméras portées par le corps.
Les entreprises technologiques créent déjà des produits commerciaux d'IA avec peu de surveillance ou de réglementation. En outre, ils sollicitent souvent les services répressifs pour participer à des études pilotes et à des essais d'essai en échange de l'utilisation de la nouvelle technologie. Étant donné que de nombreux organismes chargés de l'application des lois sont à court d'argent, la possibilité d'essayer un nouveau jouet brillant est séduisante. Le Royaume-Uni a déployé un logiciel de reconnaissance des passeports malgré le fait qu'il savait qu'il ne fonctionnait pas bien sur les personnes ayant des tons de peau plus foncés et plus clairs. Cependant, cela ne se produit pas seulement en Europe. Comme le montre ce document, les États-Unis sont criblés de ces problèmes. En tentant de concurrencer la Chine, l'Inde et d'autres pays sur la technologie de la justice pénale, les États-Unis compromettent les performances de pointe et mettent potentiellement tous les Américains en danger.
En essayant de concurrencer… d'autres pays sur la technologie de la justice pénale, les États-Unis compromettent les performances de pointe et mettent potentiellement tous les Américains en danger. »
Mais les décideurs politiques peuvent intervenir de manière constructive. Il existe des garanties importantes qui doivent être mises en place afin de protéger les personnes. On pourrait également affirmer que la possibilité pour Amnesty International de déterminer qui sera arrêté par les forces de l'ordre, incarcéré et libéré de prison figure en tête de liste en ce qui concerne la nécessité d'être prudent. Qu'est-ce que les décideurs doivent savoir sur le déploiement de l'IA dans l'application des lois et quelles sont les questions centrales à poser lors de la mise en œuvre des réglementations et des garanties?
Reconnaissance faciale dans le maintien de l'ordre
L'une des principales préoccupations du public concernant l'utilisation de l'IA et d'autres technologies émergentes par les forces de l'ordre est dans le domaine de la reconnaissance faciale. En 2016, plus de la moitié des visages d'adultes américains faisaient partie de bases de données de reconnaissance faciale accessibles aux forces de l'ordre. Pourtant, tout le monde n'est pas inquiet de ce déploiement. Plus de 50% des personnes font confiance à l'utilisation par la police de la reconnaissance faciale, et près de 75% pensent que la reconnaissance faciale identifie avec précision les personnes. Il existe cependant d'importantes différences démographiques. Environ 60% des répondants blancs, comparativement à un peu plus de 40% des répondants noirs, font confiance à l'utilisation par la police de la reconnaissance faciale. L'âge montre un gradient similaire, mais pas dans la direction attendue. Les personnes de moins de 30 ans, par rapport aux personnes de plus de 65 ans, font moins confiance à l'utilisation de la reconnaissance faciale dans les services de police. Le scepticisme des jeunes adultes peut être dû au fait qu'ils ont plus de connaissances sur les capacités de l'IA à manipuler des séquences vidéo réelles et à modifier ce que la personne dit et fait.
En 2016, plus de la moitié des visages d'adultes américains faisaient partie de bases de données de reconnaissance faciale accessibles aux forces de l'ordre. »
Voici le gros casse-tête: seulement 36% des adultes pensent que la reconnaissance faciale est utilisée de manière responsable par les entreprises privées, qui vendent souvent des systèmes de reconnaissance faciale aux forces de l'ordre.
Bien que l'opinion publique soit divisée sur l'utilisation de la reconnaissance faciale pour les services de police, la recherche indique que la reconnaissance faciale souffre d'un biais algorithmique. L'Institut national des normes et de la technologie (NIST) a publié un document montrant que la reconnaissance faciale entraînait des taux de précision inférieurs pour les femmes par rapport aux hommes et pour les Noirs par rapport aux Blancs. Une étude a montré que le sexe des femmes noires était mal classé plus de 33% du temps. En 2019, le logiciel de reconnaissance faciale d'Amazon, Rekognition, a incorrectement qualifié les athlètes professionnels de Boston de criminels. Le logiciel a également étiqueté à tort un législateur californien sur cinq comme des criminels.Le Département de police de New York (NYPD) a manipulé des images floues avec des acteurs comme Woody Harrelson pour obtenir plus de clarté sur les suspects potentiels dans les séquences de surveillance.
Pour ces raisons et d'autres, San Francisco a interdit l'utilisation de la reconnaissance faciale par la police; Oakland et certaines parties du Massachusetts ont rapidement emboîté le pas. À l'inverse, des villes comme Detroit et Chicago ont utilisé un logiciel de reconnaissance faciale avec peu de surveillance au cours des dernières années. La nouvelle réglementation promulguée à Détroit en 2019 limite l'utilisation de la reconnaissance faciale aux photos fixes liées à des crimes violents et à des invasions de domicile. Bien que les forces de l'ordre dans la ville applaudissent la capacité de continuer à utiliser la reconnaissance faciale, les membres du comité de surveillance civil affirment que la technologie est une forme de techno-racisme »dans une ville à prédominance noire qui a des antécédents de brutalité policière et de police problématique. relations avec la communauté. L'une des principales préoccupations est la critique selon laquelle les forces de l'ordre utilisent une technologie peu fiable qui classe mal les résidents de la ville, comme mentionné précédemment.
Bien qu'il soit important que les forces de l'ordre aient la possibilité d'expérimenter de nouvelles technologies, l'IA ne devrait pas aider à prendre des décisions dans les affaires pénales jusqu'à ce que la technologie améliore sa précision. »
Bien qu'il soit important que les forces de l'ordre aient la possibilité d'expérimenter de nouvelles technologies, l'IA ne devrait pas aider à prendre des décisions dans les affaires pénales jusqu'à ce que la technologie améliore sa précision. Il devrait y avoir un moratoire sur la mise en œuvre à grande échelle pour analyser les données des études pilotes (éventuellement avec une analyse menée par un tiers, comme un centre de recherche universitaire ou une entreprise) pour évaluer les résultats de la police en utilisant les méthodes existantes à celles de l'IA.
Surveillance avec IA
En plus de la reconnaissance faciale, il existe d'autres formes de déploiement de l'IA que les décideurs politiques devraient garder à l'esprit. Dans le but d'être la première véritable ville intelligente, San Diego a déployé des lampadaires intelligents en 2016. Présentés comme un moyen de réduire la consommation d'énergie, les capteurs des lampadaires intelligents sont utilisés par les forces de l'ordre pour surveiller le trafic des piétons, des véhicules et des parkings , enregistrer des vidéos de la région et résoudre des crimes. Pour de nombreux habitants de la ville, les lumières ne sont pas le problème. Le déploiement des lumières par la police sans le consentement du public est plutôt le problème le plus important. Trois membres du conseil municipal ont demandé un moratoire sur l'utilisation des lumières.
San Diego est également en train de déployer un drone de qualité militaire au-dessus de la ville en 2020 qui a le potentiel de mener une surveillance et de recueillir des renseignements similaires aux capacités de reconnaissance des forces armées. En 2018, le comté de Rutherford, dans le Tennessee, est devenu le premier au pays à obtenir l'approbation fédérale pour faire voler des drones au-dessus des gens. Les employés de la ville disent que le comté de Rutherford peut utiliser des drones pour lutter contre une crise d'enfouissement, évaluer les dommages causés par les tempêtes, regarder la foule lors d'un rassemblement nationaliste blanc et suivre les fugitifs. Sur la côte est, le NYPD a utilisé des drones lors d'une série de marches et de défilés, notamment la marche des fiertés et le défilé de la journée portoricaine. À cet égard, la série de science-fiction Black Mirror "pourrait devenir prédictive - son épisode Hated in the Nation" comportait une reconnaissance faciale avancée et des nuées de minuscules abeilles ressemblant à des drones avec des capacités létales.
Mardi 24 avril 2018
Plusieurs dirigeants d'entreprises informatiques dans des pays comme les États-Unis, la France, l'Australie et le Canada sont extrêmement préoccupés par l'utilisation de l'IA pour les armes autonomes. Certaines personnes s'opposent carrément à l'utilisation des technologies de cette manière, y compris des membres des Nations Unies. Certains dirigeants politiques et commerciaux, universitaires et organisations à but non lucratif soutiennent que des armes entièrement autonomes entraîneront en fait plus de conflits, d'inégalités et un potentiel de guerre accru. Fait intéressant, les gens semblent avoir moins de problèmes avec la technologie actuelle et plus de problèmes avec le manque de réglementation, de transparence, de confidentialité et de consentement.
En 2017, les forces de l'ordre ont utilisé le géorepérage pour surveiller les militants antiracistes de l'Université de Caroline du Nord-Chapel Hill qui protestaient contre une statue confédérée connue sous le nom de Silent Sam. » Le géorepérage est un périmètre virtuel qui permet de surveiller les données des téléphones portables, de collecter des données sur les réseaux sociaux (comme l'emplacement des personnes qui tweetent lors d'une marche ou d'une manifestation) et de collecter des informations sur le site Web pour permettre aux entreprises de faire des annonces géolocalisées. pour les services et les produits. Beaucoup se sont demandé pourquoi le géorepérage était utilisé pour surveiller l'activité des médias sociaux de ces manifestants contre le racisme, mais n'a pas été mis en œuvre pour surveiller les suprémacistes blancs. Le déploiement disparate de ces technologies fait naître des mémoires collectives sur la façon dont la police est utilisée dans les communautés marginalisées. Compte tenu de la décision Carpenter c. Cour suprême des États-Unis, d'autres ont remis en question la légalité de l'utilisation du géorepérage dans cette situation. Les gens ont des préoccupations similaires au sujet de la police des points chauds - dans laquelle les forces de l'ordre ciblent des zones géographiques spécifiques où la criminalité peut être plus concentrée - et se demandent s'il s'agit simplement de profilage racial sous un nom de police prédictif.
Le déploiement disparate de ces technologies fait naître des mémoires collectives sur la façon dont la police est utilisée dans les communautés marginalisées. »
Les services de police ont également accès aux caméras des propriétaires privés si un crime a été commis dans la région. La société de caméras de sonnette la plus importante, Ring, a conclu des partenariats de partage de vidéos avec 400 services de police à travers les États-Unis. Bien que la police devrait avoir la possibilité d'accéder à une grande variété de ressources pour résoudre les délits, il devrait y avoir un moyen plus réglementé et transparent d'accéder à la vidéo et aux données des résidences privées. Par exemple, les propriétaires devraient pouvoir visionner les images qui ont été consultées depuis leur domicile et savoir combien de temps les images seront stockées.
Conformément au Minority Report », certains tribunaux utilisent des algorithmes pour évaluer les risques de récidive avant de libérer des personnes de prison. La liste stratégique des sujets et le modèle de risque de criminalité et de victimisation de Chicago ont utilisé un logiciel d'IA pour prédire qui pourrait commettre le plus de délits après son arrestation. Un rapport de 2020 du Bureau de l'inspecteur général de Chicago a révélé que le logiciel n'était pas fiable et que la qualité des données était médiocre. Dans une ville comme Chicago, ces résultats sont encore plus pertinents compte tenu du niveau de racisme découvert au sein des tribunaux.
L'hypothèse semble être que les technologies utilisant des algorithmes sont mieux à même d'identifier les menaces et les criminels potentiels. Certaines recherches utilisant l'apprentissage automatique pour la libération sous caution montrent comment l'IA peut être utilisée pour réduire la récidive, la criminalité et les disparités raciales dans les peines. Dans le même temps, les algorithmes peuvent reproduire des décisions préjudiciables qui surviennent dans la vie sociale. Cela semblait être le cas à Chicago. Un point clé est qu'omettre la race comme attribut de modèle, ce qui est le cas avec le logiciel de Chicago, peut conduire à plus de biais que de l'inclure. Sans davantage de réglementation et de garanties, la variabilité de ces résultats continuera de se manifester.
faire de la race un attribut du modèle… peut conduire à plus de biais que de l'inclure. »
Compte tenu de ces cas d'utilisation, sur quoi les décideurs devraient-ils se concentrer en matière d'utilisation équitable et de déploiement des systèmes d'IA?
Questions que les décideurs politiques doivent poser aux forces de l'ordre et aux entreprises technologiques
Les décideurs ont du mal à essayer de comprendre comment réguler un marché technologique en constante évolution avec des algorithmes qui utilisent l'apprentissage automatique pour s'appuyer sur eux-mêmes en temps réel. Alors que les décideurs politiques peuvent ne pas avoir toutes les réponses ou l'expertise pour prendre les meilleures décisions pour équilibrer la libre entreprise, la transparence, la vie privée et la réglementation, connaître les meilleures questions à poser peut être un pas important entre-temps. J'en énumère cinq ci-dessous.
1) La communauté a-t-elle été informée et a-t-elle eu l'occasion de poser des questions et de faire des suggestions?
Un manque de transparence porte atteinte à la confiance de la communauté et complique les progrès technologiques. Par conséquent, la réponse à cette question doit aller au-delà d'une réponse qui mentionne simplement une mairie ou une visite à l'église. Le public doit être informé avant le déploiement des nouvelles technologies via les médias locaux, les avis directs et les divulgations par courrier, e-mail ou réseaux sociaux. Le public devrait avoir le droit de poser des questions et de faire des suggestions sur la technologie près de chez lui. La loi sur la surveillance publique de la technologie policière (POST) à New York est une option viable pour ce à quoi cela pourrait ressembler. Ce site Web destiné à fournir des informations au public sur l'utilisation de l'IA à New York, compilé par des étudiants diplômés de la Kennedy School of Government de l'Université de Harvard, devrait être utile aux organismes chargés de l'application des lois et aux gouvernements des villes sur l'importance de s'associer avec des universitaires.
2) Quelles garanties sont mises en place pour garantir que la technologie est utilisée correctement et fonctionne comme prévu?
Cette question concerne la réglementation. La Loi sur le mandat d'attribution de technologies de reconnaissance faciale est un bon pas en avant et souligne l'importance d'être bipartisan. Si les forces de l'ordre veulent utiliser la reconnaissance faciale pendant plus de 72 heures, la législation stipule qu'elles doivent obtenir l'approbation d'un juge et l'approbation est limitée à 30 jours. Avec les rapports des juges, le directeur du Bureau administratif des tribunaux des États-Unis doit fournir chaque année au Comité judiciaire du Sénat et de la Chambre des informations comprenant le nombre d'ordonnances judiciaires, les infractions associées aux ordonnances judiciaires, la fréquence d'utilisation des la technologie, le nombre de personnes observées et le nombre de personnes qui ont été mal identifiées avec la technologie. Bien que ce projet de loi soit louable, il existe des lacunes potentielles. Par exemple, les forces de l'ordre pourraient fonctionner en continu pendant la période de 72 heures, ou affirmer que la fouille par reconnaissance faciale est une préoccupation de sécurité nationale, une condition qui semble l'emporter sur le projet de loi.
3) Comment allez-vous vous prémunir contre les biais de votre technologie?
Cette question concerne les données préjudiciables et les résultats discriminatoires. L'Algorithmic Accountability Act et la Justice in Forensics Algorithms Act of 2019 visent à faciliter ce processus en exigeant des entreprises qu'elles évaluent leurs algorithmes pour des résultats biaisés. À bien des égards, ces lois demandent aux entreprises d'exécuter des déclarations d'impact racial Les déclarations d'impact racial sont des outils pour aider les législateurs à évaluer si la législation proposée peut avoir intégré des disparités avant d'adopter un projet de loi. Ces déclarations aident les décideurs à clarifier et à développer un langage spécifique pour éliminer les biais potentiels.
Livres connexes
2015
En utilisant des techniques d'échantillonnage représentatives, les entreprises devraient avoir à produire des résultats significatifs conformes aux normes académiques pour montrer que leurs algorithmes prédisent de manière similaire pour les personnes à travers les identités sociales, telles que la race, le sexe et l'intersection entre les deux. Les entreprises et les organismes chargés de l'application des lois peuvent s'associer à des centres universitaires de recherche et à des groupes de réflexion pour mener à bien ces tâches de recherche. Le NIST peut développer un comité consultatif qui examine les rapports de la même manière que les revues universitaires utilisent les comités de rédaction et les examinateurs externes pour vérifier les nouvelles recherches. Il devrait également être prioritaire de se prémunir contre les études qui n'incluent pas correctement les groupes minoritaires. En outre, des entreprises plus diversifiées signifient souvent des idées plus diversifiées, ce qui peut à son tour conduire à une collecte de données démographiques plus importante, ce qui peut effectivement réduire les biais et les disparités. La Silicon Valley a beaucoup de place pour se développer dans ce domaine. Si ces normes ne deviennent pas normatives, la technologie dans l'application de la loi aura certains des mêmes biais et défauts que ceux observés en médecine et dans d'autres domaines.
4) Comment votre technologie ira-t-elle au-delà du consentement pour inclure des protections de la vie privée?
La protection de la vie privée est importante. Les caméras portées sur le corps nous renseignent sur le consentement. Les agents ont une invite qu'ils utilisent pour informer la personne d'intérêt qu'ils sont en cours d'enregistrement vidéo et audio. Pour la reconnaissance faciale, nous devons aller au-delà du consentement. Cette question porte sur la manière dont les forces de l'ordre veilleront à ce que l'utilisation des logiciels de reconnaissance faciale et des données des médias sociaux ne recueille pas d'informations de niveau méta et micro qui violent encore la vie privée des personnes. À mesure que les algorithmes d'apprentissage automatique se développent, ils relient des données définies de manière similaire. Parfois, il n'est pas clair à quoi ressembleront ces résultats. Des garanties sont nécessaires pour réglementer cela. Les gens doivent également savoir combien de temps leurs données seront stockées et à quoi elles servent. Pourtant, les panneaux dans les lieux publics et privés qui indiquent qu'un logiciel de reconnaissance faciale est utilisé ici sont utiles.
5) Existe-t-il des moyens d'utiliser l'IA pour la formation des forces de l'ordre?
Cette question vise à pousser les entreprises à réfléchir à des moyens d'améliorer l'efficacité de la formation des forces de l'ordre. Le laboratoire de recherche appliquée en sciences sociales, où je suis directeur exécutif, travaille avec de grandes sociétés et des entités gouvernementales pour fournir une formation en réalité virtuelle à l'aide d'algorithmes avancés qui donnent aux agents des forces de l'ordre une expérience plus réaliste des rencontres qu'ils ont sur le terrain. Des entreprises comme Flikshop commencent à utiliser des algorithmes pour fournir une formation professionnelle aux personnes incarcérées. Ces activités contribuent à réduire les biais dans les services de police, à améliorer les relations entre la police et la communauté et à réduire la récidive.
Dans l'ensemble, la technologie peut rendre les services de police plus efficaces, mais l'efficacité ne signifie pas nécessairement l'équité ou l'absence de parti pris. Les algorithmes d'apprentissage automatique dépassent de loin la compréhension du public de ces technologies. Les décideurs doivent non seulement réfléchir à la réglementation mais aussi aux sanctions si les organismes chargés de l'application des lois et les entreprises violent les garanties. Si cela ressemble au passé, les biais continueront de jouer un rôle énorme dans les résultats sociaux, à moins que la mise en œuvre de ces technologies dans les milieux chargés de l'application des lois ne soit considérablement ralentie. Les législateurs et les parties prenantes devraient se concentrer sur des politiques intelligentes qui contribuent à rendre notre société plus sûre et à garantir que la vie privée, le consentement et la transparence sont équitables pour tous.