Des milliers de personnes utilisant le métro de Londres ont vu leurs mouvements, leur comportement et leur langage corporel surveillés par un logiciel de surveillance par IA conçu pour voir s'ils commettaient des crimes ou se trouvaient dans des situations dangereuses, révèlent de nouveaux documents obtenus par WIRED. Le logiciel d'apprentissage automatique a été combiné avec des images de vidéosurveillance en direct pour tenter de détecter les comportements agressifs et les armes à feu ou les couteaux brandis, ainsi que pour rechercher des personnes tombant sur les voies du métro ou esquivant les billets.

D'octobre 2022 à fin septembre 2023, Transport for London (TfL), qui exploite le réseau de métro et de bus de la ville, a testé 11 algorithmes pour surveiller les personnes passant par la station de métro Willesden Green, au nord-ouest de la ville. L’essai de validation de principe est la première fois que l’organisme de transport combine l’IA et des séquences vidéo en direct pour générer des alertes qui sont envoyées au personnel de première ligne. Plus de 44 000 alertes ont été émises lors du test, dont 19 000 ont été transmises au personnel de la station en temps réel.

Les documents envoyés à WIRED en réponse à une demande du Freedom of Information Act détaillent comment TfL a utilisé un large éventail d'algorithmes de vision par ordinateur pour suivre le comportement des gens lorsqu'ils se trouvaient à la gare. C'est la première fois que tous les détails de l'essai sont rapportés, et cela fait suite à l'annonce par TfL, en décembre, qu'elle étendrait son utilisation de l'IA pour détecter les fraudes tarifaires à davantage de gares dans la capitale britannique.

Lors de l'essai à Willesden Green, une station qui accueillait 25 000 visiteurs par jour avant la pandémie de COVID-19, le système d'IA a été mis en place pour détecter d'éventuels incidents de sécurité afin de permettre au personnel d'aider les personnes dans le besoin, mais il a également ciblé les comportements criminels et antisociaux. . Trois documents fournis à WIRED détaillent comment les modèles d'IA ont été utilisés pour détecter les fauteuils roulants, les poussettes, le vapotage, les personnes accédant à des zones non autorisées ou se mettant en danger en s'approchant du bord des quais de train.

Les documents, partiellement expurgés, montrent également comment l'IA a commis des erreurs au cours du procès, comme signaler les enfants qui suivaient leurs parents à travers les barrières de contrôle comme des fraudeurs potentiels, ou ne pas être capable de faire la différence entre un vélo pliant et un vélo pliant. vélo non pliable. Les policiers ont également assisté au procès en plaçant une machette et un pistolet devant les caméras de vidéosurveillance, alors que le commissariat était fermé, afin d'aider le système à mieux détecter les armes.

Les experts en matière de confidentialité qui ont examiné les documents remettent en question l'exactitude des algorithmes de détection d'objets. Ils affirment également qu’il n’est pas clair combien de personnes étaient au courant de l’essai et préviennent que de tels systèmes de surveillance pourraient facilement être étendus à l’avenir pour inclure des systèmes de détection plus sophistiqués ou des logiciels de reconnaissance faciale tentant d’identifier des individus spécifiques. « Bien que cet essai n’implique pas de reconnaissance faciale, l’utilisation de l’IA dans un espace public pour identifier des comportements, analyser le langage corporel et déduire des caractéristiques protégées soulève bon nombre des mêmes questions scientifiques, éthiques, juridiques et sociétales soulevées par les technologies de reconnaissance faciale. « , déclare Michael Birtwistle, directeur associé de l'institut de recherche indépendant Ada Lovelace Institute.

En réponse à la demande d'accès à l'information de WIRED, le TfL affirme avoir utilisé des images de vidéosurveillance existantes, des algorithmes d'IA et « de nombreux modèles de détection » pour détecter des modèles de comportement. « En fournissant au personnel de la gare des informations et des notifications sur les mouvements et le comportement des clients, ils seront, espérons-le, en mesure de réagir plus rapidement à toute situation », indique la réponse. Il affirme également que l’essai a fourni un aperçu de la fraude tarifaire qui « nous aidera dans nos futures approches et interventions », et que les données recueillies sont conformes à ses politiques en matière de données.

Dans une déclaration envoyée après la publication de cet article, Mandy McGregor, responsable des politiques et de la sécurité communautaire de TfL, affirme que les résultats de l'essai continuent d'être analysés et ajoute : « il n'y avait aucune preuve de biais » dans les données collectées lors de l'essai. Au cours du procès, dit McGregor, il n'y avait aucun panneau à la station mentionnant les tests des outils de surveillance de l'IA.

« Nous réfléchissons actuellement à la conception et à la portée d’une deuxième phase de l’essai. Aucune autre décision n’a été prise concernant l’extension de l’utilisation de cette technologie, que ce soit pour étendre les stations ou pour ajouter des capacités. » dit McGregor. « Tout déploiement plus large de la technologie au-delà d'un projet pilote dépendrait d'une consultation approfondie des communautés locales et d'autres parties prenantes concernées, y compris des experts dans le domaine. »