Càmeres amb IA que detecten emocions, el polèmic test descobert en estacions de tren britàniques
Una càmera de videovigilància situada just sobre el torn d'accés a l'estació de trens captura una imatge d'un passatger i l'envia als servidors d'Amazon.
El gegant tecnològic processa la fotografia, l'analitza i, en pocs segons, retorna les seves conclusions a l'empresa que gestiona el servei: aquell passatger és un home jove d'entre 20 i 25 anys i està trist (amb un 89% de certesa).
Això s'ha fet amb milers de passatgers que durant els darrers mesos han utilitzat el servei ferroviari del Regne Unit, gestionat per l'empresa pública Network Rail.
La gestora ha estat supervisant durant dos anys unes polèmiques proves de reconeixement automàtic a 8 estacions del Regne Unit, entre elles les importants estacions londinenques de Euston i Waterloo o la de Manchester Piccadilly, que incloïen nombrosos tipus de proves, entre d'altres el polèmic reconeixement demogràfic i emocional dels passatgers.
Els testos s'han dut a terme, principalment, a través de càmeres que compten amb sistemes de visió artificial, un camp de la intel·ligència artificial que permet detectar automàticament objectes, persones i situacions.
Tot i l'extensió de les proves, els detalls sobre el seu funcionament han estat descoberts gràcies a una petició de transparència del grup de defensa de llibertats civils britànic, Big Brother Watch (Vigilància del Gran Germà), tal com informa el mitjà especialitzat en tecnologia Wired.
El director d'investigacions de Big Brother Watch, Jake Hurfurt, ha expressat preocupació per la implantació, sense debat previ, d'aquest tipus de sistemes de reconeixement automàtic basats en intel·ligència artificial:
⚠️We've uncovered documents revealing that eight train stations trialled Amazon's AI surveillance software with their CCTV cameras - with some analysing passengers's age, gender and emotions
Big Brother Watch (@BigBrotherWatch) June 17, 2024
"The rollout and normalisation of AI surveillance in these public spaces, without much pic.twitter.com/dJLS75ZURH
"La implantació i normalització de la vigilància d'IA en aquests espais públics, sense gaire consulta ni conversa, és un pas preocupant"
Les càmeres de videovigilància utilitzades, ja fossin dispositius intel·ligents que inclouen software d'anàlisi automàtica d'imatges o càmeres antigues que depenen d'un núvol extern per processar les imatges, es connectaven al servei d'Amazon Web Services conegut com a Amazon Rekognition.
El producte d'Amazon es ven com un servei capaç de detectar i analitzar característiques facials, comparar i buscar cares de persones, detectar i etiquetar qualsevol objecte, així com escenes, activitats i punts de referència, moderar continguts, i identificar textos automàticament, entre d'altres.
En les proves, l'organisme que gestiona la infraestructura ferroviària britànica, Network Rail, només hauria utilitzat part de les possibilitats que ofereix el servei d'Amazon, tot i que ha estat la detecció facial la que ha generat la polèmica.
Per millorar la seguretat... i la publicitat
L'objectiu general d'aquestes proves, segons expliquen els documents alliberats en la petició de transparència (marcats com a "confidencial"), era detectar "reptes i oportunitats" que podien ser abordats amb l'anàlisi de dades extretes d'imatges o d'altres sensors "en termes de seguretat, experiència dels passatgers i planificació operativa".
Network Rail pretenia detectar persones que accedien a l'estació sense passar pels torns, controlar i predir massificacions a les andanes, detectar casos d'invasió de vies o de robatori de bicicletes, i identificar comportaments incívics a les instal·lacions com "córrer, cridar, anar amb monopatí o fumar".
La instal·lació de sensors en el mateix context de les proves hauria permès que l'experiment verifiqués també la capacitat d'un sistema d'alertes per avisar de terres relliscosos per humitat, contenidors plens, persones caigudes, quantitat de passatgers, monitoratge del funcionament de les escales mecàniques...
Però l'aplicació més polèmica i preocupant d'aquestes proves és la que permetria analitzar la demografia dels passatgers, acompanyada també del seu estat emocional, a través de l'anàlisi d'imatges captades per càmeres de videovigilància.
És la vuitena de les capacitats del sistema testejat, descrita en la documentació que ha estat alliberada. Segons s'hi detalla, va ser utilitzada en una càmera a cada estació inclosa en les proves i feia una foto de la gent que creuava els torns cada segon, que s'enviava a Amazon Rekognition:
"A partir de l'anàlisi de fotogrames, aquest cas d'ús produeix una anàlisi estadística demogràfica de la franja d'edat i gènere. El cas d'ús també és capaç d'analitzar l'emoció de la gent (per exemple, content, trist, enfadat...) i està disponible, però és vist amb més cautela"
La "mètrica emocional", segueix explicant el document, podria ser utilitzada per mesurar la "satisfacció" dels clients.
A més, aquesta informació podria comportar el benefici financer de "maximitzar els ingressos per publicitat i vendes", dels negocis que operen dins l'estació (NR Properties), tot i que admet que les dades serien "difícils de quantificar" i "impossible validar-ne la precisió".
El regulador de dades del Regne Unit, l'Information Comissioner's Office, adverteix que s'han d'analitzar "els riscos públics d'utilitzar tecnologies de detecció d'emocions abans d'instal·lar-les", una tecnologia que titlla "d'immadura", i que les organitzacions que no actuïn de forma responsable "seran investigades":
"L'anàlisi de les emocions es basa a recopilar, emmagatzemar i processar una sèrie de dades personals [...] molt més perilloses que les tecnologies biomètriques tradicionals que s'utilitzen per verificar o identificar una persona. [...] hi ha un risc de biaix sistèmic, inexactitud i fins i tot discriminació."
"Ens prenem molt seriosament la seguretat de la xarxa ferroviària i fem servir una sèrie de tecnologies avançades a les nostres estacions per protegir els passatgers, els nostres companys i la infraestructura ferroviària de la delinqüència i altres amenaces", ha dit un portaveu de Network Rail, que no ha respost a Wired sobre les proves en qüestió. "Quan despleguem tecnologia, treballem amb la policia i els serveis de seguretat per assegurar-nos que estem prenent mesures proporcionals i sempre complim la legislació pertinent sobre l'ús de tecnologies de vigilància".
La llei europea sobre la intel·ligència artificial contempla l'ús de sistemes d'identificació biomètrica, com el reconeixement facial, en supòsits que algunes veus expertes creuen que es van definir de manera massa àmplia i permissiva, un moviment que és considerat un pas enrere en les llibertats civils i la privacitat dels ciutadans.
En el cas del Regne Unit, l'ús de càmeres de videovigilància està permès en espais públics o privats i la seva instal·lació està regulada pel Protection of Freedoms Act 2012, el Data Protection Act del 2018 i un codi de pràctiques que en resumeix les normes.
Segons el tercer principi, sobre la transparència, les persones en espais públics "haurien de ser habitualment informades" quan es troben en una àrea que està sent monitorada, qui n'és el propietari i per a quines finalitats s'utilitzaran les gravacions, que hauran d'esborrar-se en un període "no més llarg del necessari" un cop complert el seu objectiu.
Per últim, les gravacions obtingudes han de seguir una política "clarament definida" sobre "com s'emmagatzema la informació i qui hi té accés", una política que s'hauria de veure com casa amb l'enviament de les gravacions del Network Rail a Amazon.
