Primera sentència contra l'Estat per un algoritme que negava ajuts a vídues i famílies nombroses

El Suprem ha condemnat el govern espanyol a mostrar el codi font de l'algoritme de BOSCO, una eina que decideix automàticament qui obté i qui no el bo social, un ajut que rebaixa la factura de la llum.

La sentència és el resultat d'una llarga batalla judicial que l'entitat Civio, una organització sense ànim de lucre que escruta els governs, va iniciar fa set anys quan va descobrir que BOSCO cometia errors i denegava ajudes a persones que hi tenien dret.

La investigació de Civio va demostrar que l'aplicació s'equivocava i negava el bo social a vídues i també a famílies nombroses, malgrat que reunien tots els requisists per accedir-hi. El motiu? En la majoria de casos no havien marcat una casella determinada.  Per exemple, a les famílies nombroses se'ls denegava quan un dels seus membres no havia donat accés perquè revisessin el seu nivell de renda. En realitat, però, no calia aquest accés, perquè les famílies nombroses podien demanar el bo social independentment del seu nivell de renda. 

El problema és que el tràmit per rebre el bo social depenia únicament de BOSCO, no hi havia cap funcionari que intervingués en el procés.  I a més Bosco, creat pel govern espanyol com un aplicatiu perquè les elèctriques comprovessin qui tenia dret i qui no a l'ajut, no oferia cap explicació sobre les seves decisions, només notificava amb un "sí" o un "no" als sol·licitants si se'ls havia concedit. 

Quan Civio va notificar l'Estat que l'eina cometia errors va demanar tenir accés al codi font per detectar possibles altres errors. Però l'Estat s'hi va negar al·legant motius de seguretat. 

Per què s'hi negava l'Estat?

Els motius del govern espanyol eren bàsicament que podia afectar la seguretat pública, la propietat intel·lectual de l'eina o la privacitat de les dades dels sol·licitants.

Afirmaven que obrir l'algoritme podia impactar en el seu funcionament, o que podia donar lloc a atacs de hackers.

Civio va respondre que obtenir el codi font de l'eina no implicava accedir a dades dels ciutadans ni debilitava la seva ciberseguretat.

Malgrat perdre el cas a un jutjat contenciós administratiu i a l'Audiència Nacional, va recórrer al Suprem, que finalment li ha donat la raó.

Què diu la sentència?

El Suprem valida els arguments de Civio i parla de la importància de la transparència en "una democràcia digital". Afirma que "el dret d'accés a la informació pública adquireix especial rellevància davant els riscos que té l'ús de les noves tecnologies en l'exercici de les potestats públiques o la prestació de serveis públics" i subratlla "especialment quan tenen per objecte el reconeixement de drets socials".

Per què és important?

És la primera vegada a l'Estat que els tribunals resolen que l'administració ha de mostrar com està programada una eina que gestiona béns públics.

La sentència, a més de pionera, crea jurisprudència i obre la porta a reclamar transparència a l'administració en l'ús de sistemes digitals automatitzats que prenen decisions que afecten la ciutadania.

Per tant, es considera un pas endavant cap a l'anomenada "transparència algorítmica" en un moment clau, quan els sistemes automatitzats o eines d'IA s'estan estenent a l'administració digital.