Quan un algoritme et nega un ajut: qui vigila la IA de l'Estat?

Quan els ciutadans volen aconseguir un ajut han de vèncer diversos entrebancs. Assabentar-se que hi tenen dret, reunir la paperassa i portar-la a l'administració. Però encara es poden trobar un últim escull: que la petició no l'avaluï un funcionari, sinó un algoritme automatitzat --que valida o rebutja l'ajut sense oferir cap més explicació--, i que aquest algoritme s'equivoqui.

És el cas de BOSCO, l'algoritme que negava el bo social --que implica un descompte en la factura de la llum-- a viudes o famílies nombroses per un error de programació.

Una investigació de l'entitat Civio, una organització sense ànim de lucre que escruta els governs, ho va demostrar el 2018 i l'administració va esmenar l'algoritme, però el que no van aconseguir és que els mostressin el codi font per comprovar que no hi havia més errors.

Ara, una sentència pionera a l'Estat, que crea jurisprudència, estableix que l'administració ha d'obrir l'algoritme i mostrar com està programada l'eina perquè sigui auditable públicament.

La lluita per la transparència

L'Estat s'hi va negar repetidament, argumentant que desvelar el codi font podia afectar la seguretat pública o la propietat intel·lectual o també fins i tot la privacitat de les dades personals de les persones sol·licitants del bo social elèctric.

Però el Suprem finalment ha sentenciat a favor de l'entitat. Considera que mostrar el funcionament de l'algoritme precisament "pot ajudar a enfortir el codi font i la seva seguretat perquè incentiva l'administració a extremar les precaucions de seguretat del disseny i, per una altra banda, també obre l'eina a l'escrutini de persones independents i permet aflorar vulnerabilitats."

Per la codirectora de Civio, Eva Belmonte, "la sentència és molt clara" i es tracta d'una victòria que avança cap a la transparència algorítmica: 

"No podem fiscalitzar aquesta nova democràcia digital si no entrem a les tripes. Sobretot quan parlem d'una decisió automatitzada i no hi ha cap funcionari enmig." 

Hi ha sentències prèvies a altres països com Itàlia o els Països Baixos que han anat dictant resolucions a favor de l'accés a la informació dels codis font dels programes que utilitzen les administracions públiques, però és una qüestió legislativament amb molt recorregut al davant.

Pel catedràtic de Dret Administratiu de la Universitat Oberta de Catalunya Agustí Cerrillo Martínez, cal ser cauts perquè la sentència podria tenir un impacte limitat: "No sempre que concorri aquesta causa, el resultat ha de ser que es faciliti l'accés a la informació, sinó que el que exigeix la llei és que hi hagi una ponderació entre els diferents béns o interessos afectats." 

Cerrillo insisteix que la mateixa sentència reitera que "és un cas específic, en què el sol·licitant és una entitat en favor de la transparència i no una empresa o un particular".

Segons ell, doncs, caldrà veure què passa quan ho demani un particular o una empresa, o quan l'administració pública utilitzi aplicacions dissenyades per empreses privades, i per tant no tingui els drets de propietat intel·lectual. La posició de Belmonte és clara:

"No podem tenir cap tecnologia que ens afecti com a ciutadans i que no estigui vigilada."

Segons la codirectora de Civio, la situació actual és un terreny adobat perquè es produeixin abusos. "No hi ha un registre públic, no hi ha ningú que vigili què passa i una mica per aquesta cosa que la tecnologia sempre és bona."

Belmonte assegura que el problema de la implantació d'algoritmes o de sistemes d'intel·ligència artificial a l'administració pública és que s'estan fent sense control.

Riscos i reptes de la IA a l'administració

El cas de BOSCO arriba en un moment clau, en plena digitalització de l'administració. En els treballs que s'estan impulsant darrerament per reformar l'administració pública de la Generalitat, per exemple, hi ha diverses propostes en aquest sentit.

"Es parla d'avançar cap a una major proactivitat de l'administració, però no es parla de l'activitat del personal, sinó de l'anàlisi de dades que es pugui fer de manera automatitzada a través dels ordinadors", apunta Cerrillo, per qui l'automatització va a més, anirà més i s'està demanant que vagi a més. 

"Un programa mal dissenyat pot replicar de manera infinita l'error i és més difícilment detectable."

Per Cerrillo, l'aspecte fonamental ara mateix serà garantir el coneixement del ciutadà. Considera que si no sabem que la decisió s'ha basat en un procés automatitzat o que d'alguna manera hi ha intervingut un algoritme, difícilment podem donar resposta a aquest problema.

A més, també creu que s'haurà de vetllar perquè el procés automatitzat sigui explicable, és a dir, que a la persona interessada se li pugui dir per què l'ordinador ha pres una decisió o una altra. Una situació que serà més complexa a mesura que la IA avanci, perquè sovint saber com arriba a uns determinats resultats és una qüestió que no està a l'abast de les persones que l'han creat.

"La tecnologia és bona per a moltes coses i es fa servir a l'administració per a moltes coses, però no podem tenir cap tecnologia que ens afecti com a ciutadans i que no estigui vigilada. És com si tinguéssim lleis que ens afecten o decrets o reglaments i no poguéssim llegir què hi posa", sentencia Belmonte.