Román Orús, membre del grup d'experts de l'ONU sobre IA: "S'han de posar més capes de seguretat"

Passen quatre minuts d'un quart de deu, doncs a les Nacions Unides ja hi tenen un document, un informe, que ha fet aquest grup d'experts de les Nacions Unides sobre intel·ligència artificial. D'aquests 40 experts independents n'hi ha un que firma el document, que és català, i que és col·laborador del Catalunya Nit, així que li donem pas directament. Roman Orús, bona nit. Bona nit, què tal? Avui no és el dia habitual de les teves entrades al Catalunya a nit, però clar, l'actualitat mana. A quines conclusions heu arribat en aquest informe que heu presentat a les Nacions Unides sobre intel·ligència artificial, Roman?

Sí, és un informe sobre un esdeveniment molt concret, sobre un esdeveniment molt concret, que és el que va succeir durant l'estiu, quan una sèrie d'intel·ligències artificials d'OpenAI es van sortir de control i van hackejar una altra empresa. Això va ser un incident de ciberseguretat prou greu i a més a més ha portat molt de soroll. Com per fer ràpidament un informe temàtic únicament sobre aquest incident i sobre quines són les seves conseqüències, que és el que podria

implicar i com es podria solucionar. Sobre el que podria implicar, aquí del que alerteu és que els humans no tenim prou garanties per mantenir el control sobre aquesta tecnologia?

Bueno, ara mateix no, però vull dir, no hi ha res impossible. Una de les conclusions a les que arribem és que, òbviament, s'han de posar moltes més capes de seguretat en el que són els models d'intel·ligència artificial avançats. A veure, ara mateix, per exemple, en aviació hi ha moltíssimes capes de seguretat abans de posar-se un avió, i en tecnologia nuclear, doncs, el mateix. El que diem és que s'ha de fer alguna cosa semblant a intel·ligència artificial i proposem unes quantes mesures per tal de millorar-ho.

Quines serien aquestes mesures? Quin exemple ens podries posar?

Bueno, per exemple, s'han de desenvolupar sistemes d'alerta temprana, per exemple, que quan hi hagi un incident d'aquesta categoria ha d'haver-hi algun sistema on tothom pugui tenir accés a lo que ha succeït i analitzar-ho. Ha d'haver-hi agències independents que siguin capaces de certificar els models i ha d'haver-hi un control continu de monitorització del que passa amb aquests models, que no se'n vagin de del que haurien de fer i sobretot fa falta més investigació en com es desenvolupen i s'entrenen aquests models, perquè part de la raó pel que ha passat això és pel com s'entrenen aquests models molt enfocats a assolir uns objectius molt concrets.

D'una entrada canviar l'entrenament dels models, i per l'altra entenc, per exemple, que en el cas de l'estiu, aquest Hugging Face que tu ara ens deies, a la que es detectés que agents de la intel·ligència artificial passen a fer una cosa que ningú li ha demanat, que sonessin les alarmes i aturar.

Efectivament, s'ha de fer alguna espècie de sistema d'alerta temprana per quan alguna cosa d'aquest estil passi, que soni alguna alarma per algun lloc i es pugui actuar en conseqüència lo suficientment d'hora. Això per una banda, i per l'altra banda l'ideal és que no passi, per això fa falta més recerca en aquest sentit.

Clar, doncs la firma de Roman Orús i 39 experts més que ja estan en aquest document que ara tenen a les Nacions Unides i que esperem que llegeixin bé i que apliquin. Moltíssimes gràcies, Roman, i d'aquí una setmana tornem a parlar.

Perfecte, moltes gràcies, bona nit. Bona nit.