Catalunya nit

Román Orús: "La IA és una eina molt potent, però sense capacitat ètica i moral"

Durada: 9 min
15/09/2026
Al "Catalunya nit", cada quinze dies convidem Román Orús, l'únic català i espanyol que és membre del Pànel Científic Internacional sobre Intel·ligència Artificial de les Nacions Unides. Avui conversem amb ell per saber què en pensa, dels perills de la IA, ara que se'n debaten els límits i la regulació.
TRANSCRIPCIÓ

Transcripció automàtica generada amb intel·ligència artificial. Pot contenir incorreccions.

00:00

5 minuts per arribar a tres quarts de deu. A finals de la temporada passada vam decidir que incorporaríem el Catalunya Nit. Vaja, que li proposaríem al romano Horus. Ho vam fer perquè sabíem, intuíem, ja que la intel·ligència artificial representava una revolució, però no ens imaginàvem fins a quin punt.

00:31

El Roman Horus, recordem-ho, és l'únic català o espanyol que forma part d'aquest panel internacional de les Nacions Unides amb 40 científics de tot el món, precisament per investigar, controlar, regular, assessorar tot el que passa amb la intel·ligència artificial. Roman Horus, bona nit. Bona nit, què tal? A veure, de crides a la regulació ja en tenim des de fa temps, però aquests últims dies és veritat que a partir segurament de les paraules d'aquest noi.

01:03

Es Jacob Coxon, que es que va fer una alerta, no sé si molt exagerada, dient que abans de la dècada la inteligencia artificial podia acabar amb el món si no es prenien mesures. Urgents. A partir d'aquí hi ha hagut com una cascada de gent molt important que ha demanat regular, posar el fre. El que deia Coxon és que, per exemple, ja hi havia agents de la intel·ligència artificial, ho està dient aquí de fons, ho deia la CNN, que per iniciativa pròpia, per entendre'ns, havien hackejat un tercer, deia, una tercera empresa, companyia, i que a partir d'això, clar, potser un dia decidien organitzar un cap, una taca amb armes bioquímiques o el que fos. Tu com ho veus tot plegat?

01:47

Jo veig que estan passant coses molt ràpidament i molt interessant també. El que està succeint és que les empreses que estan desenvolupant els grans models d'intel·ligència artificial estan veient que els models més potents s'escapen al control humà. Literalment, és molt difícil de controlar, són models realment molt intel·ligents, tenen moltíssima capacitat, i clar, si hi ha un incident, diguem, on una sèrie d'intel·ligències artificials, com va passar durant l'estiu, hackegen, es posen d'acord entre elles, creen el seu propi llenguatge, etc., i acaben hackejant una altra empresa, això ningú es vol fer responsable. Clar, el que va passar l'estiu amb aquestes intel·ligències artificials d'OpenAI va ser molt greu, perquè no era l'objectiu d'aquestes intel·ligències artificials hackejar res, els hi va posar un altre objectiu i elles per si mateixes van començar a raonar i van decidir que el millor que podien fer era hackejar aquesta altra empresa. Efectivament, s'està començant a anar una mica de les mans i ara doncs el que estan dient els grans directius de les empreses com Entropico, PNE, etc. Potser hem d'aturar una mica i començar a entendre com es controla aquest tipus de tecnologia.

02:59

Clar, d'entrada aquest jove, Jacob Coxon, parlava d'agents de la IA. Què són els agents IA? Sí, els agents de la IA, doncs,

03:08

són intel·ligències artificials que fan coses. Ara mateix, doncs, bueno, tu tens els grans models de llenguatge, tens el chat GPT, no?, d'OpenAI, tens el Clot, l'agent de Meta ha fet el Lama. Això són intel·ligències artificials que serveixen per parlar amb ells, no? Poden resoldre problemes, pots escriure un poema, et poden fer resums, poden fer totes aquestes coses. Ara bé. Quan vols passar al següent nivell d'intel·ligència artificial, tu el que vols és que la intel·ligència artificial et resolgui problemes, et faci coses, et faci una presentació, et faci un document, et programi. Aquests són els agents. Els agents són com minirobots, per dir-ho així, però no són robots físics, però són programes, intel·ligències que fan coses, no només parlen, sinó que a més a més executen accions. Aleshores, el que va passar a OpenAI és que hi havia molts agents allà, cadascú estava especialitzat en una cosa concreta, i es van posar tots d'acord per hackejar aquesta empresa.

04:02

Clar, aquí deies, i ho explicaves molt clarament, que no se'ls havia demanat que fessin això, i ho van fer. Però clar, si ens posem en el pitjor dels escenaris, allò, un ésser molt malvat que controli la intel·ligència artificial, sí que els hi podria demanar expressament que fessin alguna cosa terrible.

04:20

Clar, és una eina molt potent, ja ho hem vist, no? Hem de tenir en compte que la intel·ligència artificial sembla que raona, sembla que tal, però no té una capacitat ètica ni moral com tenim els humans. Nosaltres podem decidir que, bueno, hackejar una altra empresa per obtenir el teu objectiu probablement és una cosa que no és moralment correcta, no? Però la intel·ligència artificial no té aquest ímpot, no l'hi hem dit, potser és que l'hi hem de dir, no? La intel·ligència artificial l'únic que sap és que té un problema a resoldre i ha d'utilitzar totes les eines que té a la seva disposició per fer-ho. És com si a tu et diuen que has d'anar a l'habitació del costat i, bueno, doncs el camí més curt és trencar la paret, no? Pues ho fas. Pues això és una mica el que passa amb la IA, no? Clar, és un problema, perquè efectivament, si això cau a les mans de gent que no tingui bones intencions, podria ser una eina, podria sonar-me, directament, podria ser una eina bastant preocupant. Això ja ho vam dir nosaltres a les Nacions Unides, al PAN de les Nacions Unides, de fet, el primer informe que vam. Treure el juliol era una de les principals conclusions que trèiem. Hi ha moltíssimes oportunitats amb la intel·ligència artificial, però hi ha riscos. Un dels riscos més grans que hi ha, a part de tot el tema de notícies falses, etcètera, és tot el tema de la ciberseguretat. Clar.

05:34

Aquesta setmana, per cert, ahir, Salvador Illa, el president de la Generalitat, va anunciar la creació d'un observatori a Catalunya d'intel·ligència artificial. No sé si ja t'han demanat que hi participis. T'han dit alguna cosa? No m'han dit res. Estaria encantat, eh? Bueno. Doncs segur que t'acabarà arribant la proposta, ho veus bé?

05:53

Sí, clar, és una iniciativa molt bona i molt necessària, vull dir, s'han de fer aquest tipus d'observatoris, no? Vull dir, la intel·ligència artificial, ja ho hem vist, no?, està canviant la societat, no?, és una revolució tecnològica, però que, a més a més, té moltíssim d'impacte social a totes les capes de la societat, no? Per exemple, què passa amb el treball, què passa amb l'educació, què passa, no sé, amb la forma de treballar, no?, Fa falta un observatori que es preocupi per quins són els drets dels ciutadans, que els treballadors continuïn tenint els drets, que no perdin treball davant de temes d'intel·ligència artificial, etc. Jo crec que és una iniciativa molt pionera. Jo crec que també això s'acabarà contagiant a altres regions necessàriament.

06:38

Per acabar et volia posar un anunci, és de OpenAI, que ha llançat GPT-6, aquest GPT-6 Astra. Aquí tenim, és l'anunci, veiem a tot de persones davant d'una pantalla amb aquesta GPT-6, que li van demanant coses i van apareixent a la pantalla, les van fent. Es diu que té una capacitat sobrehumana. Això què vol dir?

07:10

Bueno, jo crec que lo de sobrehumana està una mica sobredimensionat, també. Jo crec que és una miqueta de marketing, de OpenAI. Una mica de raó tenen, perquè, clar, o sigui, una intel·ligència sobrehumana vol dir que, bueno, aquesta intel·ligència es pot raonar, pot planejar i pot executar tarees molt complexes, no?, amb una solvència molt millor que no pas la dels humans. I això, en particular, ja veiem que està passant en tots els temes que tenen que veure amb el que un humà fa amb un ordinador. Amb el que un humà fa amb un ordinador, en teoria, aquesta intel·ligència artificial és millor, no?, programar, per exemple, resoldre problemes matemàtics. Estem veient molt desenvolupament en el tema de les matemàtiques.

07:46

Sí, aquesta setmana hem parlat del problema del mil·lenni, no? Resolen 88 hores el que portava gent anys i anys treballant. Més de 200 anys.

07:53

Més de 200 anys portaven els matemàtics amb aquest problema. És el problema de les equacions Navier-Stokes. És un d'aquests problemes del mil·lenni que tenen premi en matemàtiques i tal. Hi havia moltíssims matemàtics que havien treballat tota la seva vida en aquest tema i la intel·ligència artificial d'OpenAI el va solucionar en uns pocs dies. Hi ha hagut molta polèmica, acusacions de plazis i tal, però el que sí que és cert és que, clar, això ja t'està dient que hi ha un canvi a la forma de fer investigació i en matemàtiques molt en particular, els matemàtics estan molt preocupats. Clar, des d'aquest punt de vista, home, un sí que podria dir que això és una intel·ligència sobrehumana, no? Però a mi també m'agradaria veure quin és el consum energètic que té aquesta intel·ligència tan sobrehumana. Això potser, segur que no és sobrehumà, no?

08:35

Serà sobrenatural, sí. Efectivament. Per la setmana que ve, no, per d'aquí 15 dies, el Roman Orus el tenim cada 15 dies, et voldré preguntar una altra cosa. Per exemple, ara hem explicat la resolució d'aquest problema matemàtic, val? Això ho deixo obert per d'aquí 15 dies, però si poséssim la intel·ligència artificial a resoldre les grans causes del planeta, per exemple, trobem una solució al càncer, per dir alguna cosa, la trobaríem o no? Això serà el següent capítol. Perfecte, doncs ho deixem.

09:05

Gràcies, Roman. Merci.

Àudios