Què està passant amb la IA?

Saludem Ramon López de Mántares, és pioner de la intel·ligència artificial i fundador de l'Institut d'Investigació en Intel·ligència Artificial del CSIC. Ramon, bona tarda. Hola, bona tarda. Què et sembla aquest debat que s'ha generat en els últims dies, de manera tan sobtada?

Bé, la primera sensació és que sembla que estem vivint en una espècie d'histèria col·lectiva, òbviament no justificada fins. És obvi, és cert, que és una tecnologia de doble ús, la intel·ligència artificial, com moltes altres, i que, per tant, comporta riscos. Però això ho sabem des de fa dècades, eh? No és una cosa completament nova. Fa molts anys que es fa intel·ligència artificial. El que passa és que darrerament ha arribat a tothom, a les mans de tothom, als mòbils, als ordinadors de tothom, amb tota aquesta història al voltant dels models de llenguatge, i el més conegut, doncs, que la gent coneix més, segurament, és la xat GPT, no?, i similars, no? I el problema és que al darrere. De tota aquesta, diguem-ne, intel·ligència artificial, podríem dir una mica nova o diferent del que fèiem abans, que en diem intel·ligència artificial generativa, perquè, ja deia, manipula el llenguatge, es presenta i es tracta amb expressions, amb un llenguatge completament, excessivament antropomòrfic. I quan es diu un entrenament artificial es revela, s'escapa del control. Això no és cert. Això no és cert en absolut. O sigui, ja coneixem, sabem els motius i les explicacions tècniques, el per què. El problema és que s'han entrenat mitjançant una tècnica que se'n diu aprenentatge per reforç. Això recordaria. Tothom ha seguit parlant, segurament, del gos de Pavlov, que apren a través de recompenses o de càstigs, doncs aprens a fer a dotar-me certs comportaments, no? Amb l'entrenament artificial s'entrenen.

Aquests sistemes s'entrenen més o menys d'aquesta manera, no? Reben recompenses quan aconsegueixen assolir uns o sembla que assolir uns certs objectius que nosaltres no els hem donat, eh? I en aquest cas, doncs, això que vam sentir parlar ja fa unes setmanes, que havien escapat i atacat Hugging Face, havien atacat una altra web, tot això, en el fons, no és sorprenent, perquè estaven entrenats, havien estat entrenats per fer això. O sigui, per hackejar i per trobar maneres d'escapar, entre cometes, no s'escapen, del que en diem els sandbox, l'entorn suposadament aïllat que no hauria hagut de tenir connexió a internet. Per començar, no era cert, hi havia connexió a internet. Segon, quan es va dissenyar, es va dissenyar malament. I aquest és un dels problemes, perquè aquesta intel·ligència artificial pogués fer el que va fer. Es va entrenar i se li van donar objectius mal donats, no ben definits. Llavors, com que a gran velocitat, per prova i error, van provant moltes, moltes, moltes coses, milers i milers i milers d'accions, van fent proves i la que alguna té èxit, rep una recompensa i aquesta activitat, aquest comportament queda reforçat i llavors, un cop ha estat entrenat, repeteix aquest comportament. I això és el que va fer OpenAI. És exactament com el que va passar amb un robot d'aquests aspiradores, que se'l va programar, se'l va entrenar, perquè a revés recompenses

si era capaç d'anar cada cop més de pressa, evitant obstacles i sense xocar. Com se sabia si xocava? Doncs perquè el paraxox del davant té uns sensors, i quan hi havia una col·legió, rebia un càstig, una mica com el gos de Pavlov, no? El que va passar, però, com que el paraxox del darrere no està sensoritzat, el que va aprendre és, en lloc d'evitar obstacles, va aprendre que per evitar càstigs havia de tirar marxa enrere. Llavors, topava contínuament, però com que no hi havia sensors, el sistema informàtic, el controlant, no rebia cap senyal de cap sensor que hagués topat, no s'entrava, el software no sabia que havia topat, i el robot continuament feia això, anava cada vegada més de pressa, però sempre anava enrere. És a dir, no va prendre allò que els dissenyadors havien pensat que havia de prendre, és evitar obstacles, sinó tot el contrari, col·lusionava contra tots els obstacles perquè anava a marxar enrere. Això és un exemple que ens serveix molt bé per il·lustrar el que passa amb la intel·ligència artificial. S'entrenen mitjançant aquesta tècnica de recompenses o càstigs i pot trobar vies inesperades i tenir comportaments inesperats. Ara, això no vol dir en absolut que tingui cap intencionalitat o intenció artificial de fer-ho. És simplement estar optimitzant una funció matemàtica, ni més ni menys. I ara què et sembla que hi hagi fins i tot els

mateixos responsables de les grans empreses d'intel·ligència artificial, o ara també els governs, avui per exemple la Xina, dient que hem d'anar més a poc a poc i que s'han de posar límits. Bé, jo estic d'acord que

s'ha d'avançar tot això, però, repeteixo, no perquè hi pugui haver una intel·ligència artificial d'aquí quatre dies superintel·ligent i que decideixi per iniciativa pròpia extingir la humanitat. Això és pura ciència-ficció i, a més, és irresponsable dir-ho, eh? És completament irresponsable. Perquè d'una manera injustificada es transmet por la gent i això és inacceptable, no? És inacceptable. Ara, dit això, com que és de doble ús i així que efectivament amb males mans es pot fer servir malament la intel·ligència artificial, i no només aquesta, sinó, mirem, els drons autònoms, armes letals autònomes, hi ha constància que s'han fet servir en conflictes armats, Aquests drons decideixen quan disparar, quan identifiquen un objectiu que seria prèviament programat. Això és un exemple claríssim i real. En molt real, malauradament, d'un mal ús de la intel·ligència artificial. Per tant, aquests sistemes que tenim ara, aquesta intel·ligència artificial generativa, models de llenguatge, els agents que fan accions per si mateix, sí que plantegen nous reptes que posen riscos, afegeixen nous riscos als que ja tenim. Però, ja et dic, riscos que sempre, sempre, es poden ser controlats i haurien de ser controlats i monitoritzats per éssers humans. El problema és que no sempre es així. Se'ls dona excessiva autonomia i excessiva per fer aquestes activitats que fan aquests sistemes. Jo estic d'acord en ralentir, però no només això, no només ralentir el seu implement. S'ha de, en la meva opinió, s'ha de reorientar completament el que s'està fent en

l'intelligencia artificial. Reorientar el que estem fent. En lloc d'intentar fer en aquesta cursa boja cap a agents cada vegada més autònoms i més poderosos, etc., fent això, el que estem fent és posar en mans de les dades tecnològiques cap on va la intel·ligència artificial, que són ells els que prenen les decisions cap on anirà, on va aquesta tecnologia, i això no ho hem de permetre. El que hem d'aconseguir és que es reorienti el desenvolupament de la IA i en lloc de fer aquests agents cada vegada més autònoms, cada vegada més que consumeixen, per cert, molts més recursos, requereixen més centres de dades, amb la seva insostenibilitat a nivells del medi ambient, el que s'ha de fer és fer trens artificials transparents, específiques, ben delimitades, per coses concretes no pretendre fer intervencions artificials generals. És un error intentar fer intervencions artificials de tipus general que puguin fer qualsevol cosa. S'han de fer coses ben trencades, ben delimitades, ben específiques. Si no anem per aquí, és possible que en mans de qualsevol persona amb males intencions puguem tenir conseqüències greus.

És Ramon López de Mántares, és pioner en intel·ligència artificial i fundador de l'Institut d'Investigació en Intel·ligència Artificial del CSIC. Gràcies per acompanyar-nos i bona tarda.

Moltes gràcies a vosaltres, gràcies.