Quina ideologia té la IA?

Moment de parlar de ciència i de tecnologia, i per tant, Carles Planes, molt bona tarda. Hola, bona tarda. Periodista del periòdico especialitzat en tecnologia i poder, i David Poblador, molt bona tarda també. Bona tarda. Tecnòleg i expert en intel·ligència artificial. Avui acabarem aquesta secció que ens ha acompanyat tot l'estiu. I quina és la temàtica escollida per tancar-ho,

per posar-hi el llacet? Doncs avui posarem el llacet posant-nos intensos, perquè vindrem a parlar d'un dels temes que són més importants, tot i que menys debatuts públicament sobre intel·ligència artificial, que és la ideologia que hi ha al darrere.

Jo només veig, Roger, que en Carles ha vingut amb un totxo, un llibre que es diu Profecia, i ja és tota una declaració d'intencions, aquest llibre, em sembla, Carles.

Sí, hi entrarem una mica més directe, però és un llibre que recomano moltíssim a tothom qui vulgui saber com s'estan utilitzant les prediccions com a ordres per condicionar el futur. És un llibre de filosofia, però realment està explicat molt en termes planers. I ajuda a entendre com les èlits de Silicon Valley estan moltes vegades venent-nos projeccions de futur com si fossin inevitables quan realment el que volen és que seguim aquestes ordres per anar en la direcció que ells volen.

D'entrada, quan parlem d'ideologia, intel·ligència artificial, podem dir, que és una cosa que s'ha dit molt, quan li fas una consulta a nivell d'usuari a una intel·ligència artificial, que hi ha un viatge ideològic, podem dir, per tant, que la intel·ligència artificial és de dretes o és d'esquerres? És així de.

Hi ha somriures a l'estudi, Marta, amb aquesta pregunta.

No és tan clar, perquè hi ha una mica de tot. El que és clar és que hi ha viaixos, perquè els humans tenim viaixos i, per tant, una vegada s'entrenen els algoritmes de IA, es tradueixen aquests viaixos a la màquina. Aquest tema de si és de dretes o d'esquerra, jo crec que sonarà segur als nostres oients, perquè és un tema que l'Elon Musk ha repetit fins l'extenuació. Ha dit que ChatGPT és woke, que Gemini és woke, que Clot és woke. Bàsicament, woke és la manera en la que, si els oients no coneixen aquest terme, és la forma pejorativa en la que els sectors conservadors es refereixen com un insult a la gent que es preocupa per la justícia social, per la diversitat de gènere i racial, etcètera. Bàsicament, Elon Musk diu que l'única IA que diu la veritat és Grok, que O és la seva. I tots els xatbots d'IA amb els quals nosaltres interactuem tenen viaixos ideològics, però el cas de Grok és el més flagrant de tots, però perquè ho hem vist a cara descoberta. Musk ha dit, hem vist com està utilitzant aquest xatbot com una arma política per difondre la seva ideologia. Que és una ideologia antiliberal, antireaccionària i antidemocràtica en molts casos. Per dir que ell és el millor, no m'ho invento jo, això s'ha informat que ell va dir als enginyers de la seva companyia que basessin les respostes del seu xatbot en els tuits que ell havia fet, és a dir, que el que ell diu va a missa. I això ha fet que, directament, Kroc li preguntis coses i hagi difós missatges antisemites, hagi dit que Hitler és el millor, hagi començat a respondre a tordes i a dret a qüestions que no tenien absolutament res a veure amb Sudàfrica, però dir que hi ha un genocidi de la població blanca, que això és una teoria de la conspiració que. Que no existeix. El que passa que és molt naïf pensar que això només passa en l'empresa d'Elon Musk, per molt que en la d'Elon Musk sigui la més visible, la més descarada, això passa en absolutament totes. Totes les IAs amb les que interactuem tenen certs viaixos.

Sí, sí, i aquests viaixos en els models aquests de llenguatge que s'utilitzen en tots els chatbots i tal, estan codificats a sobre de tot el corpus d'entrenament. És a dir, a banda de totes les dades. Que s'han utilitzat, que ja vénen amb els seus propis viaixos per entrenar aquests models, després se'ls pot otorgar una personalitat. I, de fet, el cas aquest de l'Elon Musk que descrius, algú va aconseguir exfiltrar la instrucció que estava rebent Grock a l'hora de decorar les seves respostes. I en aquesta instrucció deia, literalment, utilitza els tuits d'Elon Musk com a referent. Per informar el to en el que has de respondre. És a dir, sí, es pot fer i s'està fent i és demostració palpable.

De fet, hi ha diversos estudis que han intentat calibrar cap a quin costat cauen els chatbots i, generalment, el que es veu és que sí que s'inclinen cap a posicions que són més percebudes com a progressistes. I dic percebudes i és important perquè el que també mesuren és el viatge de l'usuari. Llavors, pot ser que a la IA tu li preguntis alguna cosa i et doni una resposta que científicament és objectiva sobre el canvi climàtic. Et pot dir que el planeta s'està escalfant i que, degut a l'acció humana, s'està portant cap a temperatures cada vegada més extremes. Però això l'audiència ho pot percebre com una resposta d'esquerres. És a dir, hi ha gent que no creu en el canvi climàtic o que no creu que sigui un efecte humà, que si Gemini o XatGPT li diu això, no creu que estigui donant una resposta objectiva, sinó que diu que la IA és d'esquerres. Llavors, moltes vegades el que es mesura és la percepció que els humans tenim sobre aquestes coses. Respostes, més que realment es pugui encabir una resposta com si és d'esquerres o de dretes. Hi ha una gama de matisos molt més gran.

Això és pel que fa als chatbots quan parlem amb ells, però no sé si podem identificar la ideologia que tenen les empreses, més enllà de les respostes que nosaltres rebem quan fem consultes.

Hem dit que ens posaríem intensos, així que som-hi. Avui volia parlar-vos de la ideologia més influent que hi ha a Silicon Valley, a la indústria tecnològica, que és una ideologia que es diu altruisme afectiu. Molt probablement no n'heu sentit a parlar, perquè és molt de nínxol, però ha estat descrita com la religió secular de les elites tecnològiques. OpenAI, que és l'empresa de xat GPT, Antropic, Musk, totes aquestes empreses estan atravesades per aquesta ideologia. Per molt que no sigui monolítica i que tots la segueixin, però sí que està travessada i és una corrent filosòfica que sobre el paper el que diu és, proposa que la manera en la que més podem ajudar al món és calcular quines de les donacions que podem fer tenen el màxim retorn o el màxim benefici social possible. És a dir, per exemple, es va fer un càlcul, es va intentar reduir a un càlcul matemàtic aquest grup, en el que deien que la millor manera de curar la malària a Àfrica era a través d'unes xarxes que utilitzaven per a les tendes que no entressin els mosquits que els picaven la malària. Van fer aquest càlcul. Quin és el problema? Que reduir la solidaritat a un càlcul matemàtic assumeix una equació que no és certa, que és que podem predir el futur. Aquesta gent que segueix aquesta corrent creu que pot determinar de forma matemàtica si pren una decisió tindrà un millor impacte que no una altra.

I això es va veure en aquest cas que us explicava. Per què? Doncs perquè molts dels països d'Àfrica en els que van enviar aquestes xarxes contra els mosquits i contra la malària van acabar sent utilitzades pels pescadors per pescar peixos. Què passava? Que aquestes xarxes van accentuar la pèrdua de peixos en certes zones i això va acabar traduint-se en problemes que desequilibraven l'ecosistema a l'Àfrica. Llavors. El llibre aquest que comentaves, és de la filósofa Carissa Béliz, ella allà menciona com aquesta ideologia, aquesta corrent filosòfica, el que està servint és per justificar que un grup molt limitat de persones, que generalment són gent rica, homes blancs rics de Califòrnia o dels Estats Units, puguin concentrar poder i riquesa, vendre's com els nous profetes i ser ells qui determinen una mica el futur de la humanitat. Perquè si et diuen, jo puc saber què és el que anirà millor per la humanitat, puc decidir posar els diners en una qüestió, com és, per exemple, la intel·ligència artificial, i no posar-la en la pobresa. De fet, ella explica que en aquests cercles. Se'ls havia demanat, per què no invertim més diners en erradicar la pobresa? I moltes de les persones que estaven allà, entre ells Elon Musk, deien, perquè no interessa la pobresa, no ens interessa curar la pobresa, no és prou sexy. El que se'ns fa sexy a nosaltres és dir la

idea que hi haurà una intel·ligència artificial amb capacitats suficients com per aniquilar la raça i allà és on hem de posar tots els nostres diners i tots els nostres esforços. Hi ha una altra derivada perillosa d'aquesta corrent i és que el que havia promogut o el que encara promou és el que es coneix com earn to give, guanyar per donar. Diuen que si la millor manera que tens d'ajudar el món és donar molts diners en una causa, doncs el que has de fer és fer-te banquer o fer una professió en la que guanyaràs molts diners i fer tot el que estigui en les teves mans per guanyar el màxim nombre de diners. Però clar, això ens porta a una situació que pot ser problemàtica, que és aquesta de que la finalitat justifiqui els mitjans. I això es va veure en un cas molt escandalós, que potser sona a la nostra audiència, que és el de Sam Bankman-Fried, que va ser el millonari més jove del món. I era un home, un noi, que va fundar una plataforma de criptomonedes que es deia FTX, que en el moment del boom de les criptomonedes tots els criptobros estaven reverenciant aquest noi perquè havia aconseguit crear un imperi de criptomonedes i ell seguia aquesta màxima, que era la d'enriquir-se, enriquir-se, enriquir-se, per després donar diners a causes sobre futurs hipotètics. Quin és el problema?

Doncs que es va descobrir que el que ell feia era agafar tots els diners dels inversors i, sense que ells ho sapiguessin, els utilitzava de forma fraudulenta, per exemple, en posar-los en aquestes causes a priori benèfiques. Això va passar que la seva empresa va col·lapsar i a ell li van caure 25 anys de presó.

Bé, com a mínim, no sé si alegra que hi hagi alguna conseqüència quan s'actua d'aquesta manera.

Sí, aquí hi ha una conseqüència directa, però s'exposa directament com aquest tipus de corrents, que són tan dominants, poden donar una mena de justificant moral a accions que són totalment immorals.

Sí, i el culte que pot arribar a generar a certes persones amb comportaments molt, molt qüestionables, com per exemple el Sam Bankman Freight aquest, durant molt de temps se'l presentava com un salvador, com una referència per molta gent, i aquesta persona realment tenia molta influència en alguns cercles, se'l considerava com. Com un far, i n'hi ha molts d'aquests, per desgràcia, en l'entorn Silicon Valley, que tenen molta veu i després són persones molt qüestionables.

Sí, aquest escàndol va fer que aquesta corrent s'amagués una mica, però realment això segueix existint. Hi ha molts inversors i empresaris que segueixen aquesta màxima de guanyar els màxims diners possibles per després ells determinar on posaran aquests diners. La qual, de nou, serveix per justificar que siguin ells qui determinin cap a on s'han d'invertir els diners i no les polítiques

públiques. Perquè, clar, això també ens pot deixar en una situació que són magnats que guanyen molts diners però que si els reinverteixen en la intel·ligència artificial i cada cop és més intel·ligent, jo puc pensar que un dia, gràcies a ells, es trobarà, no sé, un tractament pel càncer o avançarem, no?, amb coses que. Que sí que és veritat que ells s'enriqueixen, però que beneficiaran a la societat gràcies a ells.

Certament qualsevol avenç tecnològic, inverteixi qui inverteixi, pot revertir en una millora pel futur de la societat. Això és inqüestionable. El problema és quan això, quan aquest tipus d'inversions es fan a discreció de voluntats que poden estar influenciades per ideologies qüestionables o per interessos econòmics curt terministes d'alguna gent. Jo preferiria. Que aquest tipus d'inversions es dirigissin basades en l'interès comú, més auspiciades per polítiques públiques, per decisions col·lectives. Hi ha casos d'aquests de, ostres, un donatiu de no sé quantes màquines per fer certes proves molt cares en hospitals. Bé, preferiria que paguessin els impostos per tal que tots els hospitals tinguessin accés a aquest nivell de tecnologia. És un exemple.

Sí, que no ens enganyem. Al cap i a la fi, molts d'aquests magnats tecnològics el que volen fer no és invertir en IA per acabar curant el càncer, sinó el que estan fent és invertir en. En mitigar els hipotètics riscos d'una IA que d'aquí 10, 20, 30, 100 anys es converteixi en algo així com un Terminator. Aquesta és una idea que ha quallat molt, ha quallat molt en la societat, també perquè tenim uns referents de la ciència-ficció molt potents, de la màquina rebel·lant-se contra l'humà i subjugant a tota la humanitat. I aquestes menes de paranoies de la ciència-ficció, tots aquests magnats les estan fent pròpies i les estan venent com que és una situació real que passarà en un futur llunyà. Per fer-nos por o quin és l'objecti d'això? Hi ha una. Hi ha una doble cara. Una part és mercatiniana, que és la de vendre, que tenen en les seves mans un producte o una eina que transformarà la humanitat i que serà tan perillosa que només ells la poden controlar.

Tenen una eina de destrucció massiva a les seves mans i que poden fer el que vulguin amb això.

Clar, hi ha una part que és aquesta i llavors també hi ha una part que és la de creença quasi religiosa. De fet, la gent que més ha estudiat aquests cercles. Mencionen que hi ha molta gent que hi creu, que realment hi ha enginyers d'aquests d'alt nivell que se'n van a dormir pensant que la seva creació servirà pel col·lapse de la humanitat. Allà hi ha un mix entre gent que hi creu i gent que ho aprofita per intentar guanyar més diners. Fanàtics i aprofitats, no? Sí, i això ens porta a parlar d'un altre corrent, que també té molta presència a Silicon Valley, que es diu llargterminisme. Que probablement, si ho posem en aquest concepte, no sabrem de què parlem, però probablement sí que us sonarà més si parlem de colonitzar Mart. De colonitzar Mart, colonitzar la Lluna, de crear intel·ligències artificials com un Terminator. Totes aquestes idees responen al llargterminisme, que és una corrent que diu que hem de centrar totes les nostres accions. Perquè tinguin el millor impacte en un futur molt, molt llunyà. I ells tenen un truc, que diuen, en lloc de preocupar-nos per l'impacte que la intel·ligència artificial està tenint ja, hem de pensar en l'impacte que la IA tindrà d'aquí cent o mil anys. El que passa que, clar, d'aquí cent o mil anys. És impossible.

És que com ho pots predir, com ho pots saber?

Si fa cinc anys era impossible predir on som ara, no?

Però què guanyen apostant per aquesta mirada tan a llarg termini?

Això li serveix com una mena de justificació moral. Pensem que si Elon Musk no ha de respondre als diners que té i explicar per què no inverteix o per què no ajuda a resoldre la pobresa o per què ha ajudat el govern de Donald Trump a carregar-se tots els programes d'ajuda internacional que s'han derivat en milers de mort en el sud global, a ell això li serveix per dir "no, és que el que estic fent jo...". Intentar crear coets que arribin a Mart per salvar la civilització és molt més important. Per què? Perquè ells fan un càlcul, que és un truc fantasiós, que és el que utilitzen l'infinit per justificar qualsevol cosa. I això té conseqüències dramàtiques. Per què? Poso un exemple. Imaginem que nosaltres ara podem gastar mil milions d'euros en vacunes i hospitals per erradicar malalties que ajudaran a salvar un milió de persones. Tothom podria estar d'acord en que això és algo que hauríem de fer, que és important. Aquesta gent el que diu és que si invertim tots aquests diners en reduir un 0,01% el risc que una superintel·ligència artificial ens mati a tots d'aquí 500 anys, com que d'aquí 500 anys viurem trilions d'éssers humans, segons els seus càlculs, en lloc dels bilions que hi ha actualment, per a ells és molt millor salvar a trilions que salvar a bilions.

Si d'aquí 500 anys podrem salvar molta més gent, això ens donarà com una mena de paraigües moral perquè puguem fer qualsevol cosa en nom de salvar allò, aquell volum de gent. Encara que això es tradueixi en deixar que milers de persones morin avui. Al final és una manera

de no respondre de les conseqüències directes dels seus actes, en nom d'una cosa futura, llunyana i absolutament remota. Totalment.

És una visió del món que apela als més rics perquè els proporciona això, justificar la seva riquesa i una excusa moral per esquivar tots aquests problemes. I això ho estem veient de nou constantment. Si veieu qualsevol roda de premsa de les que fa Elon Musk per presentar tots els seus projectes extraplanetaris amb els que diu que vol portar la civilització a colonitzar les estrelles. Això, de nou, hi ha una part mercatiniana, que és amb la que intenta vendre un futur esperançador perquè els inversors hi posin pasta i, per tant, les seves accions es revaloritzin i ell tingui més diners, però també hi ha aquesta de convicció que podrem colonitzar l'espai per així salvar la civilització d'una catàstrofe. En lloc de salvar el planeta, el que hem de fer és fugir d'aquest planeta i fugir a un altre.

Clar, ens has parlat d'algunes de aquestes corrents ideològiques que no sé si dominen, però que són molt presents en la IA, però no sé si totes van en aquesta direcció o hi ha alguns dissidents o algunes posicions una mica enfrontades a aquest llarg terminisme i a aquest earn to give.

Sí, el que hem vist és que moltes vegades, totes aquestes corrents, jo n'he mencionat dues, però realment, si l'UJI vol aprofundir, hi ha una amalgama de corrents filosòfiques que marquen cap a on van aquestes empreses. També el transhumanisme, que és aquesta idea de. Que els humans hem de millorar-nos biològicament a través de la tecnologia, i podríem pensar que, per exemple, una cama biónica, una persona que no té extremitats, això és transhumanisme, però el que estan proposant aquesta gent és d'implantar xips cerebrals i de fusionar els humans amb intel·ligències artificials, coses molt boges que no hi han pogut aprofundir però que val la pena entrar-hi. Però moltes d'elles estan atravesades pel singularisme, per la singularitat, que es creuran que la IA arribarà a aquest estadi en el que supera els humans, aquest estadi en el que la IA gairebé podríem dir que prendrà consciència i es convertirà en un ens que serà molt més intel·ligent que nosaltres, que anirà aprenent sol automàticament i que ens superarà. I això, aquesta creença que és compartida a la gent que crea les aplicacions d'aquest que utilitzem, ha acabat fragmentant-se en dues cares d'una mateixa moneda. Per una cara tenim el que es coneixen com els hypers, o els acceleracionistes, els tecno-optimistes, que són els que creuen que. Que aquesta superintel·ligència artificial servirà per donar-nos medicaments, energia abundant, robots, creixement econòmic i solucions i que, per tant, com que ens portaran cap a una utopia, el que hem de fer és accelerar, accelerar, accelerar i que no hi hagi cap mena de regulació, que aquestes empreses puguin fer i desfer el que els doni la gana per tal d'arribar en aquesta mena d'utopia. I per l'altre costat tenim els doomers, els catastrofistes, que són els que consideren que aquesta IA es descontrolarà, es rebel·larà contra la humanitat i acabarà amb tots nosaltres. Acabaran fent aquesta visió de Matrix, de Terminator. Llavors, el que han fet és aquesta branca. Per justificar aquesta mena de pors han fet que han col·locat la intel·ligència artificial com un risc existencial per a la humanitat al mateix nivell que una pandèmia o una guerra nuclear.

Aquí estem rient amb això, però a vegades quan comences a pensar d'on venim, on som i tot el que s'ha aconseguit en pocs anys, Aquesta idea catastrofista, jo l'he sentit a parlar en el meu entorn, de dir, hi haurà un moment que potser sí que això serà tan intel·ligent que ens controlarà a tots. Et fa por tu, David? Jo crec que.

Sí, em fa por perquè en general la velocitat de canvi i saber on aterrarem és una cosa inquietant, però jo considero que mentre encara tinguem la possibilitat de desendollar un centre de dades, un servidor, tenim com a humans certs controls que ens donen una mica de seguretat. Sense saber-ne molt del tema, Em preocupa quan es barregen temes tecnològics que realment tenen una aplicació pragmàtica i que realment poden millorar la vida de molta gent amb ideologies més properes als fanatismes, moltes vegades impulsades per gent que són una mica. Indocumentats o tenen una visió massa simplista del planeta sense entendre les coses com funcionen arreu, parlen categòricament de coses que realment no entenen i que això acabi convertint-se en dogma per molts seguidors d'aquesta mateixa gent que fan les seves tesis i encara les. Les expandeixen més, em preocupen. A nivell tecnològic, jo soc dels, potser hyper no seria la millor manera de definir-ho, per mi, però jo crec que estem a prop de poder tenir la possibilitat de fer coses que no es feien en quant a recerca, amb uns recursos molt més tangibles. Per tant, veig amb optimisme una IA ben gestionada, ben controlada, ben regulada, pel futur de la nostra humanitat. Certament s'ha de treure el control de moltes d'aquestes eines de molta gent. Crec que hi ha, totalment com dius,

pot haver-hi una posició intermitja o equilibrada que vulgui extreure el màxim profit d'aquesta tecnologia sense caure en aquest tipus de discursos que menciones, però crec que és molt clau que la gent que puguem utilitzar la IA tinguem clar que. Que tots aquests bàndols coincideixen en vendre que la IA és inevitable, que és sobrehumana i que determinarà la civilització. I hem de saber que aquesta narrativa, això els serveix perquè els creadors d'aquesta IA, els Elon Musk, els Sam Allman, els Mark Zuckerberg de torn, això els serveix a ells per vendre's no com empresaris que venen serveis, sinó com gairebé els guardians del destí de la humanitat. Es venen com déus totpoderosos. I això de nou serveix perquè ells esquivin l'escrutini. Esquivin la regulació i sobretot perquè esquivin respondre sobre els impactes més directes que ja veiem que està tenint la intel·ligència artificial en l'acomiadament de treballadors, en la precarització, en l'expòlita d'obres amb drets d'autors, en el consum energètic, la vigilància, la discriminació algorítmica. Hi ha moltes altres qüestions de la IA que ja ens estan afectant i tots aquests discursos futuribles el que fan és que no hi prestem atenció i ens dediquem més a futurs hipotètics que no tenen ni per què passar.

Doncs ens quedem amb tot això, amb tot això i tot el que hem après aquest estiu amb en Carles Planes i el David Poblador. Gràcies per les vostres converses, perquè ens ho heu explicat i s'ha entès bastant tot.

I no era fàcil. I no és fàcil. Perquè ens heu portat temes a vegades complexos, però ho heu fet molt clar i, vaja, jo crec que tothom ha d'estar molt agraïts, tots els que ens han escoltat, no només nosaltres.

Exacte, i sentir les vostres reflexions. Per tant, moltes gràcies i fins aviat.

Moltes gràcies a vosaltres. Gràcies a vosaltres.