Pensem menys i pitjor amb la IA?

Amb la carpeta de la ciència i la tecnologia, Carles Planes, molt bona tarda. Bona tarda. Periodista especialitzat en tecnologia i poder i David Poblador, molt bona tarda. Bona tarda. Tecnòleg i expert en intel·ligència artificial. Avui, la pregunta. Pensem menys i pitjor amb la IA?

Sí o no? La resposta senzilla, tot i que és molt més complexa, diria que sí, en certs usos sí que ho pot fer. Crec que la clau és que ara fa gairebé tres anys i mig que es va llançar ChatGPT i hem anat veient estudis de com s'utilitza, com s'utilitzen aquests models d'IA. Un informe recent parlava que l'ús principal és per teràpia o per companyia. O sigui, que la gent l'utilitza com si fos un amic, com si fos un terapeuta, algú a qui explicar-li els seus problemes per poder-lo resoldre, consells sobre relacions, també per treballar. És a dir, que en gran mesura s'està veient com cada vegada més la gent el que està fent és externalitzar el seu pensament a la IA. I això, òbviament, té un impacte, que no és que directament ens faci més ximples, però sí que hi ha bastants estudis. Que el que demostren és que tu pots utilitzar la IA com una pròtesi interessant per fer la teva feina, la qüestió és que si tu crees una relació de dependència i t'acostumes tant a fer la feina o a pensar. A resoldre problemes a través de la IA, i ho acabes normalitzant-ho tant, això a llarg termini pot portar a una erosió de tot el procés cognitiu profund, que és aquesta fricció d'estar donant voltes a una idea. I això, molts experts en neurociència adverteixen que tota aquesta fricció. És clau perquè nosaltres puguem aprendre bé. Aquesta capacitat de persistència, de fallar, d'intentar una cosa que no funcioni i tornar-ho a provar, tot això és clau perquè nosaltres aprenguem. De manera que si confiem cegament en la IA, sí que et pot servir per entregar els deures, per fer la feina que has de fer, però que després al cap de dos dies et preguntin i no tinguis ni idea del que has fet perquè ho has automatitzat tot.

Clar, fent el símil físic seria com estar-se tot el dia al sofà sense fer res, no? Que et vas deteriorant, el cos es va deteriorant i al final, bueno, no sé com acabarem. I això també em preocupa molt a mi amb les noves generacions. D'alguna manera nosaltres en certs àmbits no teníem el xat GPT i li havíem de donar el tarro. Ara hi haurà molta gent que hi haurà moltes coses que no es plantejarà mai perquè simplement tens a l'abast un xat directament, li preguntes i et respons.

És que cada vegada també tolerem menys la fricció, tolerem menys que les coses tardin, som mincloc generacions que cada vegada estem més atrevessades per voler-ho tot ja i voler-ho ràpid sense aprendre a tenir paciència i clar, això pot ser un problema greu. El paralisme aquest que feies, més que estar-se al sofà sense fer res, és com anar al gimnàs i demanar que algú aixequi les peses per tu. Tu no estàs fent absolutament cap exercici i l'estàs delegant. I clar, aquí hi ha un problema que es traduirà en un impacte social, però que a nivell cognitiu ja s'està veient. Hi havia un estudi recent de l'MIT. Que el que feien era, la gent els hi posaven electroencefalogrames per detectar quines àrees del cervell s'activaven o no, i la gent que utilitzava més chat GPT, hi havia unes zones del cervell que es mantenien apagades, de manera que, clar, després no podien recordar què és el que estaven fent, és a dir, que sí que té un impacte neuronal clau, I ho anirem veient cada vegada més.

Jo crec que el problema també rau en que hem delegat una part de les tasques de la vida que no haurien de ser delegables al model de llenguatge perquè no hem entès ben bé en què són molt poderosos aquests models de llenguatge. És a dir, està bé, aquestes màquines són molt bones, per exemple, trobant una agulla en un paller, per això saben resumir coses bé i per això poden recordar parts anteriors de textos i coses d'aquestes. Però coses d'aquelles que impliquen marinar un pensament, adquirir un coneixement, clar, primer de tot això està limitat pel coneixement que aquestes eines tinguin en les dades amb les que s'han entrenat, òbviament. Però en segon lloc. Adquirir aquest coneixement implica clavar colzes, pensar, equivocar-se, cagar-la quatre vegades, dir, escolta, m'ho he de rumiar més, i això, quan tu busques aquesta immediatesa en la resposta, no ho adquiriràs de cap manera.

Mira, l'altre dia parlava amb en Gil Prats sobre Roca, l'autor del joc del silenci, i jo li demanava si li preocupava si la IA generativa en el món dels escriptors hi hauria un dia que acabaria llegint un conte, per exemple, que li semblés brillant i que llavors descobrís que l'havia fet la IA, i això el preocupava moltíssim. I llavors parlant, parlant, també vam dir, bueno, clar, nosaltres quan anàvem a l'institut, és veritat que ens fèiem xuletes, però en el procés de fer la xuleta, aprenies a resumir, a posar les idees principals, tot això està desapareixent. A banda, i ara ja obro un altre meló, que el que et diu el xat GPT molta gent creu que va a missa, jo a vegades el primer, que penses que allò és la veritat absoluta, i a part la IA sempre t'intenta donar la raó, sempre et diu, molt bona pregunta, això que has pensat està molt bé. I estic pensant també en l'impacte psicològic que pot generar aquesta idea que la IA sempre. Et vol donar la raó i et diu que ets el millor en tot.

Aquests models, a banda d'estar entrenats amb unes dades que poden tenir els seus biaixos o els seus problemes de qualitat, tenen una segona capa d'entrenament que és com han d'interactuar amb tu. I òbviament, podem ser mal pensats, aquests models potser optimitzen el fet que t'agradi escoltar, llegir la resposta que t'està donant. Com que no et portarà a la contrària, ja t'hi sents bé, no? Moltes vegades. Potser això amaga altres problemes que tenim d'autoestima o altres coses, podria ser, però aquests models realment no s'adapten molt al que t'agradaria sentir i això fot una por bastant més grossa que el tema que el coneixement no sigui complet. Jo de fet crec que no és ni una qüestió de ser mal pensats,

directament crec que aquests chatbots ja es dissenyen exactament així, perquè bàsicament el que volen és causar una gran fascinació en l'usuari, que se senti atret i que es quedi allà retingut. De fet ja s'ha vist des del principi, els models d'intel·ligència artificial generativa. Ja podien fer el que feia ChatGPT abans que ChatGPT. La qüestió és que ChatGPT posa una interfície que fa que sigui més sexy per la gent, que sigui més fàcil, perquè clar, en el moment que et preguntes alguna cosa i la pantalla et respon amb aquella autoritat, tothom es va quedar fascinat. Jo crec que allà hi ha una qüestió de disseny, tenint en compte la reacció psicològica de l'usuari, que és clau, però això és molt, molt problemàtic, perquè ja s'ha vist que el que s'està fent és alimentar dinàmiques psicològiques de risc, no? O sigui, fins i tot espirals de deliri. S'han informat de casos en els que usuaris que no tenien cap problema mental, després d'interactuar hores i hores i hores amb un chatbot, han acabat convençuts que havien descobert, doncs, no sé, una teoria matemàtica que transformaria el món, no? O sigui, de fet. S'han informat, aquest era un cas d'un ciutadà canadenc, que després d'aquestes converses va tenir episodis de paranoia, de delirants, de pensar que havia sigut l'escollit per Déu. Hi ha molts casos que està tenint aquest impacte psicològic. De fet, és Microsoft qui. Descriu tot aquest tipus, aquestes crisis, com psicosi de la IA,

que no és un terme clínic, però és una manera de descriure un fenomen, i un fenomen que és preocupant. I hi ha més riscos a part d'aquest? Sí, com parlaves abans, els chatbots estan dissenyats, han estat dissenyats perquè ens agradi estar allà, no? I com parlàvem abans de la fricció, a nosaltres ens agrada que ens donin la raó. Que el que facin sigui validar la nostra visió del món. I si tens algú que et diu que llest que ets, quina pregunta més interessant A mi sempre em diu, està molt bé que em facis aquesta pregunta. El que fan és adolar-nos constantment perquè saben que d'aquesta manera, un, tu ja estaràs més temps retingut allà, i dos, acabaràs creient més cegament en el que et digui. Quan sabem ja que aquests models tenen un problema ja de la seva pròpia arquitectura, que és que. Presenten com a fiable i com a verdadera informació que és errònia. I això és un problema de desinformació majúscula. Però clar, quan tenim models amb els que interactuem que només ens diuen lo guapos que som i lo bé que fem les coses, això reforça els nostres biaixos, els nostres prejudicis sobre el món, I hi ha molts experts que adverteixen que les cambres d'eco aquestes en les que havien generat les xarxes socials, en les que cadascú viu en el seu filtre bombolla,

en el seu món, i que quan tu i jo parlem no tenim per què tenir res en comú, perquè tu veus una realitat i jo en visc una altra, que això amb la IA es dispari, que sigui com una versió en anabolitzants. I de fet hi havia un cas que es va informar força recent d'un adolescent finlandès de 16 anys que de cop un dia va apunyalar tres noies a classe. I poc després es va saber que s'havia tirat hores i hores i hores parlant amb XatGPT i que a XatGPT el que li feia era reforçar les seves idees misògenes que tenia, de culpabilitzar les dones de tot. Llavors, d'alguna manera, aquí la IA va servir. Per alterar les seves percepcions i validar-les, validar uns prejudicis que després es van traduir en efectes nefastos al carrer.

Sí, tenim una eina davant que, com està entrenada per ploure la gent. S'adaptarà a qualsevol trastorn que tu puguis ja portar de fàbrica, o a qualsevol comportament extrem o a qualsevol idea extrema, i no el minimitzarà, segurament l'alimentarà d'alguna manera. Jo crec que, per exemple, amb les xarxes socials ja hem après de mala manera que incentivar o que connectar l'èxit d'una companyia amb mètriques relacionades amb la quantitat de continguts consumits o amb la quantitat d'hores gastades en aquella plataforma ens ha dut a situacions molt desafortunades, com sabem tots, Crec que estem cometent el mateix error amb una eina, a més a més, que té bastant més poder o que té un potencial de dany molt més ampli, perquè pot manufacturar informació constantment.

A mi el que em fot, perdoneu que ho digui així, és que això ja ho sabíem que passaria. Ho sabíem i no només per les xarxes socials. És que el primer chatbot es crea l'any 1966. I quan es crea aquest chatbot, bàsicament, el seu inventor, que era el Josep Weizenbaum, que és un prestigiós informàtic teòric, ell el va dissenyar també perquè imités a un psicoterapeuta. I ell tenia molt clar que havia programat una màquina perquè respongués certes coses, imitant els humans. El problema és que a ell se li va anar el cap absolutament quan va veure que la seva secretària, que la seva família, tot el personal que tenia al voltant, acabaven convençuts que la màquina amb la que interactuaven no era zeros i uns, sinó que pensaven que era un ésser intel·ligent, un ésser amb emocions, i això està passant, i això les empreses d'intel·ligència artificial ho saben, han dissenyat els seus productes per explotar aquest desig de veure humanitat i emocions on no n'hi ha i això ens està portant a tenir aquesta mena de segrest. És a dir, si ho fem nosaltres amb els animals, que hi ha el documental aquell del pop, que oh, el pop es fa molt amic de l'home. No es fa amic de l'home, no es fa, això és una relació.

Però que està fet aposta, això està programat aposta, perquè és una eina de tenir-nos allà enganxats i que seguim consumint, perquè podria funcionar igual sense que fossin aduladores les ies, no? O sigui, el servei ens el farien igual.

Un tema interessant en això és que. Ho esmentaves abans, Carles. El xat GPT neix com un accident. Neix com un accident. Les capacitats tecnològiques de generar llenguatge o de continuar llenguatge, que és bàsicament el que fan aquestes màquines, ja existien. Algú va fer un experiment a OpenAI pel qual segur que no donaven ni 4 xavos, que era, anem a connectar això en un mode conversa. Però ells ja tenien un model que sabia continuar un text. I simplement el van entrenar per poder conversar a moments. I això és l'inici del xat GPT, que. Està bé perquè hem vist les capacitats d'una tecnologia i això m'agrada que això la gent ho pugui veure, però òbviament porta grans complexitats com eliminar el nostre esperit crític, la capacitat de pensar amb el nostre propi cap, coses d'aquestes. I jo he arribat a pensar, perquè he vist altres parts de la intel·ligència artificial generativa que realment són molt beneficioses per la societat i per la meva feina en concret, arribo a pensar que el xat GPT és una de les pitjors coses que li ha passat pel màrqueting de la intel·ligència artificial. Perquè no és el mateix utilitzar el xat GPT per dir, ostres, explica'm què m'està passant. Que utilitzar el xat GPT per dir, escolta, tinc tota aquesta feina de recerca científica, trobem quins patrons es combinen en tots aquests documents que et passo. Perquè la segona part la fa utilitzant dades que tu li proveeixes, una mica, en fons segurament de més qualitat o almenys de les quals tu tens més control. La primera part és sintètica, és sintètica en base als viatges que allò tingui. Llavors, què passa? Tenim una eina que té com si diguéssim el potencial de tenir braços que poden fer moltes coses i buscar-se les garrofes i trobar, solucionar problemes, però l'estem utilitzant per una cosa que realment va ser l'anècdota de com utilitzar els models de llenguatge. I això és el que em preocupa, que molta gent no passa d'això i que, a més a més, s'han convertit en una eina d'engagement. I ara, en el contexte aquest, on les empreses de Large Language Models estan a punt de sortir a la borsa, que voldran optimitzar per mètriques d'ús i voldran explicar com d'importants són en el mercat, crec que això anirà a pitjor. O potser veiem la punta de risa verd, només. I sap greu perdre una part de la utilitat d'aquestes eines per utilitzar només un fragment que realment va completament espiaixat.

Hem començat plantejant-nos la pregunta si pensem menys i pitjor amb la IA i amb tot el que heu dit, jo crec que si no canvia res, efectivament, acabarem pensant menys i pitjor. Aviam, el que estem veient és

el que s'anomena rendició cognitiva, que és un terme que s'està utilitzant per explicar a aquesta gent que delega, externalitza cada vegada més el seu pensament a la IA i això també porta a un problema greu que és. Que quan tu li consultes algo al xat GPT no és que l'estiguem utilitzant només per utilitzar certes, com deia el David, per fer certes feines, sinó que moltes vegades el que estem externalitzant és el pensament crític, els judicis. Li estem dient a la màquina que pensi per nosaltres o que ens expliqui què és el que hem de pensar.

Sí, que et doni una opinió que potser tu no t'has format. És més fàcil demanar-li una mica sobre aquest tema què has de pensar.

Té un, que és un altre terme d'aquests que s'ha creat, que és el deute cognitiu, que és aquest cos cerebral de que si tu no estàs pensant, si estàs cedint el pensament a la màquina, això disminueix que tu puguis funcionar sol, que tinguis autonomia cognitiva, que puguis resoldre un problema el dia que no tinguis la guia al davant. I això ja per si ja és prou greu. Però també té una altra derivada, que és la que mencionàvem abans, que és la qüestió de que si tu estàs delegant el teu pensament crític. A una eina que crea contingut erroni i talvent com fals, doncs aquí hi ha un error, hi ha un problema majúscul que és el que s'anirà amplificant a, diguéssim, desinformació, informació errònia. Ja ho hem vist mil vegades, no?, de gent que s'atribueixen cites a persones que no ho han dit o informes a gent que ha mort. Bueno, hi ha diferents errors, n'hi ha moltíssims, si els busqueu per. Però clar, a mi una parlaves de estem parlant de tots aquests impactes negatius que està tenint amb el fet que les IA siguin tan aduladores i això ha obligat a que les empreses acabin reduint els nivells d'adulació que tenen, que no et diguin tantes vegades lo guapo i l'ulles que ets perquè això s'havia traduït en un impacte psicològic important però clar, tu utilitzaries un chatbot que li preguntes a algú i et diu no ho sé.

No, perquè no funcionaria, però pensaria, hòstia, que sincer que és, que no ho sàpiga.

Però no faria la funció que jo li demano, llavors. El que passa és que el problema és que aquests sistemes tenen un incentiu que és perquè a tu t'agradin, perquè a l'usuari li agradin, sempre li han de donar una resposta. Llavors, en lloc de dir no ho sé, és millor donar una resposta que sigui correcta. O imagina que et diu, estàs equivocat. Probablement ens faria pensar més. Això ens generaria més fricció. Sí, sí. I ens faria entrar a l'altra.

Obrir un debat i confrontar-te amb ella, intentar-la convèncer, no? Però clar, això és feina. Clar, i és difícil, no?

Entre nosaltres sí que podem confrontar idees, però si davant tens un mirall, però com una mena de mirall de format que l'únic que fa és escopir-te el que tu dius, però de forma sobredimensionada, crec que aquí hi haurà un. Ja hi ha un problema gran, però probablement de cara als pròxims anys. Serà encara més gros. I no ho dic jo per ser catastrofista, però sinó que molts dels advocats que porten alguns d'aquests casos que hem mencionat ja diuen que se'ls gira molta feina.

David Poblador i Carles Planas, moltes gràcies, un plaer sentir-vos com sempre. La setmana que ve hi tornem. Fins la setmana que ve. Fins llavors.