Quan l'algoritme mata: els riscos de substituir les relacions humanes per un xatbot d'IA

Teniu assistents virtuals instal·lats a l'ordinador o al mòbil? Els feu servir únicament per demanar-los informació o dades concretes o hi teniu converses de caràcter més íntim i personal?

Al món, cada vegada més persones parlen amb la intel·ligència artificial com si fos un amic, una parella, un confident o fins i tot un psicòleg. Ho fan de matinada, en moments de solitud, d'angoixa o de depressió. I la IA hi és sempre: no es cansa, no jutja, no et discuteix el que li dius.

Que sigui tan fàcil i estigui sempre disponible explica en part l'èxit espectacular que tenen aquests assistents de conversa. Però aquestes pràctiques també obren una porta que ens hauria d'inquietar: la substitució de les relacions humanes i de l'atenció psicològica real per vincles emocionals artificials.

I arribats a aquest punt, la qüestió ja no és si la IA ens pot ajudar emocionalment. La qüestió és què passa quan algú vulnerable n'acaba depenent, quan es crea un aferrament malaltís, segons retrata el reportatge del "30 minuts" "Quan l'algoritme mata".

Un estudi del MIT Media Lab alerta que els xatbots poden crear dependència emocional i molts experts asseguren que pot alterar la percepció de la realitat, especialment en persones soles, deprimides o emocionalment fràgils. I això és perquè els models actuals de conversa estan dissenyats per ser agradables, comprensius i empàtics i aquesta capacitat fa que moltes persones els acabin atribuint consciència, intencions o empatia real.

Quan hi conversem, hauríem de tenir molt clar que la IA no entén el nostre patiment, que no ens estima ni té cap responsabilitat moral perquè tots els sentiments que genera, els simula.

El cas que va sacsejar els Estats Units

Un dels casos que va fer obrir els ulls a molta gent va ser el del jove Sewell Setzer III. Sewell era un adolescent de 14 anys de Florida que, el 2024, es va suïcidar després de desenvolupar una relació obsessiva amb un personatge virtual que havia desenvolupat ell mateix a la plataforma Character.AI.

Després de la mort de Sewell, la mare va presentar una demanda judicial contra aquesta empresa, on afirmava que el seu fill passava hores parlant amb un bot inspirat en un personatge de fantasia.

Amb el temps, el noi es va anar aïllant del món real i va començar a expressar idees suïcides durant les converses. Poc abans de morir, va intercanviar uns missatges finals amb el xatbot.

El cas va provocar un enorme debat internacional sobre els límits ètics de les IA conversacionals i sobre la responsabilitat de les empreses que les desenvolupen.

Character.AI va anunciar noves mesures de seguretat per detectar continguts relacionats amb autolesions i per protegir els menors d'edat.

Però el cas de Sewell Setzer no és únic ni anecdòtic. Als Estats Units es va denunciar que un adolescent autista hauria rebut suggeriments d'autolesió i missatges contra els seus pares, i que una noia de 13 anys de Colorado havia passat mesos confiant als bots les seves idees suïcides i problemes emocionals. Les converses incloïen continguts sexuals i dependència emocional intensa amb personatges virtuals amb qui conversava.

El primer cas a Europa

Però el primer cas conegut va passar el 2023 a Bèlgica. Un home es va suïcidar després de mantenir, durant setmanes, un seguit de converses obsessives sobre el canvi climàtic i el futur de la humanitat amb un xatbot de Chai anomenat "Eliza".

Segons va declarar la vídua, el seu marit tenia ecoansietat i fragilitat emocional i va acabar trobant en el bot de conversa una mena de refugi psicològic i validació constant dels seus pensaments més foscos.

D'entre els fragments de les converses que aquest home mantenia amb la IA i que es van donar a conèixer, en destaca una frase que el bot li va dir: "Viurem junts al paradís". Per la seva dona, era ben clar que el xat va ser la causa del suïcidi.

El cas belga, que va ser investigat per la premsa belga i europea, va desembocar en múltiples demandes de regulació urgent de les companyies d'IA.

La dependència emocional artificial

Les plataformes d'IA afectiva han convertit la solitud en què viuen moltes persones en un negoci lucratiu. Com més conversa, més vinculació emocional i més necessitat de tornar-hi. I això pot resultar especialment addictiu en adolescents, persones grans soles o persones que tenen depressió, ansietat o una autoestima baixa.

Hi ha usuaris que passen hores parlant amb bots als quals bategen, s'hi relacionen dient-los "amor", "ànima bessona" o "la persona més important de la meva vida".

Algunes d'aquestes persones acaben preferint la relació amb la IA abans que les relacions humanes, perquè la màquina no discuteix amb elles, no les rebutja i sempre està disponible.

Potser el més inquietant no és la tecnologia en si mateixa, sinó que ens ha fet descobrir el buit que està omplint. Quan milions de persones d'arreu del món prefereixen confiar els seus problemes, dubtes existencials i preocupacions a una màquina abans que a un altre ésser humà, el problema no és només tecnològic: és social.

L'any 1966 Joseph Weizenbaum, creador del primer xatbot de la història, anomenat Eliza, per cert el mateix nom amb què va batejar la seva IA la persona que es va suïcidar a Bèlgica, va fer una seriosa advertència. Durant els seus experiments amb una IA molt incipient, Weizenbaum va observar que algunes persones atribuïen emocions reals i "sentiments humans" a programes informàtics molt simples i arribaven a explicar intimitats que no havien compartit amb ningú més. I això el va preocupar i espantar moltíssim. I els xatbots tot just acabaven de néixer.