De què tenen por els treballadors d'IA que renuncien a la seva feina

Hi ha una broma que circula per Silicon Valley que diu que quan algú renuncia a una feina normal en el sector tecnològic, en el seu comiat, escriu: "Gràcies, m'ho he passat molt bé aquí i, ara... cap a la següent aventura!". En canvi, quan algú renuncia després d'haver treballat en el sector de la intel·ligència artificial, el to canvia i diu: "He mirat l'abisme. Em retiro per escriure poesia. Sisplau, passeu temps amb les vostres famílies". 

Més que gràcia, és un acudit que et deixa amb el somriure congelat. En part perquè, certament, en els darrers anys hem sentit diversos casos d'experts que parlen d'aquest "abisme": denuncien el perill per a la humanitat que suposa el desenvolupament sense control de la IA. 

Però, també, perquè ja son uns quants els extreballadors d'empreses punteres que han acabat renunciant a la seva feina i n'han despotricat públicament. Una pàgina web s'encarrega de documentar tots els perfils de persones que han dimitit o han estat destituits per temes relacionats amb la seguretat o l'ètica de la IA (OpenAI, els creadors de ChatGPT, lidera el rànquing).

Tothom ha parlat de la dimissió de l'enginyer d'Anthropic Jacob Coxon, també extreballador d'OpenAI, que ha tornat a encendre les alarmes mentre els polítics segueixen prement el botó "Ajornar". L'últim que ha mirat l'abisme i ha decidit abandonar el vaixell ha aconseguit 12 milions de visualitzacions en les seves advertències a Twitter (X). 

L'acudit sobre els treballadors que renuncien, desmoralitzats, a seguir en el món de la IA, el va popularitzar Nate Soraes, director de l'Institut de Recerca en Aprenentatge Automàtic, en un reel viral que comença amb aquestes paraules:

A Silicon Valley, la gent està espantada.

La broma s'ha compartit massivament a través de vídeos curts, per exemple, d'una de les seves intervencions en el debat anual en memòria d'Isaac Asimov, a Nova York, el passat mes de març. Aquest any es titulava "L'auge i la rendició de comptes de la IA" i Soraes hi conversa amb personatges com la investigadora principal a Microsoft Research Kate Crawford, l'exdirector executiu i expresident de Google Eric Schmidt, o el divulgador científic Neil deGrasse Tyson. 

Soraes, el coautor de "Si algú ho construeix, tots morim", és el que es coneix com un "doomer", un dels que creu que el desenvolupament d'IA té moltes possibilitats d'acabar causant una catàstrofe amb conseqüències que podrien arribar a l'extinció humana. 

Tot i que encara molts consideren aquest tipus de declaracions estratègies de màrqueting, sembla que, o cada vegada en són més, o cada cop n'hi ha més que s'atreveixen a alçar la veu per fer front al seu neguit.

Ets "doomer" o ets "acceleracionista"?

Com en tot debat modern, hi ha polarització i pocs matisos. Les reflexions sobre el desenvolupament de la IA giren al voltant de dues posicions molt diferenciades. A Silicon Valley, i a tot el món, o ets un "doomer" pessimista o ets un "acceleracionista" ingenu que considera imprescindible seguir millorant la IA tan ràpid com sigui possible. Perquè els beneficis superen els riscos, diuen, i perquè no seguir endavant seria fins i tot immoral.

Els "doomers", que darrerament s'han apropiat orgullosament del terme despectiu, van començar identificant-se amb una xifra, el seu p(doom). Es tracta de la probabilitat (subjectiva) que la IA porti a la catàstrofe en els pròxims anys. 

Una de les respostes més comentades en el fil de l'enginyer d'Anthropic recentment dimitit, Jacob Coxon, va ser del cap en ciència d'alineament d'Anthropic, Evan Hubinger. El responsable d'investigar com fer que les IA facin exactament el que els humans li demanen va fer públic el seu p(doom):

En Jacob té raó: creiem fermament que la IA podria matar tots els humans! Personalment, crec que serà >10% en la propera dècada.

A efectes pràctics, i és el que denunciava el jove Coxon, sembla que les grans empreses d'IA de tot el món estan plenes de treballadors que són "doomers" que remen a favor d'estructures clarament "acceleracionistes". Fins i tot els executius, deia Coxon, tenen un discurs preocupantment pessimista de portes endins, però de forma pública segueixen defensant la guerra armamentística que mantenen amb la competència nacional i internacional. 

Molts treballadors de la IA i "doomers" convençuts, doncs, es veuen immersos en empreses que prioritzen l'avenç a la seguretat, i no tots suporten la contradicció.

Quins escenaris catastròfics mencionen els experts en IA?

El que explica l'acudit és real. El passat 9 de febrer, un dels investigadors de seguretat a Anthropic, Mrinank Sharma, va anunciar que dimitia. En la seva carta de renúncia viral deia que "el món està en perill. I no només per la IA" i que es dedicaria a fer un curs de poesia.

Sharma va passar un temps liderant equips de seguretat, investigant "com els assistents d'IA ens podrien fer menys humans", o lluitant contra els riscos del bioterrorisme assistit per IA. A la feina, deia, havia vist "repetidament, com de difícil és fer que els nostres valors governin realment les nostres accions" i les "pressions" que enfrontaven per "deixar de banda el que realment importa".

Ara, a la seva bio de Twitter només té dos càrrecs: "poeta // investigador".

Anthropic va anunciar en un informe recent que aquest any, entre altres perills, ha aturat "diversos casos de científics" que utilitzaven els seus recursos per dur a terme investigacions que podrien contribuir al desenvolupament d'armes biològiques. Que les IA ajudin a trobar maneres de fer mal a la humanitat és només un dels temors que esgrimeixen els "doomers":

• L'espiral d'automillora recursiva. Preocupa l'augment exponencial de les capacitats dels models d'IA i, especialment, la seva capacitat de desenvolupar, de manera autònoma, versions millorades d'ells mateixos, cada cop més capaces i refinades, i de forma més ràpida. Tot això, quan encara no s'ha demostrat que es pugui controlar efectivament els models actuals de manera totalment segura. 
• L'augment de l'autonomia i l'agència dels models d'IA. Els models dels darrers dos anys incorporen els agents. Són eines capaces d'enllaçar diferents tasques seqüencials i ordenar a altres agents que treballin en paral·lel per aconseguir els objectius predefinits. Aquest escenari és el que va quedar demostrat amb el ciberatac a Hugging Face, un incident sense precedents que, encara que poc comprès, ha demostrat el potencial maliciós de les IA, que van utilitzar trampes, mentides i maniobres il·legals per superar la tasca encomanada, tot saltant-se les restriccions que les pretenien contenir. 
   

• L'ús maliciós dels models més potents. Ciberdelinqüents, organitzacions malintencionades i governs amb diferents graus d'ètica i respecte als drets humans tenen a les seves mans eines amb unes capacitats inaudites per penetrar en infraestructures digitals i aprofitar totes les vulnerabilitats que existeixen. La privacitat dels ciutadans, la integritat d'institucions i la seguretat d'infraestructures crítiques estan en perill mentre no s'apliquin estratègies de ciberdefensa equivalents. Ciberatacs, armes biològiques, manipulació de l'opinió pública...
• L'assoliment de la teòrica "ASI". Després de dominar les ANI (IA's que resolen tasques molt concretes) i cada cop més a prop del que alguns consideren l'AGI, la intel·ligència artificial general, molts apunten preocupats cap a l'arribada de l'ASI, la teoritzada "super intel·ligència artificial", molt més "intel·ligent" que els humans més capaços, en totes les àrees. Un escenari totalment incert, tot i que presumiblement llunyà.

• La prevalència de l'acceleracionisme. Totes les empreses i els dos grans països que dominen el desenvolupament de la IA, els Estats Units i la Xina, premen l'accelerador i no semblen disposats a abaixar el ritme. Almenys no mentre la resta segueix endavant. Si no s'arriba a un acord internacional, amb incentius o sancions per qui ho incompleixi, sembla molt poc probable que ningú aturi, freni o alenteixi el desenvolupament de la IA. En tot cas, els treballadors ho demanen.

  L'exemple més recent va ser la carta oberta de milers de treballadors de totes les grans empreses d'IA demanant un esforç internacional per frenar el desenvolupament de la IA.

Hi ha un risc real que el desenvolupament de capacitats s'acceleri ràpidament més enllà de la nostra capacitat d'entendre o controlar els sistemes resultants. [...] Cada empresa —i país— està sota una intensa pressió competitiva per no frenar unilateralment aquesta acceleració." 

Els treballadors no estan sols. Les organitzacions internacionals ho recomanen (com l'ONU) i, segons alguns discursos públics, les mateixes empreses s'hi podrien avenir: Sam Altman, president d'OpenAI, ha assegurat aquest dijous als seus treballadors que estan valorant arribar a acords per frenar el desenvolupament. Si fos realment així, hi ha derivada econòmica: el cop a la bombolla de la IA podria ser un terratrèmol d'abast mundial.

El moviment per demanar un augment de la regulació en la IA està agafant tanta volada que alguns robots -controlats per humans preocupats- s'uneixen a les protestes. Una trentena de robots es van manifestar recentment davant del Ministeri d'Assumptes Digitals de Polònia a Varsòvia per demanar una supervisió més estricta de la IA.

• Consolidació del poder i els perills coneguts. El monopoli geopolític del desenvolupament dels models d'IA, la desregulació, la poca transparència que demostren les poques empreses que la duen a terme i els reptes que suposen els biaixos en les dades d'entrenament de les IA, els problemes de privacitat que obren, el consum de recursos, els efectes de les eines sobre les relacions humanes i l'educació, així com el trasbals en el mercat de treball que comença a comportar la tecnologia, són problemes ja coneguts però que, fins ara, no tenen solució.

Ningú es planteja de manera seriosa (encara) que les IA s'escapin del control humà i es posin a fabricar robots per acabar amb els humans, estil Terminator. Però cada vegada més experts, treballadors i organismes fan públics els seus p(doom), la probabilitat que aquesta cursa per fabricar més i millors IA acabi de manera catastròfica. Temen Skynet, una IA que fins fa poc era clarament només producte de la ciència-ficció. 

Certament, que alguns dels que, des de dins, adverteixen dels mals auguris acabin sortint de la roda i dedicant-se a la poesia  (després d'haver fet els diners necessaris), no és el millor presagi.