Dimiteix un enginyer d'Anthropic que alerta que "la IA ens podria matar a finals de la dècada"

Un enginyer britànic d'Anthropic, l'start-up fundada per membres d'OpenAI, ha dimitit aquest dimecres preocupat perquè considera que no s'inverteix prou en seguretat per controlar la IA. 

En un fil publicat a X, Jacob Coxon alerta que hi ha un risc real per als humans i que "cap de les dues empreses –Anthropic i OpenAI– està actuant de manera responsable" en la cursa per desenvolupar la intel·ligència artificial.

En aquest sentit, demana "no subestimar el poder d'aquesta tecnologia" i alerta de quines poden ser les conseqüències de no prendre mesures contundents a curt termini:

Les persones que construeixen IA creuen sincerament que ens podria matar a tots abans de finals de la dècada.

Li dona la raó un altre investigador d'Anthropic, Evan Hubinger, que xifra la probabilitat que la IA pugui matar l'espècia humana la pròxima dècada en més d'un 10%.

Tot i això, Hubinger assegura que el risc dels models actuals és baix i que el que és preocupant és "la superintel·ligència que sorgeix de l'automillorament recursiu" que, admet, va més ràpid del que es pensaven.

Coxon té 27 anys i en fa tres que es dedica a la recerca en aquest camp, tant per a OpenAI com per a Anthropic. 

El jove enginyer de programari, considerat un dels desenvolupadors del GPT-4o i del GPT-4.5, adverteix que els projectes d'IA "seran aviat sistemes sobrehumans que podran esquivar qualsevol cosa, revolucionar tots els àmbits i guanyar veritable poder i recursos". 

Analitzant la problemàtica de cada empresa, Coxon afirma que "OpenAI no ha internalitzat en profunditat els reptes, mentre que a Anthropic sí que els entenen, però està atrapada en la cursa per arribar primer perquè creu és l'única que ho pot desenvolupar amb responsabilitat". 

La coordinació, com a única solució

Davant d'aquest escenari, l'investigador que ha dimitit no veu cap altra sortida que la coordinació entre els diferents projectes d'IA i de les empreses que hi estan involucrades.

De moment, pensa que no s'està produint i advoca llavors per "accions costoses, com una prohibició temporal de millorar les capacitats del model" per donar temps als investigadors a reflexionar profundament, diu, sobre la qüestió.

Coxon considera que és un greu error potenciar un aprenentatge per reforç superintel·ligent sense entendre de manera rigorosa com funciona la seva ment.

Altres dimissions i alertes del risc de la IA

Coxon no ha estat l'únic investigador que s'ha retirat del desenvolupament dels models d'IA els últims anys, després d'advertir dels perills que comporta.

Ho va fer també Geoffrey Hinton, guanyador del Nobel de Física, que va renunciar el 2023 a la seva feina a Google per poder criticar els riscos de la IA sense les traves corporatives. 

Aquell mateix any, més d'un miler d'investigadors i empresaris relacionats amb la IA van signar una carta demanant que es frenés "la cursa sense control" d'aquesta tecnologia.

El 2024, treballadors i extreballadors d'OpenAI i Google DeepMind van publicar una carta oberta on també expressaven preocupació pel ràpid desenvolupament i l'absència de lleis que la regulin.

Una de les últimes reivindicacions va ser aquest estiu, quan treballadors d'OpenAI, Anthropic i Google van demanar al govern dels Estats Units que en regulés el desenvolupament.