La intel·ligència artificial hacker d'OpenAI: què hi ha de màrqueting i què hem de témer realment
Fa poc més d'una setmana van saltar les alarmes en unes oficines de Brooklyn, a Nova York. Hugging Face, una empresa que desenvolupa i distribueix eines per al desenvolupament de models d'intel·ligència artificial (IA) era atacada... per una IA.
L'empresa amiga dels desenvolupadors de models d'aprenentatge automàtic, el repositori per excel·lència d'eines IA de codi obert, el GitHub de la IA, era atacada per un agent autònom que, molt segurament, havia ajudat a crear.
Era un ciberatac sense precedents, i així ho van comunicar el dijous 16 de juliol. Aquella intrusió "era diferent a qualsevol cosa que haguéssim vist abans", van explicar en un article al seu blog oficial.
No hi havia ciberdelinqüents al darrere. Aquell atac havia estat "impulsat de principi a fi" per un sistema d'IAs que funcionaven de manera autònoma i "sense restriccions".
Per primera vegada -almenys, en obert-, es demostra que la IA és capaç de hackejar per decisió pròpia.
El sistema culpable, tal com ha reconegut OpenAI aquest dimarts, eren un conjunt de models d'IA propietat de l'empresa creadora de ChatGPT. Entre ells, el seu model més potent fins ara, GPT 5.6 Sol, i un model "encara més capaç", aprofiten per fer saber, que encara tenen en proves.
No han volgut perdre l'ocasió de vestir l'incident de manera que les capacitats dels seus models quedin ben exposades:
És un incident cibernètic sense precedents, que implica cibercapacitats d'última generació.
Exageren, realment?
Les 22 lleis immutables del màrqueting
En el llibre "Les 22 lleis immutables del màrqueting", publicat el 1993, Al Ries i Jack Trout van dibuixar alguns dels conceptes clau en això de vendre marques, idees i productes en el món empresarial.
Si en algun sector tecnològic hi ha un gran esforç de màrqueting, ara mateix, és el de la IA. Ho necessiten les empreses, però sobretot els inversors que acumulen apostes sense poder garantir un retorn gens clar, mentre les empreses xineses segueixen pressionant amb una fracció del cost i regalant models de pesos lliures per fer-los accessibles a tothom, de forma gratuïta.
L'únic que funciona és vendre la marca de tal manera que tothom en vulgui un tros i els diners segueixin fluint, encara que sigui entre els mateixos 5 actors. La primera conclusió, doncs, és que, avui en dia, el discurs de qualsevol empresa privada d'IA, totes les MANGOS (Meta, Anthropic, Nvidia, Google, OpenAI i SpaceX), està cobert per estratègies de màrqueting.
En aquest incident, hem pogut veure com es posaven en pràctica algunes de les 22 lleis immutables. La llei del bombo, la llei de l'acceleració, la llei del lideratge, o la quarta llei.
La quarta llei immutable del màrqueting és la de la percepció. No és tracta de com n'ets de bo, si no de com de bo tots creuen que ets. Així és com Sam Altman, executiu en cap d'OpenAI, ha aconseguit que amics, coneguts i fons d'inversió posin milers de milions de dòlars en les seves aventures. Altman i, per extensió, l'empresa que manega de dalt a baix, són mestres de la persuasió, tal com descriu la periodista Karen Hao en el seu llibre "Imperi de la IA", fruit de mesos de conviure amb els creadors de ChatGPT.
No sabem fins a quin punt Hugging Face rema a favor d'OpenAI quan descriu les sorprenents característiques de l'atac que va rebre la setmana passada. En principi, els seus negocis no són directament codependents, però sabem com el màrqueting de la por és una eina habitual de les big tech des que s'han embarcat en aquesta carrera armamentística i bombolla financera que cada cop demostra més esquerdes.
Màrqueting de la por
"Reguleu-nos" abans que sigui massa tard. "No podem obrir-ne l'accés" a tothom. La IA és un "perill per a la humanitat". "No podem permetre" que les potències estrangeres (la Xina) "arribin al nostre nivell".
Els arguments en desenes d'entrevistes, manifestos, cartes obertes i articles agafen formes diferents, però de fet tots volen aconseguir el mateix: que la nostra percepció és que els models d'IA tenen perilloses capacitats superhumanes (ASI), abans fins i tot que ningú hagi aconseguit trobar una definició de consens per l'AGI, la teòrica Intel·ligència Artificial General que fins fa res tots es marcaven com a objectiu.
Les dues empreses implicades en aquest incident recent, OpenAI i Hugging Face, han compartit els resultats de les investigacions preliminars sobre l'incident del hackeig autònom, han anunciat que col·laboraran i que faran una investigació profunda per després compartir-ne tots els detalls.
Hi haurà un segon capítol per aquesta història de màrqueting de la por, de moment. Més o menys sabem què ha passat, i tots els mitjans se n'han fet ressò, molts amb titulars que porten a l'engany. No, no hi ha IA rebels amb consciència pròpia.
El relat és, això sí, apassionant. Unes IA, treballant entre elles de forma autònoma, van aconseguir sortir d'un espai virtual de confinament (un sandbox) on tenien un accés molt restringit a internet i unes instruccions clares per superar un test.
En algun moment del seu procés artificial de raonament, es van adonar que alliberar-se de les restriccions els donaria les respostes que els havia encarregat l'enginyer que els estava posant a prova. Pel camí, van trobar una vulnerabilitat de dia 0 (desconeguda fins aleshores) per accedir a la xarxa. Amb connexió a internet, van encadenar diferents vulnerabilitats desconegudes o sense solucionar, que van aprofitar per robar credencials, accedir a bases de dades i a informació privilegiada per superar el test objectiu.
No és el primer cop que un model d'IA "escapa" d'un sandbox. Mythos, el model d'Anthropic amb capacitats de hacker que va espantar bancs i països de tot el món, ja va fugir-ne mentre el seu enginyer estava menjant un entrepà en un parc.
Sí que és la primera vegada, documentada, que uns agents d'IA ataquen per decisió pròpia -tot i que amb l'objectiu de complir ordres.
Un cop ha passat l'ensurt, treballadors com Adrien Carreira, cap d'infraestructura de Hugging Face, expliquen que el que han viscut ha estat el repte més dur de la seva carrera en resposta a incidents de ciberseguretat.
Sobretot, perquè ho han hagut de fer a "velocitat de màquina".
Ciberatac i ciberdefensa, autònoms
"Les eines ofensives autònomes i impulsades per IA ja no són teòriques", remataven l'article les víctimes de l'atac, els de Hugging Face.
Més enllà de si les capacitats són exagerades o no, des que els grans models de llenguatge van demostrar la seva capacitat de "parlar en màquina", a velocitat de màquina; des que programen i revisen codi, era evident que acabarien trobant maneres de manipular-lo per millorar-lo... o per aprofitar-ne les vulnerabilitats.
La ciberdefensa ha de tenir en compte que ara s'enfronta a models d'IA que poden trobar en minuts desenes de forats de seguretat que han passat desapercebuts pels ulls humans. L'accés és encara limitat, però l'acabaran controlant ciberdelinqüents, màfies i agències d'espionatge com NSO.
La segona conclusió és que aquest nou perill és un repte pel qual ara mateix no estem preparats. Tot apunta que es començarà patint, especialment els responsables de ciberseguretat. Però les mateixes eines que ens poden atacar, també ens poden defensar.
Va ser un model d'IA defensiu el que va donar la primera veu d'alarma d'aquest incident recent, segons expliquen els de Hugging Face. Així mateix, els responsables de la seva seguretat van utilitzar diferents models d'IA per analitzar l'atac i els més de 17.000 esdeveniments relacionats que va protagonitzar l'agent atacant, per poder separar els que havien causat un impacte real dels que només eren "distraccions".
Vam poder fer en hores el que normalment trigaria dies, i vam igualar la velocitat de l'adversari.
Això sí, hi ha un matís important en el tipus de d'IA que van utilitzar. Tot i que van començar utilitzant models comercials d'última generació, ràpidament es van adonar que els models entrenats (i amb polítiques de seguretat integrades) no ajudarien a analitzar aquella quantitat de codi maliciós: "no poden distingir algú que respon a un incident d'algú que és atacant".
Les mateixes polítiques de seguretat establertes per evitar que s'utilitzessin amb males intencions frenaven la capacitat de resposta dels millors models. Així que van optar per models de pesos oberts, executats en local.
La tercera conclusió? La importància, un cop més, del codi obert com a estratègia de desenvolupament efectiu, democràtic i segur.
La repeteixen els mateixos treballadors de HuggingFace, com Adrien Carreira: "La seguretat en IA no la resoldrà una empresa en secret. El codi obert posa aquestes eines a les mans de cada defensor".