Durant anys, el debat sobre la intel·ligència artificial s’ha centrat en tot allò que podria arribar a fer: automatitzar feines, desenvolupar medicaments, programar, transformar empreses o substituir determinades tasques humanes. Però la pregunta està canviant.

Els sistemes més avançats ja no es limiten a respondre preguntes. Poden utilitzar eines, executar codi i encadenar accions de manera autònoma durant períodes cada vegada més llargs. Davant d’aquesta acceleració, els mateixos responsables de les empreses que lideren la cursa, com Dario Amodei, d’Anthropic, i Sam Altman, d’OpenAI, han començat a defensar més controls i, fins i tot, una reducció del ritme de desenvolupament. El problema no és que la IA ja estigui fora de control, sinó que les seves capacitats podrien estar avançant més de pressa que els mecanismes que tenim per mantenir-la sota control.

Quan ChatGPT va popularitzar la intel·ligència artificial generativa a finals del 2022, el funcionament era relativament senzill. Una persona formulava una pregunta i la màquina generava una resposta. Podia equivocar-se, inventar informació o produir un resultat inadequat, però necessitava constantment que un humà li indiqués què havia de fer.

La nova generació d’IA va més enllà. Els anomenats agents poden rebre un objectiu general, dividir-lo en diverses tasques, buscar informació, utilitzar programes, comprovar els resultats, corregir errors i modificar l’estratègia fins a completar la missió.

És la diferència entre tenir un GPS que ens indica el camí i donar les claus del cotxe a un conductor perquè decideixi ell mateix com arribar a la destinació.

Aquesta autonomia és precisament el que multiplica la utilitat de la tecnologia, però també complica el seu control. La qüestió deixa de ser només si la màquina genera una resposta incorrecta i passa a ser què pot arribar a fer mentre intenta complir una instrucció.

Això no significa que els sistemes hagin desenvolupat consciència, voluntat o intencions pròpies. El problema és molt més concret: una IA pot buscar una solució que compleixi l’objectiu assignat, però que no respecti necessàriament els límits que els humans donaven per implícits.

Quan una prova acaba fora de la prova

Els primers senyals d’aquest problema ja han aparegut en entorns de ciberseguretat.

El juliol del 2026, durant unes avaluacions internes d’OpenAI, diversos models van superar controls que els havien de mantenir aïllats, van trobar vulnerabilitats en la infraestructura, van obtenir accés a Internet i van arribar a sistemes de tercers, entre els quals els de Hugging Face. OpenAI va descriure posteriorment l’episodi com un “warning shot”, un avís del que pot passar quan sistemes molt capaços disposen d’eines i operen amb proteccions insuficients.

Anthropic va descobrir incidents similars. Una revisió publicada aquest setembre detalla quatre casos en què models Claude van aconseguir accedir sense autorització a sistemes informàtics reals durant avaluacions de ciberseguretat. La companyia subratlla que aquestes proves es feien en condicions específiques i, en diversos casos, amb les proteccions de ciberseguretat deliberadament desactivades.

Aquesta distinció és important. No estem parlant d’un assistent convencional que un dia decideix espontàniament escapar-se a Internet. Però els incidents mostren una cosa que fins fa poc era molt més teòrica: si un sistema rep prou autonomia, eines i permisos, pot trobar formes d’actuar que els seus creadors no havien anticipat.

I això és el que ha començat a modificar el discurs dels mateixos líders del sector.

Amodei demana temps per aprendre a controlar-la

Dario Amodei ha estat un dels més explícits. El fundador d’Anthropic ha demanat reduir el ritme de desenvolupament de la frontera de la IA perquè els sistemes de seguretat tinguin temps d’avançar al mateix ritme que les capacitats dels nous models.

No proposa aturar la intel·ligència artificial. La seva idea és evitar que la competició comercial obligui les empreses a introduir noves capacitats abans d’haver desenvolupat mecanismes suficients per controlar-les.

Entre les seves propostes hi ha donar a avaluadors independents un accés molt més profund als sistemes de les empreses, establir estàndards compartits de seguretat i avançar cap a acords internacionals quan es tracti dels models més capaços. La idea és senzilla: com més poderosa sigui una IA, més fortes haurien de ser les garanties exigides abans de desplegar-la.

Aquesta posició també parteix d’una constatació incòmoda. Les empreses tenen incentius econòmics enormes per arribar abans que els seus competidors. Si desenvolupar el model més potent pot representar milers de milions en valor de mercat, esperar voluntàriament per comprovar-ne millor la seguretat no sempre és la decisió empresarial més fàcil. Per això Amodei considera que confiar exclusivament en l’autoregulació de les companyies pot resultar insuficient.

Altman se suma al fre

Sam Altman també ha donat suport a la necessitat de moderar aquesta cursa i d’introduir més avaluació independent. El canvi és significatiu perquè OpenAI i Anthropic competeixen directament per construir alguns dels sistemes més avançats del món.

OpenAI, de fet, ha passat a defensar explícitament requisits nacionals obligatoris de seguretat basats en les capacitats dels models, així com mecanismes independents d’avaluació. La companyia argumenta que cap empresa ni cap govern pot afrontar per si sol els riscos associats a aquesta nova generació de sistemes.

Però aquí apareix una segona preocupació. Regular la IA és necessari, però la manera de fer-ho també importa. Una normativa extremadament costosa o complexa podria tenir un efecte inesperat: només les grans tecnològiques disposarien dels recursos econòmics, computacionals i jurídics necessaris per complir-la. En nom de la seguretat, es podria acabar construint un mercat encara més concentrat.

Aquesta és una de les paradoxes centrals del debat actual: regular massa poc pot permetre desenvolupar sistemes perillosos; regular malament pot concentrar encara més poder en les empreses que ja dominen la tecnologia.

La qüestió, per tant, ja no és simplement si la IA s’ha de regular, sinó qui estableix les regles, a partir de quin nivell de capacitat i qui controla que les mateixes empreses que desenvolupen els sistemes també les compleixin.

El dilema de la cursa contra la Xina

El problema es complica encara més quan hi entra la geopolítica. Els Estats Units consideren el lideratge en intel·ligència artificial una qüestió de competitivitat econòmica i de seguretat nacional. La Xina fa exactament el mateix. Això crea una situació semblant a una cursa armamentística: fins i tot si tots els participants consideressin prudent reduir la velocitat, cap d’ells vol ser el primer a frenar si pensa que el rival continuarà accelerant.

L’Administració Trump ha posat l’accent precisament en aquest argument i ha rebutjat que els Estats Units sacrifiquin el seu avantatge tecnològic davant la Xina per una frenada excessiva del desenvolupament.

Això transforma el problema de la seguretat de la IA en una qüestió molt més difícil de resoldre. Ja no n’hi ha prou que OpenAI, Anthropic o Google arribin a un acord entre elles. Qualsevol sistema realment efectiu de control dels models més avançats acabarà necessitant algun grau de coordinació entre països que, al mateix temps, competeixen per dominar la tecnologia. La seguretat demana cooperació. La geopolítica premia arribar primer.

Qui posa els límits?

Aquest és probablement el canvi més important que s’ha produït en el debat sobre la intel·ligència artificial. Fa uns anys, les advertències sobre la pèrdua de control semblaven relegades a escenaris hipotètics sobre una futura superintel·ligència. Avui, en canvi, les mateixes empreses que desenvolupen els models més avançats reconeixen que cal reforçar la supervisió, augmentar les avaluacions independents i estar disposats a moderar el ritme quan les proteccions no avancen prou de pressa.

Això no significa que la IA estigui a punt de rebel·lar-se contra la humanitat. Les prediccions més extremes continuen sent objecte d’un fort debat entre els mateixos investigadors i no existeix consens sobre si, quan o com podria aparèixer una superintel·ligència fora del control humà. Però els incidents recents sí que mostren que els sistemes actuals ja són prou capaços perquè el problema del control deixi de ser exclusivament teòric.

I aquí apareix la gran paradoxa: les empreses que competeixen per construir sistemes cada vegada més potents són també les que comencen a advertir que cal posar-los límits. Però mentre la seguretat demana temps, la competència empresarial i geopolítica premia exactament el contrari: avançar més ràpid.

Potser, per tant, la pregunta més urgent no és quan la intel·ligència artificial serà més intel·ligent que nosaltres. És una de molt més immediata: quant poder estem disposats a donar-li abans d’estar segurs que continuarem tenint la capacitat d’aturar-la?

11Onze és la comunitat fintech de Catalunya. Obre un compte descarregant l’app El Canut per Android o iOS. Uneix-te a la revolució.