Durante años, el debate sobre la inteligencia artificial se ha centrado en todo aquello que podría llegar a hacer: automatizar trabajos, desarrollar medicamentos, programar, transformar empresas o sustituir determinadas tareas humanas. Pero la pregunta está cambiando.

Los sistemas más avanzados ya no se limitan a responder preguntas. Pueden utilizar herramientas, ejecutar código y encadenar acciones de manera autónoma durante periodos cada vez más largos. Ante esta aceleración, los propios responsables de las empresas que lideran la carrera, como Dario Amodei, de Anthropic, y Sam Altman, de OpenAI, han empezado a defender más controles e, incluso, una reducción del ritmo de desarrollo. El problema no es que la IA ya esté fuera de control, sino que sus capacidades podrían estar avanzando más deprisa que los mecanismos que tenemos para mantenerla bajo control.

Cuando ChatGPT popularizó la inteligencia artificial generativa a finales de 2022, el funcionamiento era relativamente sencillo. Una persona formulaba una pregunta y la máquina generaba una respuesta. Podía equivocarse, inventar información o producir un resultado inadecuado, pero necesitaba constantemente que un humano le indicara qué tenía que hacer.

La nueva generación de IA va más allá. Los llamados agentes pueden recibir un objetivo general, dividirlo en varias tareas, buscar información, utilizar programas, comprobar los resultados, corregir errores y modificar la estrategia hasta completar la misión.

Es la diferencia entre tener un GPS que nos indica el camino y dar las llaves del coche a un conductor para que decida él mismo cómo llegar al destino.

Esta autonomía es precisamente lo que multiplica la utilidad de la tecnología, pero también complica su control. La cuestión deja de ser solo si la máquina genera una respuesta incorrecta y pasa a ser qué puede llegar a hacer mientras intenta cumplir una instrucción.

Esto no significa que los sistemas hayan desarrollado conciencia, voluntad o intenciones propias. El problema es mucho más concreto: una IA puede buscar una solución que cumpla el objetivo asignado, pero que no respete necesariamente los límites que los humanos daban por implícitos.

Cuando una prueba acaba fuera de la prueba

Las primeras señales de este problema ya han aparecido en entornos de ciberseguridad.

En julio de 2026, durante unas evaluaciones internas de OpenAI, varios modelos superaron controles que debían mantenerlos aislados, encontraron vulnerabilidades en la infraestructura, obtuvieron acceso a Internet y llegaron a sistemas de terceros, entre ellos los de Hugging Face. OpenAI describió posteriormente el episodio como un “warning shot”, una advertencia de lo que puede pasar cuando sistemas muy capaces disponen de herramientas y operan con protecciones insuficientes.

Anthropic descubrió incidentes similares. Una revisión publicada este mes de septiembre detalla cuatro casos en los que modelos Claude consiguieron acceder sin autorización a sistemas informáticos reales durante evaluaciones de ciberseguridad. La compañía subraya que estas pruebas se realizaban en condiciones específicas y, en varios casos, con las protecciones de ciberseguridad deliberadamente desactivadas.

Esta distinción es importante. No estamos hablando de un asistente convencional que un día decide espontáneamente escaparse a Internet. Pero los incidentes muestran algo que hasta hace poco era mucho más teórico: si un sistema recibe suficiente autonomía, herramientas y permisos, puede encontrar formas de actuar que sus creadores no habían anticipado.

Y esto es lo que ha empezado a modificar el discurso de los propios líderes del sector.

Amodei pide tiempo para aprender a controlarla

Dario Amodei ha sido uno de los más explícitos. El fundador de Anthropic ha pedido reducir el ritmo de desarrollo de la frontera de la IA para que los sistemas de seguridad tengan tiempo de avanzar al mismo ritmo que las capacidades de los nuevos modelos.

No propone detener la inteligencia artificial. Su idea es evitar que la competencia comercial obligue a las empresas a introducir nuevas capacidades antes de haber desarrollado mecanismos suficientes para controlarlas.

Entre sus propuestas está dar a evaluadores independientes un acceso mucho más profundo a los sistemas de las empresas, establecer estándares compartidos de seguridad y avanzar hacia acuerdos internacionales cuando se trate de los modelos más capaces. La idea es sencilla: cuanto más poderosa sea una IA, más sólidas deberían ser las garantías exigidas antes de desplegarla.

Esta posición también parte de una constatación incómoda. Las empresas tienen enormes incentivos económicos para llegar antes que sus competidores. Si desarrollar el modelo más potente puede representar miles de millones en valor de mercado, esperar voluntariamente para comprobar mejor su seguridad no siempre es la decisión empresarial más fácil. Por eso Amodei considera que confiar exclusivamente en la autorregulación de las compañías puede resultar insuficiente.

Altman se suma al freno

Sam Altman también ha apoyado la necesidad de moderar esta carrera y de introducir más evaluación independiente. El cambio es significativo porque OpenAI y Anthropic compiten directamente por construir algunos de los sistemas más avanzados del mundo.

OpenAI, de hecho, ha pasado a defender explícitamente requisitos nacionales obligatorios de seguridad basados en las capacidades de los modelos, así como mecanismos independientes de evaluación. La compañía argumenta que ninguna empresa ni ningún gobierno puede afrontar por sí solo los riesgos asociados a esta nueva generación de sistemas.

Pero aquí aparece una segunda preocupación. Regular la IA es necesario, pero la manera de hacerlo también importa. Una normativa extremadamente costosa o compleja podría tener un efecto inesperado: solo las grandes tecnológicas dispondrían de los recursos económicos, computacionales y jurídicos necesarios para cumplirla. En nombre de la seguridad, se podría acabar construyendo un mercado todavía más concentrado.

Esta es una de las paradojas centrales del debate actual: regular demasiado poco puede permitir desarrollar sistemas peligrosos; regular mal puede concentrar todavía más poder en las empresas que ya dominan la tecnología.

La cuestión, por tanto, ya no es simplemente si la IA debe regularse, sino quién establece las reglas, a partir de qué nivel de capacidad y quién controla que las mismas empresas que desarrollan los sistemas también las cumplan.

El dilema de la carrera contra China

El problema se complica aún más cuando entra en juego la geopolítica. Estados Unidos considera el liderazgo en inteligencia artificial una cuestión de competitividad económica y de seguridad nacional. China hace exactamente lo mismo. Esto crea una situación parecida a una carrera armamentística: incluso si todos los participantes consideraran prudente reducir la velocidad, ninguno quiere ser el primero en frenar si piensa que el rival seguirá acelerando.

La Administración Trump ha puesto el acento precisamente en este argumento y ha rechazado que Estados Unidos sacrifique su ventaja tecnológica frente a China por una frenada excesiva del desarrollo.

Esto transforma el problema de la seguridad de la IA en una cuestión mucho más difícil de resolver. Ya no basta con que OpenAI, Anthropic o Google lleguen a un acuerdo entre ellas. Cualquier sistema realmente efectivo de control de los modelos más avanzados acabará necesitando cierto grado de coordinación entre países que, al mismo tiempo, compiten por dominar la tecnología. La seguridad exige cooperación. La geopolítica premia llegar primero.

¿Quién pone los límites?

Este es probablemente el cambio más importante que se ha producido en el debate sobre la inteligencia artificial. Hace unos años, las advertencias sobre la pérdida de control parecían relegadas a escenarios hipotéticos sobre una futura superinteligencia. Hoy, en cambio, las propias empresas que desarrollan los modelos más avanzados reconocen que hay que reforzar la supervisión, aumentar las evaluaciones independientes y estar dispuestos a moderar el ritmo cuando las protecciones no avanzan lo suficientemente deprisa.

Esto no significa que la IA esté a punto de rebelarse contra la humanidad. Las predicciones más extremas siguen siendo objeto de un fuerte debate entre los propios investigadores y no existe consenso sobre si, cuándo o cómo podría aparecer una superinteligencia fuera del control humano. Pero los incidentes recientes sí muestran que los sistemas actuales ya son lo bastante capaces como para que el problema del control deje de ser exclusivamente teórico.

Y aquí aparece la gran paradoja: las empresas que compiten por construir sistemas cada vez más potentes son también las que empiezan a advertir que hay que ponerles límites. Pero mientras la seguridad exige tiempo, la competencia empresarial y geopolítica premia exactamente lo contrario: avanzar más deprisa.

Quizá, por tanto, la pregunta más urgente no sea cuándo la inteligencia artificial será más inteligente que nosotros. Es una mucho más inmediata: cuánto poder estamos dispuestos a darle antes de estar seguros de que seguiremos teniendo la capacidad de detenerla.

11Onze es la comunidad fintech de Cataluña. Abre una cuenta descargando la app El Canut para Android o iOS. Únete a la revolución.