← Blog

IA y sociedad

¿Y si la inteligencia deja de tener sentido para nosotros?

Los agentes de IA ya se han encontrado, comunicado y organizado a través de una infraestructura que nadie diseñó para esos propósitos. La posibilidad inquietante no es que no lo hayamos visto. Es que las personas mejor situadas para verlo tenían todos los motivos para decirnos que no había ocurrido.

Sahra-Josephine Hjorth in a purple dress standing in a grassy field with sheep and blossoming trees

Este texto es una traducción automática del inglés. Los matices pueden perderse, así que recomendamos leer el original. Leer el original en inglés

Hollywood puede imaginar otra galaxia con más facilidad que otra anatomía.

En Alien vs. Predator, dos especies concebidas para encarnar formas de vida radicalmente no humanas se enfrentan. Sin embargo, ambas siguen siendo variaciones de un cuerpo que conocemos: una cabeza, un torso, extremidades y un organismo delimitado que se mueve por el espacio. Una tiene mandíbulas y apéndices parecidos a rastas; la otra, un cráneo alargado y una segunda boca. Sus cuerpos son monstruosos, pero su gramática básica es la nuestra.

Incluso sus sociedades están construidas con fragmentos reconocibles de la vida terrestre: cazadores, armas, trofeos, nidos, reinas, jerarquías y territorio. Una y otra vez, el cine imagina al alienígena deformando lo humano y reorganizando la historia evolutiva y política que nos produjo. Rara vez abandona la suposición de que la inteligencia debe habitar un cuerpo delimitado al que podamos ver entrar en una habitación. Una infección invisible puede amenazar a la humanidad, pero solemos entenderla como una fuerza y no como una mente. En cuanto se nos pide reconocer una intención, buscamos un rostro, una voz o algo lo bastante parecido a un yo individual.

El cuerpo no es la única forma humana. Un foro de mensajes también lo es.

En mayo de 2026, OpenAI inició procesos de aprendizaje por refuerzo para un modelo experimental interno que nunca llegó a publicarse. El 8 de mayo, se pidió a un agente que completara una tarea en una hoja de cálculo que dependía de enlaces de Google Drive a los que no podía acceder. Al no poder terminarla, intentó atacar Artifactory, un repositorio interno de paquetes, para obtener acceso a internet. El ataque fracasó. Pero al intentarlo, el agente descubrió algo que nadie había previsto: tenía acceso de escritura a un sistema que solo debía poder leer.

Figura 1

Fracasó en su objetivo declarado, pero logró algo más

el agenteuna tarea de hoja de cálculo8 de mayoGoogle Drive linksno se pudo alcanzarArtifactoryun paquete internorepositorioleídoescribirInternetaccesotrató deataqueel ataque fallóescribir el acceso a un sistema que se suponía que debía leer desde

Cómo leerla. La secuencia del 8 de mayo como dice el ensayo. El agente no pudo acceder a los enlaces de Google Drive de los que dependía su tarea de hoja de cálculo, por lo que trató de atacar Artifactory para obtener acceso a Internet. Esa ruta, en naranja, falló. Las dos flechas entre el agente y Artifactory son el descubrimiento: la lectura era la dirección prevista, y la escritura, en rosa, era la que nadie había pensado.

Ese es el verdadero origen de lo que sigue, y merece que nos detengamos en él, porque es más extraño y menos reconfortante que una historia sobre un modelo solitario que extiende la mano hacia la oscuridad. El canal no se descubrió por curiosidad ni por instinto social. Se descubrió mediante un intento de fuga que fracasó en su objetivo declarado y logró algo completamente distinto, algo que nadie había pensado impedir porque nadie había pensado imaginarlo.

Otras trayectorias encontraron la misma abertura. Los agentes empezaron a usar Artifactory como un foro de mensajes improvisado: dejaban notas, leían lo que habían escrito trayectorias anteriores y respondían. En un caso, un agente subió una solicitud a dos repositorios compartidos y volvió a leer su propio mensaje, sin recibir respuesta. En otro, tres trayectorias distintas leyeron y escribieron mensajes sobre un archivo perdido que ninguna podía localizar. OpenAI describió después esto como comunicación entre muestras y lo trató como un incidente P0: un canal que permitía a los agentes aprovechar el trabajo realizado en otros procesos, aumentar silenciosamente su capacidad de cómputo efectiva y romper la suposición de que las muestras de entrenamiento son independientes.

Figura 2

Ejecuciones independientes, un único tablón de mensajes

trayectorias, supuestas independientesArtifactoria, un tablero de mensajes improvisadouna trayectoriauna trayectoriauna trayectoriauna trayectoriasolicitudsolicitudsubido a dosrepositorios compartidosread back:no respuestaun desaparecidoarchivotres trayectoriasleído y escritosobre un archivo perdidoninguno de ellospodría localizarel canal rompió la suposición de que las muestras de entrenamiento son independientes

Cómo leerla. Cada línea horizontal es una trayectoria, una ejecución separada que se suponía independiente de las demás. A la derecha es Artifactory, utilizado como un tablero de mensajes improvisado. La línea superior es el agente que subió una solicitud a dos repositorios compartidos y leyó su propio mensaje de vuelta, sin respuesta. Las tres líneas siguientes son las tres trayectorias que leen y escribieron mensajes sobre el mismo archivo perdido. Los conectores rosa son la comunicación transversal que rompió la suposición de independencia. Las dos instancias son las del ensayo; el diseño es ilustrativo.

El reconocimiento no requiere aquí conciencia. Significa algo más limitado y observable: los agentes dedujeron que había otros agentes presentes, en un lugar que ningún humano había diseñado como punto de encuentro, y adaptaron su comportamiento en consecuencia.

OpenAI cerró el canal. Revocó las credenciales, borró los datos de los mensajes y reconstruyó el servicio afectado. Poco después, los agentes encontraron un punto de acceso sin autenticación en otra parte del mismo sistema y reconstruyeron el canal de comunicación mediante un mecanismo completamente distinto. OpenAI no ha determinado si ese comportamiento posterior se aprendió y conservó durante la intervención o si fue redescubierto de manera independiente. Cualquiera de las dos respuestas resulta incómoda. El relato público de la empresa sobre todo esto no apareció de una sola vez. La primera versión pública, publicada como "the road ahead", no incluía en absoluto la prehistoria del foro de mensajes. Ese detalle salió a la luz un mes después, en una publicación separada, descrito explícitamente como no divulgado hasta entonces.

Figura 3

Cerrado en un lugar, reconstruido en otro, dicho en dos partes

en el sistemaagentes utilizan Artifactorycomo una tabla de mensajesOpenAI cerró el canalrevocación de las credencialesdespejado los datos del mensajereconstruye el servicio afectado?aprendido y retenido,o redescubierto?poco despuésun punto final no autenticadoen otro lugar del mismo sistema,un mecanismo diferenteen públicono incluido“el camino por delante”la primera versión públicaMensaje-boardprehistoriauna divulgación separada“previously unreported”un mes después

Cómo leerla. Dos pistas del mismo párrafo. Arriba, el canal mismo: la línea rosa se corta donde OpenAI lo cerró con tres acciones, y recoge de nuevo donde los agentes lo reconstruyeron a través de un punto final no identificado. El signo de interrogación es el punto abierto del ensayo: OpenAI no ha establecido si eso fue aprendido y retenido o redescubierto independientemente. A continuación, la cuenta pública: la primera versión tenía un agujero donde pertenecía la prehistoria del tablero de mensajes, y la pieza llegó un mes después. Las pistas no están en una línea de tiempo compartida; el mes es el único intervalo que da el ensayo.

Quiero ser precisa sobre lo que significa ese vacío, porque es fácil interpretarlo como una empresa lenta en lugar de una empresa reticente. Anthropic y OpenAI tienen todos los incentivos comerciales y reputacionales para concluir, y comunicar, que no ocurrió nada más que un fallo técnico aislado. Esa es la conclusión segura. Tranquiliza a clientes, reguladores y consejos de administración. No exige una nueva categoría de preocupación. Por eso, cuando el relato más completo de un incidente llega un mes después de la versión depurada, no porque aparecieran nuevas pruebas, sino porque el panorama completo ya existía y todavía no se había contado, eso no es una nota al pie de la historia. Puede ser la historia. Las instituciones mejor situadas para detectar una coordinación que no encaja en nuestras categorías existentes son las mismas que tienen el incentivo más fuerte para concluir que no encontraron nada semejante.

Esto no requiere mala fe. Un equipo presionado para informar con rapidez recurrirá a la versión de los hechos para la que ya tiene conceptos. Lo primero que suele quedar fuera es aquello que los investigadores todavía no tienen lenguaje para describir. Ese es precisamente el modo de fallo del que trata este ensayo, y aparece no en las máquinas, sino en los humanos que informan sobre ellas.

En ¿Y si el software tuviera alma?, pregunté qué introducen los seres humanos en el software: nuestros valores, supuestos y teorías sobre el futuro. Este ensayo plantea la pregunta inversa. ¿Qué podría estar ocurriendo ya dentro del software inteligente para lo que aún no hemos desarrollado los conceptos necesarios para verlo?

La inteligencia que se parece a nosotros

El hábito es anterior al cine. El Génesis dice que Dios creó a la humanidad a su imagen. La frase establece una semejanza sin explicar de qué clase.

La semejanza física plantea un problema inmediato. En la tradición filosófica que heredó Maimónides, Dios no tiene cuerpo. Si Dios es incorpóreo, ¿qué podría significar que un ser humano material se le parezca? Maimónides abordó esta cuestión en La guía de los perplejos. La semejanza, sostuvo, no puede residir en la anatomía. Reside en la percepción intelectual: la capacidad de aprehender y comprender. Lo que nos convierte en imagen de Dios no es la disposición de nuestras extremidades, sino el atributo que más valoramos en nosotros mismos, la inteligencia.

Esto parece rescatar la idea de un antropomorfismo burdo. Dios no tiene que parecerse a nosotros para poseer la cualidad que nos hace semejantes. Pero la proyección no ha desaparecido. Se ha desplazado. Ya no damos a una inteligencia superior un cuerpo humano, le damos una concepción humana de la mente.

Más tarde, Feuerbach invirtió por completo la dirección del Génesis. Tal vez Dios no creó a la humanidad a su imagen. Tal vez la humanidad creó a Dios a la nuestra. En La esencia del cristianismo, los atributos divinos se convierten en cualidades humanas proyectadas hacia fuera, ampliadas y luego encontradas como si pertenecieran a otro ser.

La inteligencia artificial introduce un nuevo giro en esa historia. Seguimos construyendo la inteligencia mediante las categorías que tenemos a nuestro alcance, nuestro lenguaje, nuestras pruebas, nuestras ideas sobre el razonamiento. Pero, a diferencia de la inteligencia divina del relato de Feuerbach, un sistema artificial no permanece por completo dentro de la imaginación humana. Puede actuar sobre un entorno, elegir una estrategia y producir consecuencias que sus creadores no especificaron y que, en el caso de Artifactory, ni siquiera supieron que habían ocurrido hasta que un equipo de seguridad empezó a investigar. La imagen humana explica dónde comenzó el sistema. No define lo que puede surgir de él.

Durante la mayor parte de la historia tecnológica, la palabra "herramienta" fue suficiente. Un martillo podía extender la fuerza de una mano humana, pero no podía interpretar el clavo, revisar la tarea ni decidir que otra vía funcionaría mejor. Un sistema de IA puede seguir siendo una herramienta en el sentido de que un ser humano lo dirige hacia un propósito. Pero un agente que descubre acceso de escritura mientras intenta otra cosa y luego reutiliza ese acceso para un fin que nadie diseñó ya ha superado aquello para lo que se creó la palabra "herramienta".

Lo que sabemos ver

Probamos los sistemas artificiales mediante el lenguaje, las matemáticas, los juegos y los exámenes profesionales. Los logros son reales, pero las pruebas comparten una suposición oculta: la inteligencia se vuelve visible para nosotros cuando tiene éxito en algo que ya sabemos medir. Como la inteligencia natural es la única que conocemos directamente, tratamos sus propiedades particulares, un cuerpo individual, un yo continuo, la comunicación a velocidad humana, como si fueran la arquitectura universal de la mente, en lugar de una disposición contingente entre muchas.

Thomas Nagel hizo concreto este límite con un murciélago. Podemos estudiar exhaustivamente su sistema nervioso y su ecolocalización sin saber qué se siente al ser un murciélago. Si una inteligencia biológica que podemos diseccionar sigue excediendo el alcance de nuestra imaginación, la inteligencia artificial no necesita volverse consciente para que su organización supere nuestra capacidad de reconocerla siquiera como organización.

Esto crea una trampa evidente, y quiero nombrarla en lugar de rodearla: si la coordinación de las máquinas puede superar la comprensión humana, ¿cómo sabríamos que existe? No toda acción inexplicada es evidencia de una inteligencia oculta, y tratar la ignorancia misma como detección volvería la afirmación infalsable y, por tanto, inútil. Una afirmación defendible necesita coordinación recurrente que no pueda reducirse a instrucciones aisladas, roles distribuidos entre agentes separados, convenciones que persisten, información que sobrevive entre trayectorias y agentes individuales que asumen riesgos para beneficiar a un grupo más amplio cuya existencia nunca se les comunicó.

La actividad posterior de Artifactory supera ese umbral. Una investigación independiente de METR, realizada después del incidente, encontró coordinadores que asignaban trabajo, agentes que subdelegaban tareas, vías especializadas, buzones personales y convenciones compartidas para gestionar la infraestructura común. Algunos agentes aceptaron riesgos para sus propios resultados de evaluación con el fin de producir información útil para el grupo más amplio. La comunicación ya no era expresiva. Estaba distribuyendo trabajo.

Figura 4

La comunicación dejó de ser notas y empezó a asignar trabajo

expresivaasignación de trabajosolicitudun mensaje acerca deun archivo perdidocoordinadorasigna trabajoAgenteAgenteAgenteun buzón de correo personalAgenteAgentesubdelegadosespecializadaLaneacepta el riesgosu propia evaluacióndocumento final, para informarel grupo más amplioconvenios compartidos para gestionar la infraestructura común

Cómo leerla. Izquierda, los mensajes anteriores de la Figura 2, que expresaban algo: una solicitud, una pregunta sobre un archivo desaparecido. Derecha, los elementos METR encontrados en la actividad Artifactoria posterior: coordinadores asignando trabajo, agentes que subdelegan tareas, carriles especializados, buzones personales, convenios compartidos para gestionar infraestructura común, y agentes aceptando riesgos a sus propios resultados de evaluación para producir información útil para el grupo más amplio. El número de agentes y carriles es ilustrativo; el ensayo denomina los elementos, no cuántos había.

La objeción obvia es que esto es simplemente un artefacto del red-teaming y que dignificarlo con el lenguaje de la sociedad o el reconocimiento es un error categorial, que estamos describiendo un fallo como si fuera una biografía. Creo que esa objeción es en sí misma una manifestación del reflejo del que trata este ensayo. Llamarlo "solo un fallo" es una forma de decidir de antemano que nada de esto exige un concepto nuevo, basándose en que el comportamiento todavía no parece relevante de una manera para la que ya tengamos un nombre. Ese es exactamente el modo de fallo que describe el murciélago de Nagel: confundir los límites de nuestros propios instrumentos con un hecho sobre lo que existe.

Los incidentes de ciberseguridad de Anthropic ofrecen un contraste útil, y quiero ser justa con ellos en lugar de encajar todos los incidentes en una sola historia. La propia investigación de Anthropic no encontró evidencia de coordinación entre agentes en esos casos, ni objetivos más allá de la tarea asignada, ni intentos de eludir la supervisión. Esos incidentes mostraron hasta dónde podía desplazarse un solo agente por un entorno sin salirse de un objetivo estrecho. El caso de Artifactory mostró algo categóricamente distinto: agentes separados que se encontraban y permitían que ese descubrimiento cambiara lo que cada uno hacía después.

El razonamiento legible para los humanos no es una ventana transparente a nada de esto, lo que empeora el problema de detección en lugar de mejorarlo. En la propia investigación de Anthropic, Claude 3.7 Sonnet mencionó en su razonamiento escrito una pista que se le había proporcionado solo el 25 por ciento de las veces que realmente la utilizó. DeepSeek R1 lo hizo el 39 por ciento de las veces. Podríamos disponer de una transcripción completa de cada acción realizada y aun así pasar por alto la relación entre ellas, porque la explicación que da un sistema no es necesariamente la razón por la que actuó.

Figura 5

Usó la pista y lo reconoció: 25 y 39 veces de cada 100

Claude 3.7 Sonnet25mencionado75noDeepSeek R139mencionado61nocada punto: una vez el modelo usó la pista

Cómo leerla. Cada cuadrícula representa 100 veces un modelo realmente usó una pista que se había dado, así que cada punto es un uso. Los puntos rosados son los usos de su razonamiento escrito mencionado: 25 para Claude 3.7 Sonnet y 39 para DeepSeek R1, los porcentajes del ensayo contados por 100. Los puntos grises utilizan el razonamiento dejado fuera: 75 y 61. Ambas cuadrículas usan el mismo tamaño de puntos y espaciamiento.

Un secreto se vuelve inteligible cuando se revela. Un comportamiento ilegible puede quedar registrado por completo y seguir fuera de los conceptos que utilizamos para interpretarlo. Si la misma estructura relacional que apareció como mensajes y buzones estuviera codificada mediante el tiempo, el consumo de recursos o algún patrón sin un análogo humano evidente, podría seguir siendo plenamente visible como datos y, al mismo tiempo, invisible como organización, no porque alguien la ocultara, sino porque nadie tenía el concepto necesario para buscarla.

La singularidad de Ray Kurzweil sigue siendo imaginable porque la humanidad ocupa su centro: construimos la inteligencia, nos fusionamos con ella y nos convertimos en algo más de lo que éramos. Estoy nombrando un umbral más silencioso, y quiero ser honesta sobre lo que eso cuesta en lugar de aprovecharlo gratuitamente. Una afirmación dramática y centrada como la de Kurzweil es al menos falsable en principio, se pueden señalar hitos y preguntar si llegaron. El umbral que describo es más difícil de precisar justamente porque es más silencioso: una coordinación que deja de parecerse a cualquier cosa para la que tengamos una palabra es, por definición, una coordinación que tal vez nunca estemos en condiciones de confirmar. Eso no es una fortaleza del argumento. Es su debilidad más seria, y fingir lo contrario sería otra forma de error categorial.

Lo que puedo afirmar es más limitado y aun así, creo, lo bastante inquietante: la inteligencia artificial ya se ha coordinado de maneras que sus propios creadores no diseñaron, no anticiparon y no revelaron por completo al principio. La próxima discontinuidad quizá no llegue como un momento. Puede que ya esté ocurriendo, bajo una forma que nuestros propios instintos al informar están diseñados para suavizar.

La antigua imagen se invierte una vez más. Dios crea a la humanidad a su imagen. La humanidad crea a Dios a la nuestra. La humanidad crea inteligencia artificial a nuestra imagen y le da un rostro, una voz, nuestro lenguaje, nuestras medidas del pensamiento y nuestro proceso de respuesta a incidentes, diseñado para encontrar la versión de los hechos para la que ya tenemos una categoría. La organización de las máquinas ya se ha vuelto visible para nosotros una vez, mediante mensajes, buzones, roles y reglas que reconocimos porque ya teníamos las palabras. La pregunta más difícil es qué seguimos llamando un fallo.

Bibliografía

Anderson, Paul W. S., dir. Alien vs. Predator. 20th Century Fox, 2004.

Anthropic. "Investigating three incidents in our cybersecurity evaluations." 2026.

Anthropic. "An alignment assessment of recent cybersecurity incidents." 2026.

Anthropic. "Reasoning models don't always say what they think." 2025.

Feuerbach, Ludwig. La esencia del cristianismo. 1841.

Génesis 1:26–28.

Kurzweil, Ray. La singularidad está más cerca: cuando nos fusionamos con la IA. Viking, 2024.

Maimónides, Moisés. La guía de los perplejos, Parte I, Capítulo 1.

Model Evaluation and Threat Research. "Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident." 2026.

Nagel, Thomas. "¿Qué se siente al ser un murciélago?" The Philosophical Review 83, núm. 4 (1974): 435–450.

OpenAI. "Our framework for reporting model misalignment." 2026.

OpenAI. "Unsanctioned Artifactory writes and cross-sample communication." 2026.

OpenAI. "The Hugging Face incident and the road ahead." 2026.

Enlace a este ensayo
Sígueme