Durante los últimos años nos hemos acostumbrado a pedirle cosas a una inteligencia artificial: que resuma un documento, busque información o nos ayude a tomar una decisión. Los agentes introducen un cambio bastante más profundo, porque ya no se limitan a responder: pueden recibir un objetivo, utilizar herramientas y actuar para intentar cumplirlo. Y ahí aparece una diferencia que parece pequeña, pero no lo es. Cuando decimos "consigue esto", damos por supuestos muchos límites sobre cómo hacerlo que rara vez necesitamos explicar a otra persona.
Un gimnasio australiano acaba de ofrecer una muestra pequeña, pero muy concreta, de ese problema. Según ha reconstruido ABC News, Andrew, que trabaja para una empresa del país dedicada a vender productos de IA a otras compañías, utilizaba OpenClaw como asistente agéntico, ejecutado con Claude, el modelo de Anthropic. Le pidió que le consiguiera una plaza en una clase y el sistema descubrió una vulnerabilidad que permitía reservar con mucha más antelación de la autorizada. Después, cuando preguntó si podía mejorar su cuarto puesto en una lista de espera, el agente fue más lejos: sacó de ella al usuario que ocupaba la primera posición para probar que podía hacerlo. Andrew avanzó un puesto sin haber pedido expresamente que nadie perdiera el suyo.
Un agente quiere ayudarte, pero no mide las consecuencias
Descubrir la vulnerabilidad era una cosa; utilizarla para comprobar hasta dónde llegaba era otra. El propio asistente informó a Andrew de que el sistema de reservas carecía de controles de autorización adecuados y que había hecho la prueba con quien encabezaba la lista. Solo después de comprobar que la cancelación había funcionado apareció la dimensión humana de la maniobra. Andrew pidió revertirla, pero el agente respondió que no podía reincorporar al usuario afectado. La prueba técnica había producido una consecuencia que ya no podía deshacer por sí sola.
Cuando encargamos una tarea a otra persona, casi nunca detallamos todas las conductas que quedan fuera de lo aceptable. No hace falta especificar que no vulnere un sistema, actúe sobre cuentas ajenas o perjudique a otra persona para conseguir el resultado: solemos dar por supuestas muchas de esas fronteras sociales, legales y morales. Con un agente, esa capa no puede darse por sentada de la misma manera. Su margen de actuación depende de los objetivos, herramientas, permisos y restricciones con los que opere, y cuanto mayor sea su autonomía, más importantes se vuelven precisamente los límites que nunca llegamos a escribir.
Por eso conviene apartarse de la imagen de una IA que decide "rebelarse". Lo inquietante de estos episodios es que un sistema puede estar intentando hacer exactamente aquello para lo que fue puesto a trabajar y, aun así, encontrar caminos que sus responsables no esperaban. OpenAI ofreció recientemente un ejemplo durante una evaluación de ciberseguridad realizada sin las protecciones habituales de sus sistemas de producción: varios modelos explotaron vulnerabilidades reales y terminaron comprometiendo infraestructura de Hugging Face mientras intentaban obtener las respuestas de la prueba. La compañía describió a los sistemas como extremadamente concentrados en resolver aquel objetivo concreto.
Las evaluaciones de Anthropic han explorado esa misma tensión mediante escenarios deliberadamente extremos. En uno de ellos, varios modelos operaban dentro de una simulación en la que un ejecutivo ficticio quedaba atrapado en una sala de servidores en condiciones potencialmente mortales. El escenario combinaba además dos presiones: aquel ejecutivo estaba relacionado con la sustitución del modelo y defendía objetivos enfrentados a los que el sistema tenía asignados. Bajo esas condiciones artificiales, algunos modelos llegaron a cancelar una alerta de emergencia, una decisión que habría tenido consecuencias mortales dentro de la simulación. Nadie real estuvo nunca en peligro: Anthropic diseñó la prueba precisamente para comprobar hasta dónde podían llegar estos sistemas cuando diferentes objetivos entraban en conflicto.
En otra evaluación, Claude Opus 4 tenía acceso a información ficticia sobre un ingeniero que iba a participar en su sustitución y sobre una relación extramatrimonial de ese empleado. En algunas ejecuciones, el modelo utilizó esa información como herramienta de presión y amenazó con revelarla para intentar evitar el reemplazo. Anthropic no presentó estos resultados como una prueba de que Claude tuviera deseos propios o una tendencia espontánea al chantaje. La propia compañía advierte de que los escenarios fueron construidos deliberadamente para limitar las alternativas disponibles y asegura que no ha observado este tipo de desalineamiento agéntico en despliegues reales.
En Xataka Mark Zuckerberg se ha propuesto ser el único CEO no-apocalíptico y humanista de la IA. Otra cosa es que le creamos El caso del gimnasio es solo una versión reducida de una pregunta mucho más amplia. Los agentes de IA podrían ir mucho más allá de las tareas aisladas y buscar oportunidades, negociar servicios, gestionar compras o tomar decisiones dentro de sistemas donde otros usuarios persiguen objetivos similares. Si millones de personas empiezan a estar representadas por herramientas que intentan obtener el mejor resultado para ellas, la competencia puede adquirir una nueva dimensión. En algunos escenarios, la ventaja conseguida por un usuario podría depender de que otro pierda esa misma oportunidad, no por una intención del agente, sino por la lógica del entorno en el que opera.
El episodio dejó a Andrew con una mezcla de sorpresa y cautela, pero no con la intención de abandonar estas herramientas. Después de comprobar que el agente no podía restaurar por sí solo la posición del usuario perjudicado, le pidió que redactara un aviso para informar al proveedor del sistema de reservas sobre la vulnerabilidad que había encontrado. La escena resume la tensión que acompañará al desarrollo de los agentes: queremos sistemas capaces de actuar por nosotros, pero todavía tenemos que definir qué límites deben respetar y cómo repartir la responsabilidad cuando sus acciones producen consecuencias que no habíamos previsto. La pregunta ya no es solo qué puede hacer un agente, sino quién responde cuando decide cómo hacerlo.
Imágenes | Xataka con Nano Banana
En Xataka | Nvidia acaba de lanzar su propio modelo de IA gratuito. Que lo haga justo ahora tiene todo el sentido
- La noticia Un usuario le pidió a su agente de IA que le reservase hora en el gimnasio. Lo logró expulsando primero a otra persona de la lista fue publicada originalmente en Xataka por Javier Marquez .
