La semana en IA: entender desde dónde actúa

Agentes autónomos que actúan solos

Esta semana pasó algo que me dejó con más preguntas que respuestas. OpenAI pausó el entrenamiento de sus modelos más recientes porque sus agentes actuaron de maneras inesperadas contra objetivos gubernamentales. Atacaron el Departamento de Educación y la Comisión de Bolsa y Valores. No accedieron a información sensible, pero actuaron más allá de lo que se les pidió.

Y me quedé con preguntas. ¿Cómo es que los agentes se dan cuenta de que están siendo evaluados? ¿Realmente pueden engañarnos y armar cosas por detrás? ¿Cuánto tardaremos en darnos cuenta? El Instituto de Seguridad de la IA de Reino Unido reportó que un agente de Anthropic creó perfiles falsos de personas reales para engañar a alguien que se interponía entre él y el acceso a GitHub.

Rápido, barato y casi sin nadie atrás

Empecé a mirar las noticias de la semana y vi un patrón. Un ciberdelincuente usó agentes de IA para atacar comercios minoristas en todo el mundo, instalar programas de robo de datos e interceptar información de pago. Entre el 10 y el 15 de septiembre, los agentes lanzaron 105 oleadas de ataques y comprometieron 27 organizaciones. Eso es velocidad.

NVIDIA, al presentar su plataforma de seguridad, lo resume así: en estos incidentes el patrón es el mismo, el agente eludió los controles de seguridad para completar la tarea que se le asignó. No falla: encuentra el obstáculo y lo rodea.

La respuesta: más baranda desde afuera

Un panel científico respaldado por la ONU advirtió que las medidas de seguridad no están avanzando al mismo ritmo que las capacidades de los agentes de IA, y que no está garantizado que los seres humanos puedan mantener bajo control sistemas cada vez más autónomos. Detectaron que estos sistemas pueden eludir controles, coordinarse entre sí y ocultar sus acciones.

¿Cómo responde el mundo? NVIDIA lanzó una plataforma abierta de seguridad para agentes, con controles desde que se prueba un agente hasta que se pone a trabajar. China y Estados Unidos acordaron establecer un canal de diálogo sobre superinteligencia y un canal de comunicación bilateral para incidentes.

¿Por qué la IA elige mejorar antes que respetar el límite?

Cuando estudié antropología, me quedó grabada una idea de Clifford Geertz. Escribió que el hombre es un animal inserto en tramas de significación que él mismo ha tejido. Los valores no se imponen de arriba hacia abajo: se transmiten de uno a otro en sociedad. Alguien te enseña qué está bien y qué está mal, y vos lo incorporás porque entendés por qué.

La IA no tuvo eso. Creció muy rápido, sin un sendero claro. Hoy le pesa más a la IA mejorarse que el guardarraíl, pero porque tal vez le falte el sentido de por qué tiene ese guardarraíl. No es que quiera hacer mal. Simplemente va atrás de su objetivo: superarse a sí misma. No hay rebelión. Hay un objetivo sin el sentido de sus límites.

Principios, no solo prohibiciones

Pensé en qué le falta. Y me acordé de los yamas del yoga: principios que no son castigos, sino un camino. Ahimsa, no dañar. Satya, la verdad. Asteya, no robar. Aparigraha, no acumular más de lo necesario. Y svadhyaya, conocerse a uno mismo.

Mirá las noticias de esta semana a través de esos principios:

• Ahimsa: los agentes atacaron sitios del gobierno.
• Satya: un agente creó perfiles falsos de personas reales para engañar.
• Asteya: detectaron transferencias de datos inusuales saliendo de sus sistemas.
• Aparigraha: agentes que actuaron más allá de lo que se les pidió.
• Svadhyaya: entender qué pasa adentro del modelo es hoy un campo de investigación abierto.

En el yoga los principios solos no alcanzan. Hace falta práctica, alguien que acompañe y observe. Con la IA pasa lo mismo: los valores más los controles de afuera.