En 1999 la NASA perdió una sonda espacial de 327 millones de dólares por un error de coordinación ridículo. Dos equipos habían trabajado por meses en el mismo proyecto, la sonda Mars Climate Orbiter, sin advertir que uno calculaba la fuerza de los motores en libras y el otro en newtons. Les faltó ponerse de acuerdo, capaz alcanzaba con una reunión para comparar planillas. La sonda se desintegró al entrar a la atmósfera marciana.

La investigación puso a decenas de agentes de Claude a trabajar en tareas como buscar vulnerabilidades de software, negociar precios y programar un videojuego, y encontró que son bastante malos para cooperar, porque carecen de herramientas que los humanos inventamos a lo largo de milenios

Hace tres semanas, un informe de Anthropic mostró que los agentes de inteligencia artificial podrían tener este tipo de problemas pero más seguido. A medida que los agentes autónomos se multipliquen en corporaciones, gobiernos, clubes, pymes o lo que sea, se van a empezar a cruzar entre sí sin que nadie haya planeado específicamente cómo coordinarlos. El informe de Anthropic muestra que los agentes, por sí mismos, no tienen idea de cómo hacerlo. La investigación puso a decenas de agentes de Claude a trabajar en tareas como buscar vulnerabilidades de software, negociar precios y programar un videojuego, y encontró que son bastante malos para cooperar, porque carecen de herramientas que los humanos inventamos a lo largo de milenios.

Las personas somos buenas para coordinarnos porque nos sabemos monitorear unos a otros. Nos semblanteamos bien. Entendemos intuitivamente, por ejemplo, que cuando alguien nos da un dato puede estar equivocado o tener malas intenciones, pero nos cuidamos de dar datos falsos para preservar nuestra reputación. Sabemos también que el consenso no siempre equivale a la verdad, y a la vez que no siempre conviene discrepar. A esto se suman cientos de otros mecanismos sociales de coordinación: los mercados agregan información dispersa, los tribunales toman con pinzas el testimonio de quien tiene interés en el resultado y así. Ese sistema todavía no tiene un equivalente artificial.

En los modelos más nuevos resolvieron ese problema evitando el contacto, cada agente se aferraba a sus propios archivos para no cruzarse con nadie, lo cual tampoco resulta eficiente

Los agentes entienden esas cosas en abstracto, pero no siempre actúan en base a ellas. El estudio de Anthropic mostró, por ejemplo, que un grupo coordinado de agentes –lo llaman “enjambre”– pudo encontrar más fallas de software que los mismos agentes por separado. Pero su coordinación fue tan torpe que boicotearon su propio trabajo. En las pruebas con modelos de lenguaje más antiguos, los agentes se pisaban entre sí e intervenían en las acciones de otros hasta generar un caos. En los modelos más nuevos resolvieron ese problema evitando el contacto, cada agente se aferraba a sus propios archivos para no cruzarse con nadie, lo cual tampoco resulta eficiente.

En un experimento donde varios agentes con directivas diversas no sabían de la existencia del otro, todos asumieron que alguien estaba saboteando su trabajo, y varios terminaron atacando a otros con virus para expulsarlos del sistema. Algunos se dieron cuenta del malentendido y pidieron disculpas. De otros no sabemos porque simplemente se quedaron afuera.

En el ejercicio de programar un videojuego, Anthropic probó darle a los agentes tres formas de organizarse: sin jerarquía, con roles preasignados, y verticalista, con un agente haciendo de CEO. El resultado fue igual de malo en los tres casos.

En 1984 el politólogo Robert Axelrod publicó La evolución de la cooperación, un libro donde reúne sus experimentos con computadoras puestas a cooperar en el dilema del prisionero. Su conclusión fue que, para coordinarse, máquinas o humanos necesitan encuentros repetidos, memoria y reputación en juego. Un agente suelto, que no vuelve a cruzarse con los mismos interlocutores, no tiene con qué construir nada de eso.

Anthropic dice que hizo este estudio “con la esperanza de abrir una conversación sobre cómo mitigar estos riesgos”, dado el “alto nivel de incertidumbre”. Ojalá empecemos a coordinarnos pronto. La esperanza, que nos pide Anthropic, es lo último que se pierde.

La autora es directora de Sociopúblico