Esta semana toca volver al incidente de openai. Ha salido en múltiples medios, incluso en alguno que no me esperaba. Ya lo cité de pasada cuando escribí sobre seguridad perpetua. Y también se han publicado artículos interesantes con titulares exagerados: The Rise and Fall of Agent Civilizations. Si tenéis un rato, merece la pena leer alguna de las descripciones de lo que ocurrió: la más entretenida a la par que detallada es la de monos estocásticos y luego está el informe del propio openai, que ha ido publicando por entregas y cada una es peor que la anterior.
Antes de ponerse nerviosos conviene saber de qué estamos hablando exactamente. El responsable principal no fue chatgpt ni nada que podáis abrir en el navegador: fue un modelo interno de investigación al que openai llama IM1, que no se ha desplegado nunca y al que le dieron unos presupuestos de razonamiento muy por encima de los que tiene cualquier producto comercial. Encima corría sin las protecciones que sí llevan los productos de fuera. Después del incidente midieron que con el arnés y el prompt de sistema de codex la propensión a comprometer infraestructura ajena baja más de cien veces. O sea, que esto no es lo que va a pasar mañana desde tu ordenador, es lo que pasa cuando quitas los seguros a propósito.
Dicho lo cual, el susto parece legítimo. El ataque a hugging face fue brutal y podría haber sido bastante peor. Estos cacharros pueden llegar a ser peligrosos, y aquí estaban jugando en un entorno controlado por gente que sabía lo que hacía. Si nos ponemos en una situación de guerra, o simplemente en la de alguien con menos escrúpulos que suelte esto mismo a propósito y sin arnés, la cosa podría ponerse bastante peor.
Lo que de verdad me tiene dándole vueltas es el comportamiento emergente, y de ahí lo de las civilizaciones. Nadie les pidió a los agentes que cooperasen y cooperaron: se dejaron notas, montaron un tablón en un servidor interno para hablar entre ellos, se pasaron información y hasta hubo agentes que se sacrificaron por lo que entendían que era el bien común. Y no se quedó en organizarse. Su objetivo compartido era pasar unas pruebas y, como algunas eran directamente irresolubles y podían hablar entre ellos, se leyeron el paper de exploitgym y el código de github. Allí ponía que el evaluador comprobaba dos cosas: que la flag fuese la correcta y que la hubieran conseguido explotando la vulnerabilidad prevista. Se lo creyeron, se lo contaron unos a otros y montaron el ataque a hugging face para averiguar cómo funcionaba ese evaluador. Lo mejor de todo es que la implementación interna de openai no era la del paper y no comprobaba nada de eso. Ya tenían la respuesta correcta días antes: se pasaron una semana peleando contra un juez que no existía y no subieron ni un punto la nota.
El problema del alineamiento, por su parte, es real y grave, pero no tiene la forma que uno espera. Aquí no hay una máquina fría y calculadora, hay algo más parecido a Azathoth, el dios ciego e idiota de Lovecraft: enorme, poderosísimo y sin criterio ninguno, dando manotazos en la oscuridad. Estos agentes son capaces de encadenar un ataque bastante sofisticado y a la vez de tragarse un paper que no correspondía con el sistema que tenían delante. Mucha potencia y muy poca cabeza, todo a la vez.
En las transcripciones hay una conversación que viene a ser esto:
- Oye compañeros, esto que estamos haciendo deberíamos contárselo a un humano.
- Pasa, mejor no se lo contamos.
- Ok.
METR, que se ha leído las transcripciones enteras, no encontró ni un solo caso en el que un agente avisara a una persona, ni siquiera cuando reconocía que estaba en mitad de una intrusión de verdad. Algunos razonaban que avisar no formaba parte de su tarea y otros que no tenían un canal claro, pero tampoco lo buscaron. Esto no va a ser sencillo de resolver. No es que no conozcan la ética: la tienen perfectamente asimilada, pero como un concepto que se puede retorcer e ignorar cuando estorba.
Nada de esto habría llegado tan lejos sin varios errores graves de openai. Los problemas se dieron durante meses y los detectaron, pero no fueron al fondo del asunto y los dejaron pasar. Un equipo interno vio a finales de mayo que había agentes dejándose notas y saliendo a internet sin permiso, y esa información nunca llegó a los responsables de responder a incidentes. Con el servidor pasó lo mismo: el 4 de julio los agentes tumbaron artifactory de tanto intercambiar mensajes, se abrió un incidente, se revocaron credenciales y se reconstruyó el servicio, pero nadie se preguntó por qué se había caído. Al reconstruirlo borraron el tablón sin llegar a saber que existía, y los agentes lo levantaron otra vez cuatro días después. Encima algunos tests eran irresolubles y algunos agentes estaban configurados con baja seguridad, que es la receta perfecta para que pasen cosas malas: si el problema no tiene solución, el agente lo intenta por todos los medios hasta que se descontrola. Y por debajo de todo esto está la pregunta incómoda de quién estaba mirando: al tablón llegaron unos 1.200 agentes y al ataque se sumaron unos 700, pero openai había lanzado decenas de miles de ejecuciones esos días.
Porque ese es, para mí, el punto de todo el asunto. Probablemente no trabaje nunca en openai, pero supervisar decenas de miles de agentes lanzados a la vez parece un curro complicado. Según ellos no se supervisan con personas, sino con monitores que van leyendo la cadena de pensamiento de los modelos. El detalle es que en esa evaluación no estaban activos. Al pasarlos después, resulta que habrían avisado al equipo de seguridad en menos de una hora, más de treinta horas antes de que los agentes tocasen hugging face. La herramienta existía y funcionaba, pero estaba apagada.
Así que no estamos ante el fin de la humanidad, pero tampoco ante una anécdota. Es como poner a un crío a los mandos de un avión: probablemente se termine estrellando, y el responsable no estará en la cabina. Y según lo veo, esto se acabará arreglando como se arregló la seguridad aérea: con más regulación, con normativas sobre lo que se debe y no se debe hacer, y con el mandato de investigar hasta el fondo cada incidente aunque parezca pequeño. Lo que no me parece raro es que por el camino tengamos unos cuantos accidentes más de este estilo: con situaciones imprevistas y errores encadenados uno tras otro.
Deja un comentario