seguridad perpetua

Cosas del algoritmo de youtube, me salió este vídeo de una entrevista a Roman Yampolskiy: No, AI Isn’t Conscious; It’s Actually Much Worse.

En el vídeo se discuten varias ideas interesantes, pero la que más me llamó la atención y la que el propio Roman cree que es más importante es la siguiente: si desarrollamos una ia con superinteligencia, vamos a necesitar seguridad perpetua. Cita algunos papers (que no he leído), pero la intuición nos dice que su argumento podría estar en lo cierto: si creamos algo que es más inteligente que nosotros, necesitaremos que las medidas que atan a esa ia funcionen al 100% en todo momento. Si fallan un instante, ese algo podría escaparse.

Si las cosas acaban en esos términos, en la práctica sabemos que antes o después alguien meterá la pata. Como en la caída de Bizancio en Momentos estelares de la humanidad: en algún momento alguien se dejará una puerta abierta, alguien no cerrará bien un candado, o alguien conectará a internet un ordenador que no debía. Y de hecho tanto a OpenAI como a Anthropic esto ya les ha pasado.

Así que igual que para una hormiga somos seres poderosísimos e inteligentísimos, para una máquina así nosotros seremos sus insectos: su inteligencia hará que seamos meros juguetes o mascotas.

El argumento es bueno. Ya he dicho que no he leído los papers, no sé si sirve para rebatirlo, pero como argumento de andar por casa podría valer: probablemente nuestra relación con una superinteligencia sea simbiótica. Al menos en los primeros años, las ia superinteligentes no podrán vivir sin nosotros y nosotros terminaremos dependiendo de ellas. Esta dependencia creo que condicionará el comportamiento de las ia en el futuro.

Pero tampoco tengo tan claro que vayamos a llegar tan lejos: con la arquitectura de las ia actuales (LLM), es posible que no lleguemos a la superinteligencia. Hay varios investigadores como Yann LeCun que creen que a los LLM les falta algo. Yo también lo creo: llamémoslo sentido común, conciencia del mundo, pero es una intuición mía. Aunque éso tampoco rebate el argumento, sólo nos daría algo de tiempo. Cuando alguien construya una alternativa, ésa será la que nos destruya.

Ya veremos cómo se desarrolla todo en el futuro: la especie humana acaba arrasada, terminamos en simbiosis con la superinteligencia o no sucede nada porque la ia no llega a ser mucho más inteligente de lo que es hoy.