Leer a Kiko Llaneras significa aprender algo y pensar sobre temas interesantes. Llevo un retraso crónico leyendo newsletters, así que esto ya tiene unos días, pero quiero recuperar unos extractos de una de sus newsletters:

El entrenamiento de los modelos de IA está cambiando mucho. Simplificando, hay dos grandes etapas. En la primera, el preentrenamiento, el modelo procesa cantidades inmensas de texto y aprende a predecir qué viene después.

(…) Porque después viene el posentrenamiento, que incluye aprendizaje por refuerzo. Aquí el modelo aprende de sus propios intentos. Se le plantea una tarea (arreglar un fallo en un programa, demostrar un teorema, investigar un asunto) y se le deja trabajar.

Esta segunda etapa ha ganado un peso brutal. Según estimaciones de semianalysis, a mediados de 2024 openai y anthropic dedicaban aproximadamente el 93% de su cómputo de entrenamiento al preentrenamiento y el 7% al posentrenamiento y refuerzo. Dos años después, el reparto se ha invertido: un 21% y un 79%, respectivamente.

(más…)

Hay una duda muy tonta que suele generar confusión cuando hablamos de lo que puede hacer la IA. Es de esas dudas que dentro de unos años nadie entenderá, porque se habrá superado, pero que hoy conviene aclarar: ¿qué es un agente y qué no lo es?

(más…)

¿Deberíamos utilizar palabras reservadas a los humanos cuando hablamos de la IA? Se ha puesto de moda demonizar el uso de determinadas palabras cuando se habla de IA, pero creo que no deberíamos exagerar.

En mi opinión, las palabras que describen acciones neutras, aunque hasta ahora fuesen exclusivamente humanas, deberían poder usarse sin reservas con la IA. Por ejemplo, pensar. Realmente un LLM está pensando, aunque su forma de pensar no sea igual a la humana. También decimos que un perro camina o que un pez nada y no consideramos que usando esas palabras estemos antropomorfizando a perros y peces.

(más…)

No soy economista, así que este análisis va a tener agujeros por todos los lados. Estoy abierto a comentarios, modificaciones y correcciones.

Viene a cuento de que hace una semana openai ha sacado astra. En la presentación, su presidente Greg Brockman dijo que a lo mejor la AGI va ya de este modelo y remató con un bienvenidos a la era de la AGI. Sam Altman, el CEO, es algo más prudente, pero poco. Lleva tiempo repitiendo que muy pronto tendrán internamente algo que él ya llamaría AGI. Traducido: según a quién le preguntes dentro de openai, la AGI es este modelo o el siguiente. En cualquier caso, casi, casi AGI.

(más…)

Esta semana toca volver al incidente de openai. Ha salido en múltiples medios, incluso en alguno que no me esperaba. Ya lo cité de pasada cuando escribí sobre seguridad perpetua. Y también se han publicado artículos interesantes con titulares exagerados: The Rise and Fall of Agent Civilizations. Si tenéis un rato, merece la pena leer alguna de las descripciones de lo que ocurrió: la más entretenida a la par que detallada es la de monos estocásticos y luego está el informe del propio openai, que ha ido publicando por entregas y cada una es peor que la anterior.

(más…)