E014_La arquitectura Transformer que arrancó la revolución de la IA

Buenas, esto es BIMPRAXIS, el podcast donde el BIM se encuentra con la inteligencia artificial.

Exploramos la ciencia, la tecnología y el futuro desde el enfoque de la arquitectura, ingeniería y construcción.

¡Empezamos!

Oye, una pregunta que llevo dándole vueltas últimamente.

¿Cómo es posible que la inteligencia artificial así de repente empezara a escribir poemas, a programar, a tener conversaciones que parecen humanas?

Es una muy buena pregunta.

Es que yo recuerdo que hasta hace nada le pedías que tradujera una frase y bueno, con suerte lo hacía bien.

Algo tuvo que pasar, un punto de inflexión.

Sí, y lo hubo. La respuesta es muy concreta. Tiene fecha y lugar. El año 2017.

Antes de eso, la IA estaba, por decirlo de alguna manera, metida...

En un callejón sin salida.

Exacto. Y la llave para salir de ahí fue una arquitectura con un nombre que suena a ciencia ficción. El Transformer.

Y ese es justo el análisis que vamos a hacer hoy. Queremos desentrañar qué son, por qué lo cambiaron todo y, sobre todo, qué está surgiendo ya en 2026 para superarlos.

Todo esto basándonos en un informe técnico que es fascinante.

Pues sí. Y para entender por qué el Transformer fue tan genial, lo primero es entender bien ese callejón sin salida.

Los modelos de antes, las famosas RNS, tenían una limitación de diseño que les impedía... bueno, les impedía crecer.

Vale. Pero eso en la práctica, ¿qué significaba? Si yo le daba un párrafo largo a una IA de 2015, se perdía por el camino. ¿Era ese el problema?

Exactamente ese. Imagina que intentas resumir una película viéndola a través de la rendija de una puerta. Leían palabra por palabra. De forma secuencial.

Claro. Y eso creaba dos problemas gigantes.

Primero, el que dices. La memoria. Se olvidaban del principio de las frases. Para cuando llegaban al final de un párrafo, no recordaban el contexto del inicio. Una especie de amnesia a corto plazo.

Justo. Y el segundo problema era la velocidad. Eran lentísimos. Como tenían que procesar una palabra para poder leer la siguiente, no había forma de acelerar nada. Era un cuello de botella monumental.

Vale. Estaba totalmente atascada. Amnesia y lentitud. Un desastre.

Entonces, ¿cuál fue el chispazo que lo cambió todo?

El chispazo fue un artículo científico. Un paper publicado por ocho investigadores de Google en 2017. Y el título ya era toda una declaración de intenciones.

Attention is all you need. La atención es todo lo que necesitas.

Exacto. La innovación clave fue esa. Un concepto que llamaron mecanismo de atención. Y rompía por completo con la idea de leer palabra por palabra.

Exacto. Y aquí hay un dato que he leído en un libro.

Es que es alucinante. De esos ocho investigadores, a día de hoy, en 2026, casi ninguno sigue en Google.

Espera, espera. ¿Me estás diciendo que la gente que inventó la tecnología que define la IA moderna se fue de la empresa que la financió? Es increíble.

Es como si el equipo que diseñó el iPhone se hubiera ido de Apple en 2008 para fundar la competencia.

Es una comparación muy buena. Vieron el potencial de lo que habían creado.

Decidieron montar sus propias empresas. De ahí salieron gigantes como Cogere, Character.ai.

Madre mía. Es como si hubieran descubierto el fuego y cada uno se llevara una antorcha para fundar su propia civilización.

Pero volvamos al fuego en sí, a esa idea central. El mecanismo de atención. Venga, vamos al grano. ¿En qué consiste exactamente? ¿Cómo funciona eso de la atención?

A ver, la mejor forma de entenderlo es con una analogía. Pensemos en los modelos antiguos.

Las RNs.

Las RNs, como un bibliotecario. Muy meticuloso, pero con poca memoria.

Vale.

Lee un libro palabra por palabra, en orden, de la primera a la última. Si el libro es muy largo, cuando llega al final, pues es probable que no recuerde bien los detalles del primer capítulo.

Es secuencial y limitado, lo de mirar por la rendija de la puerta.

Exacto. Ahora el Transformer. No es un bibliotecario, es alguien con memoria fotográfica.

Ah.

No lee palabra por palabra. Le echa un vistazo a la página entera.

De golpe. Y de forma instantánea traza como unas conexiones invisibles entre las palabras más importantes, sin importar si están al principio, en medio o al final.

O sea que en lugar de seguir un caminito estrecho, ve todo el mapa a la vez y entiende cómo se conectan los puntos entre sí.

Precisamente. En el informe hay un ejemplo perfecto con la frase, el banco denegó el préstamo porque éste no tenía fondos.

Un modelo antiguo podría dudar, ¿este es el préstamo o el banco?

Claro.

Y así entiende el significado.

Ve el bosque entero, no solo los árboles uno a uno.

Entendido. La atención resuelve el problema de la memoria, de ver el bosque entero. Pero sigo dándole vueltas al otro cuello de botella. ¿La velocidad?

Si ahora tiene que calcular las conexiones de cada palabra con todas las demás, a mí me suena que debería ser incluso más lento, no más rápido. ¿Qué me estoy perdiendo?

Ahí está la segunda genialidad del diseño, y la que de verdad abrió la puerta a todo lo que vemos hoy.

Es una objeción muy lógica.

Claro.

Pero la clave es que, al no tener que leer en orden, los transformers permitieron por primera vez usar miles de procesadores, las GPUs, a la vez, para entrenar un solo modelo.

¡Ah!

Si la información no tiene que ser procesada secuencialmente, puedes dividir el trabajo entre miles de trabajadores que operan a la vez.

Claro. Es como pasar de construir una casa ladrillo a ladrillo con una sola persona a tener mil obreros trabajando en paralelo en distintas partes del edificio.

Esa analogía es perfecta.

Y el mecanismo de atención sería el plano, que permite que todos trabajen a la vez porque todos ven el plan completo.

Exacto. Y esto fue lo que permitió a empresas como OpenAI o Google hacer algo impensable, alimentar estos modelos con todo Internet, básicamente.

Con la tecnología anterior, aunque tuvieras los datos, el método secuencial lo habría hecho imposible. Habría tardado siglos.

Y esa capacidad de procesarlo todo en paralelo es el motor de lo que vemos hoy en 2026, ¿no?

Es el motor de lo que vemos hoy en 2026.

Es el motor de todo, de los grandes modelos de lenguaje como GPT-4, Cloud, Gemini. Pero lo interesante es que la idea ha saltado del texto a lo visual.

A los generadores de imágenes y vídeo.

Eso es. Modelos como Sora ya no usan las arquitecturas antiguas, sino una variante llamada Diffusion Transformer.

Que aplica la misma lógica de atención a los píxeles, supongo.

La misma. El modelo presta atención a todas las partes de la imagen o del vídeo a la vez. Por eso ahora los vídeos generados tienen coherencia.

Si un coche aparece en un fotograma, el sistema entiende que debe seguir trabajando.

El sistema entiende que debe seguir existiendo y moverse de forma lógica en los siguientes.

Hay una consistencia que antes era imposible, ¿es verdad?

Exacto.

Parece una tecnología perfecta. Resolvió la memoria, la velocidad, ha saltado del texto a la imagen.

Pero claro, el informe deja muy claro que tiene problemas. Y algunos bastante graves. No todo iba a ser tan bonito.

No. No lo es. A pesar de su éxito, los Transformers arrastran un talón de Aquiles enorme.

Un problema técnico y económico que está definiendo toda la investigación actual.

Se llama la complejidad cuadrática.

Suena caro.

Y lo es. Vaya que sí lo es. La idea es sencilla. Imagina que le das a un Transformer un texto de 100 palabras. El coste computacional es, digamos, 10.

Vale.

Si le das un texto el doble de largo, de 200 palabras, esperarías que el coste fuera 20, ¿no? El doble.

Sí. Sería lo lógico.

Pues no. El coste no se duplica, se cuadruplica. Pasa a ser 40.

Si triplicas el texto…

El coste se multiplica por 9. Es una escalada insostenible.

Madre mía. Ahora entiendo por qué es tan caro y tan difícil que los chats recuerden conversaciones largas o que analicen un libro entero.

Al cabo de un rato parece que tienen amnesia otra vez. Es que el coste se dispara.

Exacto. Y este problema del coste es el más grande. Pero el informe señala otros dos. El primero, las famosas alucinaciones.

Ah, sí. El clásico momento en el que se inventa un dato y lo dice con una seguridad.

La seguridad pasmosa. El loro estocástico, que le llaman.

Buena definición. Hay que recordar que es un modelo probabilístico, no factual. No está diseñado para decir la verdad, sino para sonar creíble. Imita patrones, no entiende lo que dice.

Y el otro problema que menciona el informe es el consumo energético, claro.

Que está directamente ligado a la complejidad cuadrática. Entrenar estos modelos requiere centros de datos del tamaño de una ciudad pequeña.

El consumo de energía y agua es brutal. Es un modelo de crecimiento con serios problemas de sostenibilidad.

Entonces el panorama es, los transformers son potentísimos, pero caros, ineficientes y contaminantes.

Y aquí es donde, según el informe, empieza la nueva carrera. ¿Cuáles son las alternativas en 2026?

Aquí es donde la historia se pone muy interesante.

Toda la industria está buscando cómo superar lo que el informe llama la tiranía de la complejidad cuadrática.

Y hay varias corrientes.

La primera, y la que más ruido está haciendo, son los modelos de espacio de estado, o SSM. El nombre más famoso aquí es Mamba.

Mamba. ¿Y qué tiene de especial para generar tanto revuelo?

Pues que ha conseguido resolver el problema de raíz. Tiene una complejidad lineal.

A ver, ¿eso significa que si duplicas el texto…?

El coste ahora sí. Simplemente se duplica. No se cuadrúplica.

Vaya.

Esto lo cambia todo.

De repente puedes analizar textos larguísimos con un coste subyacente.

Más sostenible y a una velocidad muchísimo mayor. Son radicalmente más eficientes.

O sea que esto suena a que es el fin del Transformer. El rey ha muerto. Bueno, no tan rápido.

Aquí entra la segunda corriente, que es la más pragmática y la que domina ahora mismo.

Las arquitecturas híbridas. Un modelo conocido es Jamba. La idea no es matar al Transformer.

Sino combinarlo.

Exacto. O sea que no es una guerra. Es más bien un matrimonio de conveniencia.

Lo has definido perfectamente. Estos modelos híbridos usan capas de Transformer, que siguen

siendo las mejores para el razonamiento complejo, y las combinan con capas de Mamba, que son

súper eficientes para la memoria a largo plazo.

Lo mejor de los dos mundos. Usan a Mamba para recordar y al Transformer para pensar.

Es una solución de ingeniería muy inteligente, ¿sí?

Vale. Tenemos a los puristas de Mamba y a los pragmáticos de los híbridos. ¿Hay alguna

otra vía?

Sí. Hay una tercera vía, más conceptual.

Una visión de futuro. Es la que defiende gente como Jan LeCun, el jefe de IA de Meta.

Se conoce como JEPA.

El nombre es bastante más intimidante que Mamba, desde luego. ¿Qué propone?

Propone un cambio de paradigma total. LeCun dice que el problema de fondo es que los

modelos actuales sólo aprenden a predecir la siguiente palabra. Son loros, como decíamos.

Sí.

Su idea es que la próxima IA debería aprender como un humano. Observando el mundo y construyendo

un modelo interno de cómo funciona. Eso sigue sonando muy abstracto.

Un ejemplo.

En lugar de predecir la siguiente palabra en la frase «el gato se sentó en la…», un

modelo JEPA ha visto miles de vídeos de gatos, entiende que los gatos son sólidos, que no

atraviesan paredes, que la gravedad existe, claro.

Su modelo interno del mundo le diría que la siguiente palabra tiene que ser alfombra,

silla o sofá, no porque sea estadísticamente probable, sino porque entiende la física

del mundo que describe. Busca que la IA aprenda conceptos, no sólo patrones de texto.

Vale, vale, lo pillo. Es pasar de ser un experto en lenguaje a ser un aprendiz del

mundo real. Es un salto cualitativo enorme.

Enorme.

Entonces, para recapitular, hemos viajado desde esa IA olvidadiza y lenta de antes

de 2017, pasando por la revolución de la atención que nos trajo los transformers,

hasta la encrucijada actual de 2026. Y ahora parece que la eficiencia se ha convertido

en el nuevo santo grial.

Absolutamente. La era de la fuerza bruta, de hacer modelos más y más grandes, está

llegando a su límite económico y medioambiental.

La batalla ya no es sólo por crear modelos más gigantescos, sino más inteligentes,

más eficientes. Y ahí es donde entran Mamba y los modelos híbridos.

Así es. Esa tensión entre la potencia bruta del transformer y su coste insostenible es

el motor que está impulsando toda la innovación ahora mismo. Es la gran historia de la IA

en estos momentos. Una nueva carrera espacial por la eficiencia.

Una nueva carrera espacial por la eficiencia. Una nueva carrera espacial por la eficiencia.

Una carrera fascinante, desde luego.

Y nos deja con una pregunta final, que va más allá de la ingeniería. Hemos hablado

mucho de eficiencia, de costes. Pero la pregunta de fondo que plantea esa tercera vía, la

de Lecun, es otra. Si la próxima generación de IA aprende entendiendo conceptos abstractos

del mundo en lugar de sólo predecir texto, empezará a desarrollar algo parecido al

sentido común. Y si lo hace, ¿cómo nos daremos cuenta? Estaríamos hablando no ya

de una mejora en la tecnología, sino de una mejora en la tecnología, sino de una

mejora en la tecnología, sino de un cambio fundamental en la naturaleza de la propia

inteligencia artificial.

Y hasta aquí el episodio de hoy. Muchas gracias por tu atención.

Esto es BIMPRAXIS. Nos escuchamos en el próximo episodio.