Buenas, esto es BIMPRAXIS, el podcast donde el
Download transcript (.srt)
0:10
0:15
0:20
0:23
0:26
0:28
0:37
0:40
0:42
0:44
0:47
0:50
0:53
0:54
0:55
0:57
1:00
1:04
1:06
1:09
1:11
1:13
1:14
1:16
1:17
1:20
1:23
1:25
1:28
1:28
1:30
1:33
1:36
1:37
1:39
1:42
1:45
1:48
1:51
1:53
1:55
1:58
2:01
2:04
2:06
2:09
2:11
2:13
2:17
2:17
2:20
2:23
2:25
2:28
2:32
2:34
2:36
2:38
2:39
2:41
2:44
2:44
2:47
2:50
2:52
2:56
2:58
3:00
3:01
3:03
3:05
3:09
3:11
3:12
3:14
3:17
3:19
3:21
3:23
3:26
3:28
3:30
3:31
3:32
3:34
3:36
3:39
3:42
3:44
3:46
3:47
3:49
3:52
3:57
3:58
4:01
4:02
4:04
4:06
4:07
4:09
4:12
4:14
4:16
4:19
4:21
4:22
4:25
4:27
4:28
4:30
4:33
4:35
4:37
4:39
4:42
4:45
4:48
4:49
4:52
4:53
4:56
4:57
5:00
5:02
5:05
5:09
5:12
5:13
5:14
5:16
5:18
5:19
5:21
5:24
5:26
5:29
5:31
5:33
5:37
5:39
5:41
5:43
5:46
5:48
5:50
5:52
5:54
5:56
5:57
6:00
6:02
6:04
6:06
6:09
6:12
6:14
6:15
6:17
6:18
6:19
6:21
6:23
6:24
6:27
6:29
6:30
6:31
6:33
6:35
6:36
6:39
6:40
6:44
6:46
6:48
6:51
6:53
6:55
6:56
6:58
6:59
7:01
7:03
7:05
7:08
7:09
7:12
7:14
7:17
7:18
7:19
7:20
7:21
7:23
7:25
7:26
7:28
7:30
7:31
7:33
7:36
7:36
7:39
7:40
7:44
7:47
7:49
7:51
7:52
7:55
7:56
7:58
8:00
8:04
8:06
8:09
8:11
8:13
8:14
8:15
8:18
8:20
8:23
8:25
8:27
8:30
8:33
8:36
8:37
8:38
8:39
8:42
8:44
8:47
8:49
8:51
8:53
8:56
8:58
9:00
9:02
9:04
9:04
9:07
9:08
9:11
9:14
9:15
9:17
9:18
9:20
9:23
9:26
9:28
9:31
9:33
9:35
9:37
9:40
9:42
9:44
9:46
9:47
9:49
9:52
9:52
9:55
9:56
9:58
9:59
10:01
10:01
10:04
10:06
10:08
10:11
10:13
10:17
10:22
10:24
10:25
10:28
10:31
10:34
10:35
10:36
10:39
10:41
10:43
10:45
10:48
10:50
10:51
10:53
10:54
10:56
11:00
11:03
11:05
11:09
11:13
11:17
11:21
11:23
11:24
11:26
11:28
11:30
11:33
11:35
11:37
11:40
11:43
11:45
11:46
11:49
11:51
11:53
11:54
11:56
11:59
12:02
12:04
12:05
12:07
12:08
12:08
12:11
12:12
12:15
12:17
12:19
12:23
12:25
12:28
12:30
12:31
12:32
12:33
12:35
12:37
12:38
12:40
12:42
12:45
12:48
12:50
12:51
12:54
12:56
12:57
12:59
13:01
13:03
13:05
13:07
13:10
13:13
13:14
13:15
13:17
13:20
13:24
13:27
13:29
13:31
13:32
13:35
13:38
13:41
13:42
13:44
13:45
13:48
13:49
13:51
13:52
13:52
13:57
13:59
14:01
14:04
14:06
14:09
14:10
14:11
14:13
14:15
14:17
14:18
14:19
14:22
14:23
14:25
14:26
14:29
14:30
14:33
14:35
14:36
14:38
14:40
14:42
14:44
14:47
14:50
14:53
14:56
14:59
15:01
15:03
15:04
15:05
15:07
15:09
15:11
15:13
15:16
15:19
15:21
15:33
15:36
15:47
15:49
16:12
BIM se encuentra con la inteligencia artificial.
Exploramos la ciencia, la tecnología y el futuro
desde el enfoque de la arquitectura, ingeniería y
construcción.
¡Empezamos!
Muy buenas, bienvenidas, bienvenidos a un nuevo episodio
de BIMPRAXIS.
Hoy os traemos el fin del límite de
lectura en la inteligencia artificial y la llegada
de SubQ, el modelo que procesa 12 millones
de tokens de un plumazo y de forma
asequible.
Una auténtica barbaridad, la verdad.
Es que piénsalo por un momento.
Imagina poder cargar absolutamente todo el conocimiento de
una empresa entera, cada correo cruzado, cada contrato
legal y cada línea de código de los
últimos 10 años en una fracción de segundo.
Y lo más importante, que el sistema no
olvide ningún detalle al darte la respuesta.
Eso es.
Ese es el nivel de disrupción que vamos
a analizar hoy.
Nuestro objetivo en este programa es entender cómo
una empresa llamada Subquadratic ha logrado romper lo
que parecía la ley de gravedad de la
IA, o sea, el coste cuadrático de la
atención.
Y para eso vamos a destripar su anuncio
de lanzamiento del 5 de mayo de 2026
y, bueno, sus informes técnicos.
Exacto.
Porque esto lo cambia todo.
Si conectamos esto con el panorama general, resulta
evidente que la última década de desarrollo de
software ha estado definida por las carencias de
la inteligencia artificial, no por sus virtudes.
Totalmente de acuerdo.
Es decir, la industria entera ha invertido miles
de millones en crear arquitecturas raras, bases de
datos vectoriales y sistemas de enrutamiento con un
único propósito, esquivar lo que los modelos no
podían procesar de una sola vez.
Hemos construido rascacielos sobre un andamio de limitaciones
matemáticas.
Y hoy vamos a explorar justo qué pasa
cuando esas limitaciones de repente desaparecen del mapa.
Exacto.
Es un seísmo a nivel técnico y económico.
A ver, vamos a desgranar esto.
Porque para entender por qué SubQ es tan
revolucionario, primero hay que entender por qué los
modelos actuales, los famosos transformers, colapsan cuando leen
textos muy largos.
Colapsan ellos y colapsan las facturas de los
servidores, todo, hay que decirlo.
Claro, claro.
El problema de fondo es eso que llaman
atención densa, ¿verdad?
Eso es.
La atención densa o dense attention.
Cuando un modelo transformer lee un documento, la
forma en que extrae el contexto es comparando
cada palabra, cada token, con absolutamente todos los
demás tokens de ese mismo texto.
O sea, una matriz gigante donde todo se
cruza con todo.
Exactamente.
Funciona como una evaluación exhaustiva.
Cada palabra evalúa matemáticamente su relevancia frente a
la totalidad del documento para decidir qué peso
tiene.
Desde el punto de vista cualitativo, es el
método más riguroso posible para no perder información.
Pero computacionalmente es una pesadilla.
Una pesadilla total.
Genera un crecimiento cuadrático, lo que los informáticos
llamamos ODN al cuadrado.
Esto significa que si duplicas la longitud del
texto, el coste informático no se duplica.
Se multiplica por cuatro.
Eso es.
Y si el texto es 10 veces más
largo, el coste se multiplica por 100.
En entornos empresariales, donde un repositorio de código
tiene millones de tokens, esa curva matemática hace
que sea prohibitivo en tiempo y en dinero.
Ya, a ver, vamos a desgranar esto con
una analogía.
Es como organizar un evento de networking, donde
obligas a cada invitado a tener una conversación
individual, profunda y obligatoria con absolutamente todos los
asistentes del edificio.
solo para encontrar a su compañero de trabajo.
Tal cual.
Es un desperdicio masivo de energía.
La inmensa mayoría de esas charlas no van
a servir para nada.
Es que esa imagen lo clava.
De todas esas interacciones forzadas, el resultado es
nulo casi siempre.
El modelo compara la preposición de del primer
párrafo con la palabra indemnización de la página
800 y se da cuenta de que no
tienen relación.
Pero ya has pagado el cálculo de la
tarjeta gráfica por hacerlo.
Exacto.
Los propios creadores de SubQ lo llaman un
trabajo inútilmente cuadrático.
Y esa es la razón exacta por la
que la industria ha tenido que inventar tantos
parches estos años.
Aunque bueno, yo recuerdo que cuando salió Flash
Attention, parecía que nos habían salvado la vida.
Parecía que ya podíamos meter textos enormes sin
arruinarnos.
A ver, Flash Attention fue un avance brillante,
sin duda.
Pero optimizó la memoria, no las matemáticas.
¿Cómo es eso?
Lo que hizo fue reestructurar cómo se movían
los datos dentro de la memoria de las
tarjetas gráficas, minimizando los viajes lentos de información.
Ejecutaba esa atención densa mucho más rápido.
Pero seguía comparando todo con todo.
Exactamente.
La ley de gravedad seguía ahí.
El número de operaciones era el mismo, así
que el O de alí al cuadrado seguía
dictando las reglas.
O sea, volviendo al evento de networking, Flash
Attention hizo que la gente caminara y hablara
a cámara rápida, pero seguían teniendo que hablar
con las 10.000 personas del edificio.
Esa es la metáfora perfecta.
Y como esa barrera matemática seguía ahí, tuvimos
que sobrevivir con soluciones temporales, parches.
Pues hablemos de esos parches, porque es donde
todo el mundo ha estado metido hasta ahora,
empezando por los sistemas RAG.
Uf, los sistemas RAG.
Como no podíamos meter todo el contexto de
golpe, usábamos una base de datos externa como
si fuera un bibliotecario rápido.
Te busca los tres párrafos que más se
parecen a tu pregunta y solo le pasa
eso a la IA.
El problema ahí es que pierdes toda la
jerarquía de la información.
Troceas un manual técnico y el pobre modelo
recibe un párrafo suelto sin saber de dónde
viene ni qué premisas había antes.
Claro, se pierde el contexto vecino.
Otro intento muy popular han sido los flujos
de trabajo con agentes.
Poner a varias IAs pequeñitas a hablar entre
ellas.
Eso es.
Te pasas la información en cadena para resolver
un problema grande por partes.
Pero claro, cada vez que un agente le
resume algo al siguiente, acumula errores.
El juego del teléfono es cacharrado de toda
la vida.
Totalmente.
Y coordinar eso con código es súper frágil.
A la mínima desviación, el sistema entero se
cae.
Ya, pero la industria también intentó cambiar la
arquitectura base, ¿no?
Por ejemplo, los modelos recurrentes o de espacio
de estados, como Mamba.
Sí, esos tomaron el camino de la compresión.
Leen secuencialmente como si tomaran apuntes.
El coste se vuelve lineal.
Genial para el bolsillo, pero malísimo para los
datos exactos.
Comprimen y difuminan la información.
Claro.
Si necesitas el DNI exacto de un cliente
que apareció en la página 3 de un
PDF de mil páginas, Mamba ya lo ha
comprimido tanto que es irrecuperable.
Vale.
¿Y qué me dices de la atención dispersa
de modelos como DeepSeek?
Tenían un indexador que decidía dónde mirar antes
de leer.
Parecía la solución.
Parecía.
Pero había trampa.
El indexador previo tiene que evaluar cada bloque
contra todos los demás para decidir si es
relevante.
Ah, o sea que el indexador en sí
mismo seguía siendo ODN al cuadrado.
Premio.
Reducían la carga después, pero el cuello de
botella seguía ahí al escalar a millones de
tokens.
Y aquí es donde entra SubQ y rompe
la baraja.
Su arquitectura se llama SSA, Atención Selectiva Subcuadrática,
y afirman que escala de forma lineal.
O de N puro y duro.
Duplicas el texto, duplicas el coste.
Ya está.
Y dicen que lo logran con un enrutamiento
dependiente del contenido.
Exacto.
No usan patrones fijos ni comprimen datos.
La arquitectura SSA analiza el significado de cada
bloque de información y sólo calcula la atención
en las posiciones que realmente importan.
Sin importar dónde estén en el texto.
Da igual si están en la primera palabra
o en la posición 10 millones.
Pero espera, espera.
Si el modelo decide saltarse partes del texto
para ahorrar tiempo, ¿no corremos el riesgo de
que se pierda la pista clave que estaba
escondida justo en el párrafo más aburrido?
Es la duda lógica, pero el SSA no
da saltos a ciegas ni hace aproximaciones vagas.
Restringe la atención exactamente a las posiciones que
tienen señal basándose en el significado.
O sea, sabe que ahí no hay nada
relevante.
Eso es.
Mantiene lo que llaman una recuperación dispersa desde
posiciones arbitrarias.
Identifica matemáticamente que no hay correlación y bloquea
el cálculo intensivo solo donde la certeza de
irrelevancia es absoluta.
Es como si en nuestro evento de networking
masivo a cada invitado le pusiéramos un auricular
que escanea todas las voces de la sala
a la vez y le guía directo a
la única persona que habla de su tema,
ignorando el ruido del resto.
Tal cual.
Y cuando pasas eso a rendimiento informático, los
datos asustan.
A los 12 millones de tokens reducen el
coste informático, los flops, casi mil veces frente
a un transformer normal.
Madre mía, mil veces.
Mil veces.
Y a un millón de tokens es 52,2
veces más rápido que usar Flash Attention.
Es que eso cambia la usabilidad por completo.
Pasamos de mandar un documento enorme a la
IA y prepararnos un café mientras piensa a
tener respuestas instantáneas.
Es un salto brutal.
Pero claro, todo esto de la arquitectura SSA
suena espectacular en la teoría matemática.
La prueba de fuego es otra.
De nada sirve una ventana de contexto gigante
si la IA no sabe usarla.
Exacto.
Y por eso los investigadores hacen una distinción
clave entre el contexto nominal y el contexto
funcional.
El contexto nominal es lo que cabe físicamente
en el prompt, ¿no?
Lo que te venden en marketing.
Eso es.
Te caben dos millones de tokens, ¿vale?
Muy bien.
Pero el contexto funcional es sobre lo que
la IA realmente puede razonar de manera fiable
sin inventarse cosas ni perderse.
Y para demostrar su contexto funcional, SubQ se
ha sometido a benchmarks muy duros.
Por ejemplo, en el test RULER, a 128.000
tokens, SubQ logra un 95% de precisión, superando
a Opus 4.6, que se queda en un
94,8.
Sí, pero RULER es solo el calentamiento.
La verdadera locura es el benchmark MRCR versión
2, que evalúa el razonamiento a un millón
de tokens.
Que es la prueba más dura de razonamiento
multisalto sobre fragmentos dispersos.
Lo fascinante aquí es que estos benchmarks no
son de buscar palabras claves sueltas.
Son tareas donde la evidencia está rota en
mil pedazos por todo el documento.
Si el modelo falla al principio, corrompe toda
la respuesta.
Pues agárrate a los datos, porque la diferencia
es abismal.
En este test, a un millón de tokens,
SubQ logra un 65,9%.
Mientras tanto, Gemini 3.1 Pro se desploma a
un 26,3%.
Opus 4.7 saca un 32,2%.
Y GPT-5.4 llega a un 36,6.
O sea, SubQ prácticamente dobla a los mejores
modelos densos del mercado en razonamiento complejo.
Es que los transformers tradicionales se saturan por
el ruido de fondo.
SubQ aísla la señal tan bien que su
cadena lógica no se rompe.
Y en ingeniería de software real, en el
SW Bench Verified, saca un 81,8%.
Y aquí es donde la cosa se pone
muy interesante.
A ver, pregunta para quienes nos escuchan.
¿Cuántas veces habéis subido un documento larguísimo a
una IA y os ha devuelto un resumen
súper genérico?
¿O directamente se ha inventado un dato crucial
porque perdió el hilo a mitad de camino?
Esa amnesia es el pan de cada día
en las empresas.
Por primera vez vemos que el contexto funcional
de verdad alcanza el contexto nominal.
Todo esto suena muy bien en el laboratorio,
pero ¿cómo se traduce al mundo real y
al mercado?
Porque SubQ ya no es un proyecto de
investigación.
No, no.
Es una realidad comercial con una infraestructura masiva
detrás.
Hablemos de esa capacidad real.
12 millones de tokens.
Para hacernos una idea, eso equivale a cargar
toda la biblioteca estándar de Python 3.13, que
son unos 5 millones de tokens.
O podrías meter 6 meses enteros de revisiones
de código de React, que son 7 millones
y medio.
En un solo prompt.
Y todavía te sobra espacio.
Es alucinante.
Pero entrenar algo así no debe ser nada
fácil, ¿no?
Han tenido que inventar casi una metodología nueva,
en tres fases.
Primero el pre-entrenamiento clásico, luego un ajuste fino
supervisado, el SFT, para que aprenda a estructurar
respuestas tan gigantescas.
Y la tercera fase.
El aprendizaje por refuerzo, o RL.
Y esto es crucial para evitar que la
IA se vuelva perezosa.
¡Perezosa!
Sí, cuando le metes millones de palabras a
un modelo estadístico, tiende a mirar solo el
principio y el final del texto y pasa
olímpicamente del medio.
Con el aprendizaje por refuerzo castigan algorítmicamente esa
pereza, obligándola a buscar la evidencia esté donde
esté.
Increíble.
Y ya tienen productos en la calle.
Tienen la API de SubQ para empresas, tienen
SubQ Code, que es un agente de programación
que funciona en la terminal sobre repositorios enteros.
Y SubQ Search, que es como un buscador
interno corporativo, pero súper rápido.
Claro.
Y hay un respaldo corporativo muy fuerte detrás.
Justin D'Angelo de CEO, Alex Whedon de CTO
y un equipo de gente que viene de
Meta, Google y Oxford.
Y han levantado 29 millones de dólares en
capital semilla.
Inversores de OpenAI, de Antropic, el cofundador de
Tinder.
O sea, hay dinero serio apostando a que
la era de la atención cuadrática se ha
acabado.
Entonces, a nivel práctico, ¿qué significa todo esto?
Pues que estamos pasando de tratar a la
IA como un buscador donde tienes que pedir
las cosas a trocitos, a tener a un
experto que puede descargarse toda la historia de
tu empresa en el cerebro al instante.
Al estilo Matrix, tal cual.
Exacto.
Yo me descargo el Kung Fu y la
IA se descarga los últimos 20 años de
contabilidad.
Y lo que lo cambia todo es la
viabilidad económica.
Al escalar de forma lineal, el coste baja
radicalmente.
Hablamos de una quinta parte del coste de
los líderes actuales.
Proyectos que antes eran imposibles por presupuesto, ahora
son el nuevo estándar.
Esto plantea un escenario alucinante para el futuro
del trabajo corporativo.
Desde luego.
Y esto plantea una pregunta importante.
Si ahora tenemos modelos que no olvidan nada,
que no pierden el contexto, y que pueden
mantener el estado completo de un contrato masivo
en su memoria a una fracción del coste,
¿qué pasará con gran parte del trabajo humano
que hoy consiste pura y exclusivamente en resumir,
organizar y recordar el contexto a otros humanos
en reuniones interminables?
Uf, telita con esa pregunta.
Nos deja mucho en lo que pensar para
el futuro de las oficinas.
Sin duda.
Vienen curvas.
Antes de despedirnos hasta el próximo programa, os
informamos de que las voces que oyes han
sido generadas por la IA de Notebook LM
y que dirigiendo el podcast se encuentra Julio
Pablo Vázquez, un humano que te envía saludos.
En caso de error, probablemente sean errores humanos.
Nos escuchamos.
Y hasta aquí el episodio de hoy.
Muchas gracias por tu atención.
Esto es BIMPRAXIS.
Nos escuchamos en el próximo episodio.
¡Suscríbete al canal!