Buenas, esto es BIMPRAXIS, el podcast donde el
Download transcript (.srt)
0:10
0:15
0:20
0:23
0:26
0:28
0:37
0:40
0:42
0:45
0:49
0:51
0:52
0:55
0:58
0:59
1:02
1:04
1:06
1:09
1:11
1:12
1:17
1:20
1:21
1:24
1:27
1:28
1:30
1:31
1:32
1:35
1:38
1:41
1:43
1:44
1:46
1:48
1:51
1:53
1:55
1:56
1:58
2:01
2:04
2:06
2:08
2:11
2:14
2:17
2:18
2:22
2:25
2:27
2:30
2:32
2:33
2:36
2:39
2:41
2:43
2:45
2:48
2:49
2:50
2:52
2:54
2:56
2:58
3:01
3:03
3:04
3:05
3:08
3:11
3:13
3:15
3:18
3:22
3:23
3:24
3:26
3:29
3:31
3:34
3:36
3:37
3:41
3:43
3:45
3:46
3:48
3:50
3:51
3:53
3:57
3:59
4:02
4:05
4:07
4:08
4:10
4:12
4:12
4:14
4:15
4:17
4:19
4:21
4:24
4:27
4:30
4:32
4:34
4:37
4:37
4:41
4:43
4:45
4:47
4:48
4:50
4:51
4:52
4:55
4:59
5:01
5:02
5:04
5:07
5:09
5:11
5:13
5:14
5:14
5:17
5:19
5:20
5:22
5:23
5:25
5:27
5:30
5:31
5:33
5:34
5:37
5:40
5:41
5:44
5:46
5:49
5:53
5:55
5:57
5:59
6:02
6:05
6:06
6:09
6:11
6:13
6:15
6:16
6:18
6:21
6:22
6:24
6:26
6:30
6:31
6:32
6:35
6:38
6:40
6:43
6:45
6:48
6:50
6:53
6:57
6:59
7:01
7:02
7:05
7:07
7:09
7:11
7:14
7:16
7:17
7:19
7:22
7:25
7:26
7:27
7:30
7:32
7:33
7:34
7:35
7:36
7:37
7:40
7:43
7:46
7:50
7:53
7:55
7:58
8:00
8:03
8:05
8:06
8:08
8:11
8:12
8:13
8:16
8:19
8:21
8:23
8:24
8:27
8:28
8:29
8:31
8:33
8:36
8:39
8:41
8:44
8:46
8:49
8:52
8:55
8:56
8:57
8:59
9:02
9:03
9:05
9:08
9:10
9:13
9:17
9:20
9:24
9:26
9:27
9:30
9:31
9:33
9:36
9:36
9:38
9:39
9:42
9:46
9:48
9:50
9:53
9:55
9:58
10:01
10:04
10:08
10:11
10:12
10:15
10:18
10:19
10:21
10:23
10:24
10:27
10:29
10:31
10:32
10:34
10:35
10:37
10:40
10:41
10:44
10:46
10:47
10:50
10:52
10:55
10:58
11:00
11:01
11:03
11:06
11:08
11:10
11:12
11:14
11:16
11:17
11:19
11:21
11:24
11:26
11:28
11:30
11:32
11:35
11:37
11:39
11:40
11:43
11:45
11:46
11:48
11:51
11:52
11:55
11:58
12:01
12:04
12:05
12:06
12:08
12:10
12:13
12:16
12:18
12:19
12:22
12:24
12:26
12:27
12:30
12:32
12:35
12:36
12:39
12:42
12:44
12:46
12:49
12:50
12:51
12:54
12:58
13:00
13:03
13:05
13:06
13:08
13:11
13:14
13:16
13:17
13:19
13:22
13:24
13:25
13:28
13:29
13:32
13:34
13:34
13:36
13:38
13:41
13:43
13:44
13:46
13:49
13:52
13:54
13:57
13:59
14:02
14:04
14:06
14:08
14:09
14:11
14:14
14:15
14:17
14:21
14:22
14:23
14:25
14:29
14:31
14:33
14:35
14:36
14:37
14:39
14:41
14:45
14:47
14:50
14:53
14:53
14:54
14:56
14:59
15:01
15:04
15:05
15:06
15:09
15:12
15:14
15:16
15:17
15:18
15:21
15:24
15:26
15:27
15:29
15:31
15:34
15:36
15:38
15:40
15:41
15:44
15:45
15:47
15:49
15:49
15:52
15:55
15:56
15:59
16:00
16:01
16:03
16:04
16:06
16:07
16:10
16:11
16:13
16:15
16:17
16:20
16:22
16:23
16:25
16:27
16:30
16:31
16:33
16:34
16:37
16:39
16:41
16:43
16:45
16:48
16:51
16:52
16:55
16:58
17:01
17:01
17:04
17:07
17:09
17:11
17:14
17:15
17:16
17:18
17:21
17:24
17:27
17:29
17:31
17:32
17:35
17:39
17:41
17:44
17:47
17:51
17:54
17:55
17:57
18:00
18:03
18:06
18:08
18:12
18:15
18:17
18:19
18:21
18:23
18:25
18:27
18:31
18:31
18:34
18:38
18:42
18:45
18:47
18:48
18:50
18:53
18:55
18:57
19:00
19:03
19:06
19:19
19:21
19:34
BIM se encuentra con la inteligencia artificial.
Exploramos la ciencia, la tecnología y el futuro
desde el enfoque de la arquitectura, ingeniería y
construcción.
¡Empezamos!
Muy buenas, bienvenidas, bienvenidos a un nuevo episodio
de BIMPRAXIS.
Hoy os traemos una inmersión profunda en cómo
reducir drásticamente los costes y tiempos de espera
de los grandes modelos de lenguaje, gracias a
GPT-Caché.
Y la verdad es un tema fascinante porque
ataca directamente a la viabilidad económica de la
inteligencia artificial.
Bueno, y para arrancar este análisis, vamos a
plantear una situación.
Imaginemos por un momento que contratamos al consultor
más brillante del planeta para un negocio.
Uno que tiene respuestas para todo, claro.
Exacto.
Respuestas súper precisas, articuladas para cualquier problema imaginable.
Pero hay un pequeño gran inconveniente en el
contrato.
Y es que este genio cobra una tarifa
exorbitante por cada sílaba exacta que sale de
su boca.
Uf, menudo peligro para la cuenta del banco
de la empresa.
Totalmente.
Y además, como tiene que pensar meticulosamente cada
respuesta, pues se toma su tiempo para formular
las frases en tiempo real y mientras los
clientes esperando en la línea.
Claro.
Y el problema de verdad llega cuando tienes
a miles de personas entrando por la puerta
y preguntándoles exactamente la misma duda rutinaria.
O sea, cosas como, no sé, el horario
de apertura de la tienda, por ejemplo.
Eso es.
Si la empresa le paga a este consultor
por generar esa misma respuesta, desde cero, una
y otra vez, la bancarrota está asegurada.
Pues de eso va nuestra misión de hoy.
Queremos entender la arquitectura que se está implementando
para resolver esta crisis de escalabilidad.
Y es que esa analogía del consultor ilustra
con una precisión tremenda el problema económico fundamental
de la infraestructura actual.
Depender de las APIs de estos modelos masivos
impone un modelo de negocio que, sinceramente, rompe
con la lógica del software tradicional.
Porque antes, si una web recibía más visitas,
pues añadías servidores y listo, ¿no?
Claro.
Añadías servidores, optimizabas bases de datos y el
coste marginal por usuario bajaba radicalmente.
Pero con la IA generativa, la curva de
costes no se aplana tan fácilmente.
Crece de forma constante y lineal.
O sea, a más uso, la factura sube
proporcionalmente.
Exactamente.
Y la inmensa mayoría de estos proveedores cobran
en base a una combinación de peticiones y
del recuento de tokens.
Para que no lo tenga fresco, un token
viene a ser como una unidad de computación,
más o menos un fragmento de palabra o
una palabra corta.
Sí, eso es.
Y ese peaje económico por cada palabra generada
es solo uno de los dos muros contra
los que chocan los desarrolladores hoy en día.
El segundo muro, entiendo, es el que afecta
directamente a la paciencia de la audiencia, la
latencia, esa lentitud desesperante cuando el sistema se
satura.
Totalmente.
Y el origen de esa lentitud reside en
la propia naturaleza de los algoritmos, porque estos
grandes modelos son sistemas autoregresivos.
Es decir, que no tienen la respuesta completa
guardada en un disco duro lista para mandártela.
Qué bar que va.
La máquina calcula matemáticamente, basándose en el contexto
previo, cuál es la siguiente palabra más probable.
Claro, va palabra por palabra.
Eso es.
La decide, la añade al texto y vuelve
a hacer todo el cálculo masivo para predecir
la que viene después.
Madre mía, es que viéndolo así es un
proceso iterativo que exige una potencia bruta espectacular.
Y por eso cuando una aplicación se hace
viral y miles de personas exigen esa computación
a la vez, no solo sube la factura,
sino que la infraestructura corre un riesgo real
de colapsar.
Y ahí es cuando los proveedores imponen los
famosos rate limits, ¿verdad?
Exacto.
Te ponen un límite estricto de peticiones por
minuto.
Si te pasas, pues quien esté usando tu
app se come una pantalla de error.
Bueno, pues todo este drama técnico nos lleva
directos al núcleo de la investigación de hoy,
la propuesta de valor de GPT-Caché, que es
un proyecto de código abierto diseñado precisamente para
situarse en medio.
Como una capa intermedia entre la aplicación que
desarrollas y el modelo de lenguaje externo.
Eso es.
Y su objetivo es construir una caché semántica.
Y fíjate, los números que arroja la documentación
técnica son una locura.
Prometen reducir el coste de la API hasta
10 veces.
Y acelerar la velocidad de respuesta hasta 100
veces.
Es una barbaridad.
Es un cambio de paradigma total.
Pero, ¿cómo logran exactamente esas cifras de rendimiento?
Pues el principio básico es evitar el trabajo
redundante.
Al interceptar las peticiones y entregar respuestas que
ya tienen almacenadas localmente, el sistema corta de
raíz el consumo de tokens.
Claro, porque no tienes que enviar la petición
al servidor ajeno y esperar a que la
IA piense.
Exacto.
Y al no hacer ese cálculo autoregresivo, la
latencia, o sea el tiempo de espera, se
desploma.
Y además, te libras casi por completo de
los problemas de los límites de tasa que
comentábamos antes.
A ver, el concepto de guardar respuestas pasadas
para ahorrar recursos tiene una lógica aplastante.
Es el mecanismo de la memoria Caché de
toda la vida, vamos.
De toda la vida, sí.
La informática lleva décadas usándolo con muchísimo éxito.
Pero claro, aplicarlo a la inteligencia artificial tiene
que ser otra historia.
Porque el lenguaje humano es de todo menos
un bloque de código predecible.
Es un caos organizativo enorme.
Está lleno de sinónimos, de expresiones coloquiales, de
intenciones implícitas.
Y por ese caos supongo que las caches
tradicionales no sirven aquí, ¿no?
Fracasan estrepitosamente, sí.
Una Caché web convencional funciona buscando una coincidencia
exacta.
Busca si la petición nueva es idéntica, letra
por letra, a algo que ya tiene guardado.
Como cuando guarda el logotipo de una web
para que cargue rápido la segunda vez.
Eso es.
En una web estática, eso vale.
Pero al interactuar con lenguaje natural, la variabilidad
es casi infinita.
O sea, pongamos un ejemplo.
Si alguien quiere saber cómo configurar el control
parental en el móvil, puede escribir cómo activar
control para niños en el móvil.
Claro.
Y a los dos minutos, otra persona con
el mismo problema teclea pasos para bloquear contenido
adulto en smartphone.
O tutorial configuración parental teléfono.
Y al final, las tres frases persiguen exactamente
el mismo objetivo práctico.
Sí, pero para un sistema de caché clásico
basado en coincidencias exactas.
Esas tres entradas son consultas completamente dispares.
Ostras, ¿no se da cuenta de que la
intención de fondo es la misma?
Que va.
Procesaría cada frase como algo totalmente nuevo.
Dejaría pasar la petición a la API y
la empresa pagaría tres veces por generar tres
variaciones de la misma guía.
Entonces, ¿la tasa de acierto sería tan baja
que no compensaría tener la caché?
Exactamente.
Y es frente a esta limitación técnica donde
entra la gran innovación de GPT-Caché, que es
dar el salto del análisis sintáctico al análisis
semántico.
Entiendo.
En lugar de buscar letras idénticas, agrupa consultas
que comparten el significado de fondo.
Eso es.
Vale, pero espera, espera.
Aquí tengo que hacer de abogada del diablo
por un momento.
Adelante, dime.
Si la base de datos local que almacena
esta caché no es una red neuronal masiva
y no está pensando o comprendiendo el lenguaje
en tiempo real, ¿cómo demonios sabe matemáticamente que
dos frases totalmente distintas significan lo mismo?
Es la gran pregunta, desde luego.
O sea, ¿cómo sabe que felino doméstico y
gato operan en la misma categoría si no
está analizando la sintaxis de las letras?
Pues la magia de todo esto reside en
su diseño modular.
El procesamiento se hace por pasos.
Y el primer eslabón crucial es el generador
de embeddings.
Los famosos embeddings.
Sí, que en lenguaje llano de ingeniería, un
embedding no es más que un vector numérico.
Este módulo coge la frase escrita por el
usuario y la traduce a una lista de
números reales.
O sea, convierte las palabras en coordenadas matemáticas,
por así decirlo.
Exacto.
Y usa modelos muy ligeros que ya han
sido entrenados leyendo millones de textos.
Así han aprendido que gato y felino suelen
aparecer rodeados del mismo vocabulario y les asignan
una representación matemática muy similar.
Vale, a ver si lo visualizo.
Es como tener un bibliotecario un poco especial,
que tiene una capacidad de organización distinta.
No ordena los libros por orden alfabético, sino
en un mapa enorme de coordenadas conceptuales.
Me gusta esa analogía.
Es muy visual.
Entonces, si alguien le pide algo sobre vehículos
de combustión, el bibliotecario no va a la
letra V.
Piensa en el concepto y lo archiva en
la latitud 40, longitud 12 del mapa.
¿Y si al día siguiente llega otra persona
y pide información sobre coches de gasolina?
Pues el bibliotecario hace su cálculo y resulta
que las coordenadas vuelven a ser latitud 40,
longitud 12, frases distintas, pero acaban habitando el
mismo punto exacto del mapa matemático.
Lo has clavado.
Esa es exactamente la lógica de la agrupación
espacial.
Aunque, por ponernos un poco tiquismiquis con la
parte técnica, este mapa no tiene solo dos
dimensiones.
Claro, no es solo latitud y longitud.
¡Qué va!
Los espacios vectoriales en el procesamiento de lenguaje
operan con cientos o miles de dimensiones simultáneas.
Cada dimensión puede ser el tono, la formalidad,
o sea, mil matices.
Y para gobernar un mapa tan salvaje, he
visto en las fuentes que GPT-Caché usa su
segundo componente, el almacén de vectores o VectorStore.
Sí, y se integran con bases de datos
especializadas de alto rendimiento, como Milbus o Fais.
Están hechas exclusivamente para guardar millones de estos
puntos y calcular distancias entre ellos en fracciones
de milisegundo.
Vale, tenemos el generador, que traduce las palabras
a puntos, y el almacén ultra rápido que
guarda la ubicación.
Y a eso hay que sumarle el almacenamiento
de caché estándar, claro.
Que entiendo que es una base de datos
normal, tipo Postgres o SQLite, que guarda el
texto real de la respuesta.
El párrafo jugoso que queremos devolver, vamos.
Eso es.
Pero me sigue faltando una pieza en el
rompecabezas.
Si el almacén detecta que la coordenada de
la pregunta nueva está cerca de una antigua,
tiene que haber un árbitro.
Alguien que decida si esa cercanía es suficiente
para reciclar la respuesta o si están muy
separados.
Ah, el juez definitivo de la transacción.
Ese módulo es el evaluador de similitud.
¿Y cómo toma la decisión ese juez?
Pues aplica algoritmos de distancia espacial.
Uno muy típico es calcular la similitud del
coseno.
En vez de medir los centímetros imaginarios entre
dos puntos, mide el ángulo que se forma
trazando líneas desde el centro del mapa a
las dos coordenadas.
Ah, entiendo.
Si el ángulo es muy cerrado, casi cero,
es que apuntan en la misma dirección semántica.
Exacto.
Y si el ángulo es muy amplio, pues
representan conceptos desconectados.
Quien programa esto configura un umbral estricto y
si se supera, el evaluador frena la petición
a la API externa y saca la respuesta
de la base de datos local.
Fíjate que todo este entramado técnico ya me
parece una pasada para el texto escrito.
Pero es que la utilidad se multiplica por
mil cuando pensamos en otros formatos, en la
multimodalidad.
Claro, porque hoy en día la IA también
genera audios y sobre todo imágenes.
Exacto.
Y la documentación del proyecto muestra que esta
lógica vectorial ya se está adaptando para interactuar
con modelos de imágenes.
Y ahí el ahorro económico y energético es
un salto cualitativo brutal.
Generar una ilustración original en alta resolución exige
muchísimo más esfuerzo a las tarjetas gráficas que
redactar un par de párrafos.
Claro.
Si alguien pide un bosque encantado al atardecer
bajo la lluvia y a las dos horas
otra persona pide árboles mágicos lloviendo durante la
puesta de sol… El evaluador de similitud verá
que los vectores son casi idénticos.
Y te silbe la imagen que ya tenía
generada de forma instantánea.
Evitas que los algoritmos pesados de imagen se
reactiven y gasten recursos.
Y además de para los usuarios, a nivel
de ingeniería esto transforma la forma de trabajar.
Las guías insisten mucho en su uso para
entornos de prueba, los famosos sandboxes.
Claro.
Al desarrollar una app conectada a la nube,
tienes que lanzar miles de peticiones automáticas para
ver si tu código aguanta el estrés.
Y pagar las tarifas de los proveedores masivos
solo para diagnosticar errores de desarrollo, pues te
arruina.
Totalmente.
Con la caché simulando las respuestas, pruebas todo
a máxima velocidad sin gastar dinero real.
Pero volviendo al producto final, hay un mecanismo
de control que me parece súper interesante.
La temperatura.
Ah, sí.
La temperatura es la palanca que te permite
ajustar directamente la rigidez de la caché.
Normalmente va del 0.0 al 2.0.
¿Y si lo configuras a cero, qué pasa
exactamente?
Pues que priorizas la eficiencia absoluta.
Si la pregunta entrante supera el umbral matemático
de similitud, te devuelve la respuesta local sí
o sí.
Lo cual tiene todo el sentido si buscas
predictibilidad total.
Por ejemplo, en un sistema de recursos humanos
que explica cuántos días de vacaciones tienes en
la empresa.
Claro.
Si 100 empleados te preguntan por las vacaciones,
tu objetivo es dar la misma información normativa,
rápida y barata.
No quieres variaciones creativas.
¿Pero qué pasa si hablamos de una herramienta
para redacción creativa o un asistente para buscar
nombres originales para productos nuevos?
Ahí reciclar respuestas te destruye el producto.
O sea, si pido cinco ideas disruptivas para
una marca de café y me da el
mismo listado que generó para mi competencia la
semana pasada, pues vaya asistente.
¿Pierde toda su utilidad?
En esos casos elevas la temperatura al máximo,
cerca del 2.0.
Así el sistema ignora la caché local y
obliga a la API a generar algo completamente
original.
Asumiendo el coste y el tiempo, obviamente.
Equilibras la repetición eficiente y la creatividad bajo
demanda.
Exacto.
Pero bueno, toda arquitectura basada en ángulos y
probabilidades tiene que tener sus riesgos, ¿no?
Las cachés tradicionales, si no encuentran la letra
exacta, fallan y punto.
Pero un sistema semántico se puede equivocar al
juzgar.
Y tanto.
Por eso la supervisión de estas cachés exige
un análisis muy riguroso.
Los desarrolladores luchan principalmente contra dos cosas, los
falsos negativos y los falsos positivos.
Empecemos por los falsos negativos.
Eso es una penalización económica pura y dura,
¿verdad?
Exacto.
Ocurre cuando el algoritmo no se da cuenta
de que dos frases distintas significan lo mismo.
Así que manda la petición a la red
externa, aunque tenía la respuesta guardada, y pagas
de nuevo por generarla.
Sí.
Quien interactúa con la pantalla recibe una respuesta
válida, pero la cuenta bancaria de la empresa
sufre por esa ineficiencia.
¿Y el falso positivo?
Ese es el que te genera un fallo
de integridad.
Pasa cuando el sistema agrupa por error dos
preguntas que usan palabras parecidas, pero la intención
es totalmente distinta.
¡Ostras!
Y al hacer eso, rescata de la memoria
una respuesta errónea o fuera de contexto.
Y entregar información fuera de lugar daña irreparablemente
la confianza en el sistema.
Por eso entiendo que la industria evalúa esto
con tres indicadores clave, que la documentación detalla
muy bien.
Sí, el primer gran indicador es la tasa
de acierto, o hit ratio.
Que viene a ser una métrica directa de
cuánto estás ahorrando, ¿no?
Eso es.
Expresa estadísticamente el porcentaje de peticiones que has
resuelto solo con la base de datos local,
sin tocar la API.
Es el termómetro principal de ahorro de costes.
Vale.
Y el segundo indicador he visto que es
la latencia.
Que se mide en milisegundos.
Es el tiempo total de todo el proceso
interno.
Convertir texto a vector, buscar coordenadas, medir el
ángulo y sacar el texto.
Claro.
Si todo ese papeleo interno genera un cuello
de botella y la latencia supera el tiempo
que tardaría el modelo externo… Pues apaga y
vámonos, porque el propósito de la caché queda
anulado.
O sea que la tasa de acierto es
el dinero que nos ahorramos y la latencia
es lo rápido que conseguimos que desaparezca el
ícono de cargando en la pantalla.
Me gusta ese resumen.
¿Y cuál sería el tercer indicador?
El tercer pilar es la exhaustividad, lo que
en inglés llaman recall.
Es para evaluar la precisión general.
¿Y cómo funciona exactamente?
Evalúa cuántas veces el sistema sirvió la respuesta
correcta desde su base de datos frente a
la cantidad total de veces que, matemáticamente, debería
haberlo hecho.
Ah, o sea, le garantiza que el umbral
de similitud está bien calibrado para no dejar
escapar esos falsos negativos que decíamos antes.
Exacto.
Lograr atrapar y reciclar la inmensa mayoría de
las preguntas sin gastar a lo tonto.
Fíjate que analizando el volumen de ingeniería que
hay detrás de todo esto, me doy cuenta
de algo muy profundo sobre la evolución de
la IA.
A ver, cuéntame.
Pues que mediáticamente todo el mundo habla de
construir redes neuronales cada vez más inmensas para
generar textos hipercomplejos en tiempo real.
Pero con herramientas como GPT-Caché apuntamos a una
estrategia totalmente opuesta.
En no usarlas, vaya.
Exacto.
La máxima prioridad arquitectónica para que estos negocios
sobrevivan es, paradójicamente, no tener que utilizar esa
espectacular capacidad de generación en tiempo real.
Es un desafío de diseño fascinante.
Dedicamos capitales ingentes a entrenar el razonamiento de
la máquina para inmediatamente destinar esfuerzos brutales a
desarrollar engranajes que impidan que razone.
Totalmente.
Y a medida que estas caches semánticas a
nivel global se sigan expandiendo y absorbiendo miles
de millones de interacciones… Es lógico prever que
el porcentaje de respuestas creadas verdaderamente desde cero
en ese instante se reducirá al mínimo.
El poder computacional puro se quedará solo para
instrucciones muy excepcionales o preguntas súper originales.
Sí, sí, combinaciones inéditas.
Y esto sugiere un horizonte donde nuestra experiencia
diaria con la IA cambiará.
Igual ya no estamos charlando con un mecanismo
que genera activamente ideas nuevas de la nada.
Sino que el sistema se convierte en una
vasta arquitectura de memoria artificial ultra optimizada.
Exacto.
La mayoría de las veces estaremos conversando con
un archivo monumental que simplemente recicla, ordena y
nos devuelve los fragmentos congelados de respuestas pasadas.
Dejamos esta reflexión sobre el futuro del almacenamiento
del conocimiento para que la audiencia le dé
unas cuantas vueltas.
Da que pensar, desde luego.
Antes de despedirnos hasta el próximo programa os
informamos de que las voces que oyes han
sido generadas por la IA de Notebook LM
y que dirigiendo el podcast se encuentra Julio
Pablo Vázquez un humano que te envía saludos
En caso de error probablemente sean errores humanos
¡Nos escuchamos!
Y hasta aquí el episodio de hoy Muchas
gracias por tu atención Esto es BIMPRAXIS Nos
escuchamos en el próximo episodio ¡Suscríbete al canal!