E099_Entrenar un modelo desde cero en local. Angelos Perivolaropoulos, ElevenLabs

Buenas, esto es BIMPRAXIS, el podcast donde el

BIM se encuentra con la inteligencia artificial.

Exploramos la ciencia, la tecnología y el futuro

desde el enfoque de la arquitectura, ingeniería y

construcción.

¡Empezamos!

Muy buenas, bienvenidas, bienvenidos a un nuevo episodio

de BIMPRAXIS.

Hoy os traemos cómo entrenar tu propio modelo

de inteligencia artificial desde cero y en tu

portátil.

Que suena a ciencia ficción, la verdad.

Totalmente.

Porque, a ver, imaginad por un momento el

cerebro tecnológico que da vida a asistentes como

ChatGPT o Cloud.

Yo estoy segura de que la imagen mental

que se os viene a la cabeza es

un rascacielos blindado.

Claro, un centro de datos enorme.

Eso es.

Lleno de servidores, parpadeantes, zumbando a toda potencia.

Y, bueno, consumiendo casi la misma energía que

toda una ciudad pequeña.

Sí, sí, parece magia negra tecnológica.

Algo que está reservado solo para un club

hiperexclusivo de corporaciones billonarias.

Pues bien, hoy vamos a destruir ese mito

por completo.

Vamos a coger ese cerebro inalcanzable y lo

vamos a meter dentro del mismo portátil normal

y corriente que usáis habitualmente para ver series

en Netflix.

Y, ojo, es crucial subrayar que esto no

es un experimento mental o una ida de

olla teórica.

Todo este análisis nace de una clase magistral.

Que es absolutamente fascinante.

Flipante, sí.

Impartida por Ángelos Peribolaropoulos, que es ingeniero de

investigación en Eleven Labs.

Casi nada.

Ya ves.

Pero, bueno, creo que es vital establecer las

expectativas correctas desde el minuto uno para quienes

nos escuchan hoy.

No vamos a construir el próximo sistema hiperavanzado

de inteligencia artificial en el salón de casa.

Claro, no vamos a sacar el GPT -5

hoy.

Exacto.

Lo que Ángelos hace en su taller es

construir un modelo que llamamos pequeño.

De unos 1 ,8 millones de parámetros.

Que, comparado con los billones de hoy en

día, es enano.

Es diminuto, sí.

Y lo hace utilizando herramientas gratuitas de estar

por casa, como Python, PyTorch y la arquitectura

clásica de un modelo como GPT -2.

O sea, el valor real de desgranar esto

a fondo hoy no es que aprendamos a

teclear código en directo y montemos una startup.

No, para nada.

El objetivo es abrir el capó de la

tecnología.

¿Qué es la tecnología?

Queremos entender tuerca.

Explica a tuerca y paso a paso cómo

aprenden a hablar las máquinas.

Quitarle por fin ese aura místico y casi

incomprensible que tiene la IA.

Ese es exactamente el objetivo.

Vale, pues vamos a desgranar esto.

Y el primer paso lógico, a ver, antes

de que una máquina empiece a pensar, a

predecir o a redactar ensayos, es enseñarle a

leer.

Fundamental.

Pero claro, los ordenadores son pésimos con la

literatura.

No entienden de comas, no entienden de metáforas,

ni siquiera entienden las...

Las letras.

Solo ven números.

Eso es.

Entienden puramente de números.

Así que la primera gran pieza de este

rompecabezas es el tokenizador o tokenizer en inglés.

Que es una pieza clave.

Y Ángel os cuenta un detalle increíble en

la charla.

Y es que en laboratorios de élite, como

Eleven Labs, los ingenieros pueden tirarse, literalmente, meses

enteros debatiendo y afinando exclusivamente el tokenizador.

Sí, sí, meses.

Mucho antes de siquiera tocar la estructura matemática

del celebro del modelo.

Es que el impacto de esa decisión inicial

es colosal.

Condiciona absolutamente todo lo que viene después.

Piensa en el tokenizador como el puente diplomático

o el traductor oficial entre nuestro mundo lingüístico,

que es súper complejo, y su mundo puramente

matemático.

Vale.

Un modelo de lenguaje no ve palabras.

Ve lo que llamamos embeddings, que son vectores

o secuencias numéricas inmediatas.

Inmensas.

Ya.

Y en el experimento de este portátil, para

no complicar las cosas, Ángel os opta por

lo más rudimentario de todo, que es una

tokenización a nivel de carácter.

Letra a letra.

Eso es.

Es decir, el diccionario completo de nuestro modelo

tiene únicamente 65 tokens o piezas posibles.

Las 26 letras del alfabeto en mayúsculas y

minúsculas, espacios y algo de puntuación básica.

Claro, súper reducido.

Exacto.

Computacionalmente hablando, para un portátil de 16 letras,

es un poco más difícil.

Y para un portátil de 16 gigas de

memoria RAM, esto es maravilloso porque es ligerísimo.

Vale.

A ver si lo entiendo bien.

Esto es como intentar leer el Quijote, pero

en lugar de poder procesar párrafos o palabras

de un vistazo, estás obligado a leer literalmente

letra por letra.

Tal cual.

Ves la E, luego ves la N, luego

encuentras un espacio, y así.

Con esa miopía tan extrema, te va a

costar horrores saber de qué va la novela.

Es una carga cognitiva brutal.

Claro.

Tienes que adivinar y mantener en tu memoria

que la B, seguida de la L… …

y de la U, termina formando el concepto

del color blue en inglés.

Sí.

Entonces, te pregunto, ¿es esta tremenda miopía la

razón por la que los modelos tan pequeños

se pierden por completo cuando intentas mantener una

conversación amplia y compleja con ellos?

Has dado en el clavo, totalmente.

La distancia cognitiva para relacionar, por ejemplo, un

artículo como él con el sujeto cielo y

luego con el adjetivo azul es matemáticamente enorme

si el pobre modelo está obligado a procesar

saltando de letra en letra.

Es que no da abasto.

Claro.

Por eso, ¿cómo resuelven esto los gigantes de

la industria en la vida real?

Pues no usan caracteres sueltos.

Usan un algoritmo llamado BPE, o Byte -Pair

-Encoding.

BPE.

Vale.

Y aquí es donde la ingeniería de datos

se pone fascinante.

El BPE no le entrega al modelo un

diccionario predefinido por humanos de, oye, estas son

las palabras que existen.

Ah, no.

No, no.

Lo que hace es coger montañas gigantescas de

texto puro.

Y empieza a buscar, de manera automática e

iterativa, qué combinaciones de bytes o de letras

se repiten más a menudo.

Espera, vamos a detenernos ahí.

¿Cómo funciona exactamente esa búsqueda iterativa en la

práctica?

Ponme un ejemplo.

A ver, imagina que el algoritmo analiza miles

de libros y nota estadísticamente que la letra

E y la letra N aparecen juntas constantemente.

Vale, tiene sentido.

Pues el sistema coge y las fusiona y

crea un nuevo token único, que es el

token EN.

Luego hace una segunda pasada de lectura por

todo el texto y ve que ese nuevo

token, EN, suele ir seguido de un espacio

y de la letra U.

¡Ostras!

¿Y las vuelve a fusionar?

Las vuelve a fusionar.

Este proceso se repite miles y miles de

veces.

Si el texto de entrenamiento es, por ejemplo,

código de programación en Python, palabras enteras y

repetitivas como enumerate o print dejan de ser

letras sueltas.

Claro, ya no son la P, la R,

la I.

Exacto.

Pero acaban convirtiéndose en un único número, en

un solo token macizo.

Claro, lo veo.

De esa forma, en vez de gastar diez

preciados espacios de tu memoria operativa en leer

la palabra enumerate letra por letra, la máquina

la procesa entera de un solo bocado.

Exactamente.

Comprime muchísimo la densidad de la información y,

como resultado directo, amplía enormemente el contexto que

el modelo puede recordar de una sola vez.

¡Qué listo!

Pero claro.

Eh… El trabajo tiene un precio a pagar

en términos de hardware que es brutal.

¡Aquí viene la trampa!

Claro.

Si hubieran intentado usar un vocabulario BPE profesional,

pongamos de 50 .000 tokens, en este experimento

casero, solo la tabla matemática inicial necesaria para

traducir esos 50 .000 tokens a vectores con

cientos de dimensiones habría requerido unos 19 millones

de parámetros.

¡Madre mía!

Solo para empezar, el portátil habría colapsado al

instante, se habría quedado sin memoria RAM antes

incluso de poder realizar el primer cálculo matemático

del modelo.

Es que ni arranca.

Ni arranca.

Por eso, para este ejercicio didáctico de la

charla, se conforman con los 65 caracteres básicos

y a correr.

¡Qué barbaridad!

O sea, la memoria del ordenador se iría

a pique antes de empezar.

Vale, entonces ya tenemos el texto humano, traducido

a números, a esos vectores gigantes.

Ahora, ¿dónde demonios se procesa y se mastica

toda esa ensalada de números?

Buena pregunta.

Y aquí dejamos el traductor y entramos en

la arquitectura del Transformer, que es literalmente el

motor de combustión de toda la inteligencia artificial

moderna.

Y según las fuentes, su núcleo duro es

un concepto muy concreto llamado mecanismo de atención.

Así es.

Si queremos usar el nombre técnico completo, los

ingenieros hablan de multi -head self -attention.

Atención multicabeza.

Eso es.

Cuando el cerebro del Transformer recibe esa enorme

secuencia de vectores matemáticos, necesita entender desesperadamente cómo

se relacionan entre sí dentro de la frase.

Vale.

El mecanismo de atención permite que mientras el

modelo procesa activamente la palabra banco, por ejemplo,

pueda mirar hacia atrás en el texto para

calcular matemáticamente si esa palabra venía de sentarse

en un o de robar en un.

Claro, el contexto lo cambia todo.

Cambia todo el significado.

Y se llama multicabeza porque el modelo no

hace esto una sola vez de forma lineal,

sino que lanza varias redes de atención en

paralelo simultáneamente.

Es como… Sí.

A ver, es como contratar a un equipo

de correctores para que lean el mismo texto

a la vez, pero cada uno tiene su

especialidad.

Me gusta esa analogía.

O sea, uno se fija obsesivamente en la

puntuación, otro busca que el sujeto y el

verbo concuerden en número, y otro se encarga

de analizar el tono emocional global del párrafo,

¿no?

Tal cual.

Lo has clavado.

Todas esas cabezas extraen relaciones invisibles de los

números.

Y una vez que tienen esos descubrimientos, entra

en acción la segunda parte vital de este

cerebro, que es el MLP.

Las redes feedforward.

¿Y esas qué hacen exactamente?

Imagina que toman todos los informes de esos

correctores que has mencionado, los organizan lógicamente y

dicen, de acuerdo, con todas estas relaciones matemáticas

sobre la mesa, ya estamos listos para predecir

qué letra viene después.

Entendido.

Y leyendo sobre esto, veo que todo este

flujo de datos está blindado por unos mecanismos

de seguridad matemáticos muy técnicos, destacando especialmente dos,

las conexiones residuales y la normalización de capas.

Esos son los salvavidas del sistema.

Es que las conexiones residuales me parecieron curiosísimas

en la documentación, porque actúan como una red

de seguridad espectacular.

Lo son, lo son.

Según entiendo, si el modelo hace un cálculo

profundo en una de sus capas, no tira

todo a la basura y empieza de cero

en la siguiente capa, sino que suma la

información de entrada original al nuevo descubrimiento.

Exacto.

Es como… A ver.

Es el equivalente a no quemar tus apuntes

de álgebra del año pasado cuando pasas al

siguiente curso, sino añadirle las fórmulas nuevas encima.

Totalmente.

Y, por otro lado, la normalización de capas

evita que los números exploten, impidiendo que un

simple valor de 0 ,5 acabe convertido en

10 millones tras varios cálculos y el portatil

salga ardiendo.

Es que es literal, ¿eh?

En las redes neuronales profundas, si te pones

a multiplicar números entre sí a lo largo

de 100 capas consecutivas… …los valores tienden al

infinito o al cero absoluto, con una rapidez

aterradora.

Claro, el efecto bola de nieve.

Eso es.

La normalización actúa literalmente como un termostato de

seguridad, manteniendo siempre todas las operaciones matemáticas, operando

dentro de un rango manejable para que el

sistema no colapse por su propio peso numérico.

Pero espera, aquí tengo que frenar y hacer

un poco de abogada del diablo.

A ver, dime.

Porque en la charla, Ángelos abre el archivo

con el código en Python de este famoso

transformer, y revela que son apenas unas cientos

de líneas de código.

Sí, es un archivo súper corto.

Todo el núcleo duro cabe en un par

de archivos de texto.

Entonces, mi duda es si la arquitectura base

es tan sorprendentemente simple porque existen saltos tan

gigantescos en capacidad entre un modelo antiguo y

los monstruos actuales.

Ya sé por dónde vas.

Claro, me refiero a esos modelos con ventanas

de contexto gigantes que son capaces de tragarse

un libro entero de una sentada.

¿Dónde está el truco si la receta base

que usan es idéntica a la del portátil?

Pues mira, esa es probablemente la pregunta técnica

más importante de la última década en este

campo.

La respuesta se resume en el problema del

escalado computacional.

Explícamelo un poco.

En este pequeño modelo entrenado en el portátil,

la ventana de contexto, que es el número

máximo de tokens que puede retener en la

memoria a la vez, es de sólo 256.

Es una ventana enana.

Es minúscula.

Cualquiera desde casa podría pensar por eso.

Pues oye, abro el código, borro el 256,

escribo un millón de tokens y ya tengo

un modelo súper avanzado.

No.

Claro, suena facilísimo.

O sea, ¿por qué no hacerlo y saltarnos

todo el problema?

Porque el maravilloso mecanismo de atención que acabamos

de alabar tiene un defecto fatal.

Y es que su coste computacional crece de

forma cuadrática, no lineal.

Ostras.

Para entender a la perfección el contexto, la

arquitectura requiere que cada token individual se compare

matemáticamente con absolutamente todos los tokens anteriores.

Ah, entiendo.

O sea, a ver, es como organizar una

cena.

Si sois cuatro personas sentadas a la mesa,

todos podéis escucharos sin problema cruzar miradas y

seguir el hilo de la conversación cruzada.

Claro, una charla fluida.

Pero si metes a, no sé, cien mil

personas de golpe en un estadio de fútbol

y exiges que cada persona escuche y preste

atención simultáneamente a lo que están diciendo las

otras 99 .999...

El caos absoluto.

El cerebro colapsa.

Es puro ruido ensordecedor.

Es una analogía magistral, de verdad.

Exactamente eso mismo ocurre dentro de los chips

de memoria de una tarjeta gráfica.

Un estadio virtual de cien mil tokens intentando

prestarse atención mutua requeriría terabytes y terabytes de

memoria RAM ultra rápida, que sencillamente no caben

físicamente en un solo ordenador.

Es físicamente imposible hoy en día.

Por eso, la verdadera gran revolución silenciosa de

los últimos años en empresas como Google u

OpenAI no ha sido reinventar la rueda del

Transformer, sino descubrir trucos de ingeniería matemática brutales.

¿Trucos de magia numérica?

Básicamente, algoritmos de optimización como Flash Attention que

logran que ese cálculo de atención cuadrático se

haga increíblemente rápido y gastando mucha menos memoria,

sin derretir los servidores.

Vale, ahora encaja todo.

Es como, a ver, es como saber fabricar

los planos de un computador.

Es como un motor de combustión básico de

hace un siglo frente a diseñar el motor

híbrido de un monoplaza de Fórmula 1 moderno.

Eso es.

La teoría subyacente del pistón es exactamente la

misma, pero la ingeniería de materiales y la

optimización de soporte que hay detrás lo cambian

absolutamente todo.

Totalmente.

Bien, pues ya tenemos nuestro cerebro Transformer montado

en el portátil, con su tokenizador listo y

sus capas alineadas, pero ahora mismo está totalmente

en blanco.

Es un lienzo vacío, sí.

Es decir, ni más ni menos que como

William Shakespeare.

Palabras mayores.

Así es, se le proporciona un conjunto de

datos muy célebre en este ámbito formativo, que

es un archivo de texto con un millón

de caracteres exactos extraídos de las obras de

Shakespeare.

Un millón, vale.

Y el objetivo que le marcamos matemáticamente a

la máquina es asombrosamente simple en la teoría.

Tiene que predecir el siguiente token de manera

autorregresiva.

Es decir, adivinar lo que viene.

Exacto.

Lee el fragmento anterior y adivina qué letra

tocaría ahora.

Pero el verdadero secreto aquí no es simplemente

vomitarle los datos encima, sino controlar científicamente cómo

de rápido le dejas aprender de sus propios

errores.

Claro, el ritmo importa.

Muchísimo.

Y ahí entra un concepto absolutamente vital, que

es la tasa de aprendizaje o Learning Rate,

que en este caso es gobernada por un

optimizador algorítmico llamado Adam W.

Uf, aquí es donde la cosa se pone

muy interesante para mí.

Porque revisando las fuentes, el concepto de la

tasa de aprendizaje me recordó muchísimo a esas

noches de universidad en las que te ponías

a estudiar para los exámenes finales a base

de café.

Ay madre, qué recuerdos.

¿Verdad?

O sea, si empiezas tu sesión de estudio

tomándote tres espresos dobles de golpe, lo que

equivaldría a una tasa de aprendizaje altísima en

el código, entras en pánico absoluto.

Te da taquicardia.

Te da taquicardia, tu mente va dando bandazos

de una idea a otra, y al final

no retienes ni un solo concepto claro.

Sí, sí, es un desastre.

Pues el optimizador Adam W., por el contrario,

actúa como un tutor inteligente que te va

dando el café poco a poco.

Me encanta.

Y empieza con un warm up, un calentamiento

muy suave.

Luego va subiendo el ritmo hasta llegar a

un pico óptimo donde estás súper concentrado aprendiendo

a toda velocidad.

Y después inicia un descenso lentísimo, un cosine

decay.

Eso es.

Va relajando la presión a medida que el

modelo se va volviendo un experto para que

no se pase de frenada al ajustar los

detalles finos.

Es que esa metáfora visual es impecable.

Piensa que, matemáticamente, el modelo está intentando descender

por un paisaje de montañas escarpadas buscando el

valle más bajo.

Que sería el menor error.

Exacto.

Representa el mínimo de error posible.

Si mantienes la tasa de aprendizaje muy alta,

la sobredosis de café, al final del entrenamiento

el modelo estará saltando bruscamente de un lado

a otro del valle, rebotando por encima de

la solución perfecta sin llegar a asentarse nunca.

Claro, nunca llega al fondo.

Y la forma en la que los ingenieros

sabemos, en tiempo real, si este delicado ritmo

de aprendizaje está funcionando, es monitorizando una métrica

llamada Loss, la función de pérdida.

Y ver bajar ese número en directo en

la pantalla es, con diferencia, el momento más

mágico del taller de Ángelos.

Yo me quedé asombrada.

En la demostración, ese número empieza en un

valor de 4 ,17.

Que, traducido a la regla, es el número

más alto del taller de Ángelos.

En la realidad, significa que el modelo es

tan ignorante que sólo está escupiendo ruido aleatorio

sin sentido.

Basura puramente aleatoria, ¿sí?

Pero de repente, a base de leer y

corregirse, baja a 3 ,3.

Y ahí descubres que al menos ha empezado

a entender qué letras del alfabeto son más

frecuentes que otras.

Ya es un paso.

Luego sigue bajando, a 2 ,5.

Y ves que el sistema ya junta la

T y la H, instintivamente, porque ha internalizado

los biogramas comunes en inglés.

Exacto.

Va pillando el truco.

Al tocar el 1 ,5, la máquina empieza

a soltar palabras completas y reales.

Y cuando por fin baja a 1 ,0,

está creando nombres propios inventados y frases con

una estructura gramatical que suenan exactamente al estilo

de Shakespeare.

Es increíble de ver.

Es que es literalmente como observar a un

bebé humano aprender a balbucear, luego pronunciar sílabas,

decir palabras sueltas y finalmente soltarte una frase

completa.

Pero todo este proceso biológico, comprimido en apenas

15 minutos de procesamiento en la pantalla de

tu portátil.

Es asistir a la emergencia pura del lenguaje

matemático en tiempo real.

Pero ojo, cuidado aquí, porque hay un peligro

técnico monumental oculto en la ambición de bajar

ese número.

Aclaro, no todo es infinito.

Ángelos lanza una advertencia severa en la clase.

Si dejamos que esa métrica de pérdida siga

bajando muy por debajo de 1 ,0, entramos

de lleno en un terreno pantanoso.

Comienza lo que se denomina overfitting o sobreajuste.

Claro, que es el punto en el que

el modelo deja de ser genuinamente inteligente, ¿no?

Exacto.

Deja de aprender las reglas lógicas y abstractas

del lenguaje que le permitirían ser creativo y

empieza pura y simplemente a memorizar de manera

fotográfica ese millón de caracteres de entrenamiento.

Se vuelve un empollón sin imaginación.

Se convierte en un loro estadístico.

Por eso, durante este bucle, se somete al

modelo al validation loss o pérdida de validación.

¿Y eso cómo funciona?

Pues, de forma periódica, se pausa el entrenamiento

y le presentamos a la máquina textos de

Shakespeare que nunca jamás ha visto en su

vida, pidiéndole que los continúe.

Si su pérdida en los textos de entrenamiento

sigue bajando, pero de repente vemos que empieza

a fracasar estrepitosamente y equivocarse al predecir los

textos nuevos… O sea, significa que el modelo

se está chapando el guión de Hamlet de

memoria, perdiendo toda su capacidad de generalizar y

de razonar lingüísticamente con textos inéditos.

Tal cual.

Pierde la capacidad de extrapolar.

¡Qué fascinante!

Es la búsqueda constante del equilibrio perfecto entre

entender profundamente la norma gramatical y no llegar

a obsesionarse ciegamente con el ejemplo concreto.

Ese es el santo grial del machine learning.

Vale, pues pongamos por caso que el modelo

se ha graduado con honores y ya no

memoriza a lo bruto.

Hemos terminado el entrenamiento.

¿Qué ocurre ahora, en la práctica, cuando nos

sentamos frente al teclado, abrimos la consola y

le pedimos que nos escriba un verso nuevo?

El momento de la verdad.

¿Cómo decide mecánicamente qué tecla debe pulsar a

continuación?

Aquí cruzamos la frontera y pasamos del entrenamiento

a lo que llamamos la inferencia.

En el momento de generar texto, el modelo

analiza todo el contexto previo que le has

dado y genera una distribución de probabilidades matemáticas

masiva para todas y cada una de las

letras o tokens de su diccionario.

Una lista de porcentajes, vamos.

Exacto.

A estos números crudos los denominamos logits.

Supongamos que tras hacer sus cálculos, el modelo

determina que hay un 80 % de probabilidad

de que la siguiente letra deba ser una

A, un 15 % para una E y

porcentajes diminutos para el resto de consonantes.

Vale.

La lógica más fría y puramente algorítmica de

un ordenador nos dictaría una regla clarísima.

Elige siempre la opción con mayor probabilidad matemática.

A esta estrategia se la llama greedy decoding

o decodificación codiciosa.

Y aquí, perdona que te corte, pero aquí

es donde necesito frenar en seco y plantear

un dilema brutal que choca contra toda mi

intuición.

Dispara.

Porque Angelos asegura rotundamente que hacer eso, coger

la probabilidad más alta, es una pésima idea

si queremos generar texto natural.

Pero a nivel lógico, ¿por qué querríamos de

forma 100 % voluntaria forzar a la inteligencia

artificial a que elija una opción matemáticamente peor?

Parece contradictorio, ¿verdad?

Totalmente.

Hemos invertido horas de computación, energía y código

refinado en entrenar una máquina para que sea

ultra precisa.

¿No rompe absolutamente todo el propósito obligarla a

equivocarse o a conformarse con la segunda mejor

opción?

Es una de las paradojas más bellas de

esta tecnología y ayuda muchísimo a desmitificar estas

herramientas.

Verás, si estuviéramos diseñando un sistema cuyo único

trabajo fuera transcribir el dictado de voz de

un cirujano durante una operación, ahí usaríamos greedy

decoding sin dudarlo ni un segundo.

Claro, ahí no te la juegas.

Queremos cero creatividad y un 100 % de

precisión estadística.

Pero resulta que el lenguaje humano conversacional es

inherentemente impredecible.

Está lleno de giros estilísticos, de matices poéticos,

y estadísticamente hablando, somos muy subóptimos al hablar.

Damos muchos rodeos.

Demasiados.

Si obligamos al modelo a escoger siempre la

palabra número uno en probabilidad, el texto resultante

sonaría plano, aburrido, tremendamente repetitivo y súper robótico.

Parecería un manual de instrucciones.

Literalmente.

Para que la máquina suene remotamente humana y

literaria, necesitamos inyectarle una buena dosis de caos

controlado.

O sea, necesitamos que el modelo asuma un

control.

O sea, que el modelo asuma voluntariamente ciertos

riesgos creativos.

Y ahí es precisamente donde entra a jugar

un parámetro clave que muchísimos usuarios modifican a

diario en plataformas de IA sin entender realmente

lo que hace.

La famosa temperatura.

Eso es, la temperatura.

Según explica Ángelos en su código, si ajustamos

esa temperatura a un valor de 0 ,7,

que suele ser considerado el punto dulce en

la industria, estamos flexibilizando y aplanando esa rigidez

matemática.

Exacto, relajamos las normas.

Al subir la temperatura, a veces el modelo

va a ignorar deliberadamente esa palabra súper evidente

y aburrida del 80 % de probabilidad y

va a arriesgarse a elegir esa segunda o

tercera opción menos común del 15%.

Sí, sí, se la juega.

Por ejemplo, en lugar de decir el gato

se sentó en la alfombra, podría sorprenderte con

el gato se sentó en la penumbra.

Y es precisamente esa elección estadísticamente menos probable

la que le inyecta el alma o la

chispa creativa al texto.

Lo has descrito a la perfección, de verdad.

La temperatura modifica la distribución aplanando los picos

de las probabilidades para darle una oportunidad a

los tokens más débiles.

Pero claro, invocar el caos siempre es peligroso

en computación.

Te puede salir el tiro por la culata.

Ya te digo.

Tampoco queremos que la máquina se vuelva completamente

loca y empiece a soltar jeroglíficos incómodos comprensibles

de manera aleatoria.

Por eso la temperatura rara vez opera sola

en la práctica.

Siempre trabaja en tándem con un mecanismo llamado

muestreo Top -K.

Top -K.

Que entiendo que funciona como ponerle unas barreras

de contención a esa creatividad desbocada, ¿no?

Exactamente.

El Top -K le marca un límite estricto

al modelo, diciéndole vale, de acuerdo, tienes permiso

para ser creativo y lanzar los dados usando

la temperatura, pero solo puedes elegir entre las

50 opciones que encabezan la lista de probabilidades.

Las 50 mejores.

Eso es.

Al usar esta técnica, cortamos de raíz esa

larga cola estadística de probabilidades infinitesimales.

Evitamos el riesgo de que, en un arrebato

matemático provocado por la temperatura, el modelo elija

una letra rarísima con un 0 ,001 %

de probabilidad que destroce por completo la estructura

de la frase.

Claro, te salva la vida.

Consigues el efecto de la sorpresa literaria, pero

siempre amarrado a una red de seguridad matemática

robusta.

Es una maravilla de mecanismo.

El equilibrio perfecto entre locura y razón.

Entonces, llegados a este punto, vamos a dar

un paso atrás.

Vamos a salir de la pantalla del portátil

y a mirar la foto completa de la

industria actual.

Vamos a ello.

Porque, a ver, ¿qué significa todo esto, en

realidad?

Hasta ahora, hemos estado desgranando pacientemente cómo un

ordenador doméstico predice la siguiente letra para sonar

como Shakespeare.

Que ya es un logro.

Lo es.

Pero luego abres cualquier portal de noticias tecnológicas

y ves que la inteligencia artificial de hoy

es capaz de analizar vídeos de cámaras de

seguridad, componerte una banda sonora instrumental en 10

segundos, o, lo que me resulta más impactante,

ves modelos de razonamiento avanzado que te resuelven

complejos problemas de física cuántica explicando cada paso.

Sí, el salto parece abismal.

Es que si toda la base teórica es

esta simple predicción probabilística de la siguiente pieza,

¿de dónde demonios sale esta inteligencia tan dispar

y aparentemente compleja?

Pues mira, esta es una oportunidad fantástica para

despejar uno de los malentendidos más extendidos de

todo el sector.

Empecemos por la multimodalidad, es decir, el procesamiento

de vídeos, imágenes o pistas de audio.

Vale.

El corazón del transformer base, del que hemos

hablado todo el rato, sigue siendo completamente ciego

y sordo.

Sigue sin entender el concepto visual de un

vídeo.

Y sólo sabe masticar sus amados embeddings numéricos.

O sea, sigue viendo números.

Sólo números.

La magia moderna radica en usar traductores externos

que son muy, muy especializados.

Para inyectarle un vídeo al sistema, se utiliza

otro transformer dedicado exclusivamente a la visión, que

es un video encoder.

Ah, amigo.

Este módulo extrae los fotogramas, los tritura mediante

operaciones matemáticas complejas y convierte las imágenes en

los mismos tipos de vectores que usa el

modelo de texto.

Lo unifica todo.

Eso es.

Para el cerebro principal de la IA, no

hay ninguna distinción técnica entre leer la palabra

escrita manzana y recibir los píxeles digitales de

una manzana de una foto.

Todo le llega empaquetado como una matriz de

números en su idioma nativo.

Y supongo que con el audio pasa igual.

Con el audio, la filosofía es supersimilar.

Aunque la matemática del entrenamiento difiere un poco.

En lugar de predecir la siguiente letra, se

entrena a los modelos auditivos comparando formas de

ondas sonoras puras contra representaciones visuales del sonido,

como los espectrogramas.

Es francamente alucinante.

Es literalmente como si tuvieras a un analista

brillante encerrado en una habitación que sólo es

capaz de leer texto en braille.

Exactamente.

O sea, no puede ver, no puede oír,

pero le pasas la información de la luz

y de las ondas de sonido meticulosamente traducidas

a patrones de puntos táctiles.

Él sólo acaricia puntos en un papel, pero,

matemáticamente, está describiendo la inmensa riqueza del mundo

exterior.

Es una analogía poética, pero técnicamente correctísima.

Pero, a ver, lo que de verdad me

dejó la cabeza dando vueltas de las fuentes

de hoy es la parte de los modelos

lógicos.

Esas famosas IA's que piensan antes de contestar,

las que usan cadenas de pensamiento o chain

of thought.

Porque, como usuaria de AP, te imaginas que

para lograr que un código razone, los ingenieros

de Silicon Valley han tenido que inventar una

especie de lóbulo frontal digital.

Claro, un salto evolutivo del código.

Exacto, una arquitectura de programación completamente revolucionaria y

distinta al transformer.

Y esa, perdona que te lo diga así,

es la mayor ilusión de todas.

¿En serio?

En absoluto, han inventado eso.

Y es un punto crítico que todos debemos

entender hoy.

La arquitectura base de las máquinas más punteras

que razonan sigue siendo en esencia exactamente la

misma que hemos analizado en tu portátil.

O sea, es el mismo motor.

El mismo.

La diferencia abismal, la verdadera magia de la

inteligencia moderna, no ocurre en el código base.

Ocurre en una etapa posterior llamada postentrenamiento.

Explícate.

El modelo básico, el del portátil, ya sabe

hablar, domina el lenguaje, pero carece de lógica

estructurada.

¿Cómo le enseñamos a ser lógico y a

razonar?

Ni idea.

Pues a base de pura fuerza bruta y

muchísimo talento humano.

Detrás de la cortina hay corporaciones gigantescas y

plataformas especializadas como Scale AI, que se dedican

exclusivamente a reclutar verdaderos ejércitos de doctores, universitarios,

físicos de partículas, matemáticos de élite, investigadores de

todo el mundo.

A estas mentes brillantes se les paga enormes

sumas de dinero para sentarse frente a una

pantalla y resolver problemas hipercomplejos.

A mano.

A mano.

Redactando de forma manual, exhaustiva y superestructurada cada

mínimo paso mental que dan, volcando literalmente su

propio monólogo lógico interno en un documento de

texto.

Entiendo el mecanismo.

Luego recogen esos miles, y miles de exámenes

y demostraciones resueltas a mano por estos humanos

hipercualificados, y fuerzan al modelo base a leerlos

y analizarlos una y otra vez durante el

postentrenamiento.

Así es.

El modelo absorbe vorazmente esa estructura lógica.

Y aquí está el gran truco.

La IA no está adquiriendo de repente una

capacidad filosófica intrínseca de razonamiento deductivo o teniendo

un destello de conciencia.

Para nada.

Lo que está haciendo es aplicar su fabuloso

y eficiente motor probabilístico, el de predecir la

siguiente letra, para imitar a la perfección el

riguroso patrón estructural de cómo un doctor humano

en astrofísica plasma su proceso de razonamiento en

un papel.

O sea, para dejarlo cristalino, el famoso lóbulo

frontal de la IA de ultimísima generación, esa

misma que cotiza en miles de millones de

dólares en la bolsa, en el fondo son

cientos de expertos y profesores humanos contratados para

escribir ejemplos a mano en el salón de

su casa.

Tal cual.

Es una imitación estelar basada en mano de

obra hiperespecializada.

Y es precisamente esa dependencia absoluta de la

labor humana lo que hace que este sistema

sea, bajo la superficie, extremadamente frágil.

Es como un castillo de cristal.

Claro, porque dependes de que no se equivoquen.

Exacto.

Si los textos de razonamiento escritos a mano

por esos doctores humanos contienen un fallo de

lógica consistente, un pequeño error estructural que pase

desapercibido, el modelo lo absorberá de inmediato e

imitará ese defecto.

Y te la lía parda.

Arruinando por completo el comportamiento de una herramienta

en la que se han invertido montañas de

dinero.

Es por esto que las empresas no solo

contratan a los expertos que redactan, sino que

mantienen brigadas enteras de controladores de calidad.

Los equipos de CUA.

Los famosos CUA, humanos, cuya única misión es

auditar y revisar con lupa cada coma del

trabajo de los propios doctores.

Al final del día, la inteligencia artificial más

vanguardista y deslumbrante del planeta está limitada de

forma directa e inexorable por la calidad y

el rigor del trabajo artesanal humano que la

alimenta.

¡Uf!

A ver, es que empezamos este recorrido fascinados

viendo cómo un humilde portátil de 16 gigas

aprendía a duras penas que la B y

la L iban juntas para escribir la palabra

azul.

Y hemos acabado descubriendo, al levantar el capó

de toda la industria, que la ansiada cima

tecnológica global depende de humanos, rellenando problemas de

matemáticas a mano para que una máquina aprenda

a copiarlos con estilo y parezca inteligente.

Así es la realidad.

Es que me estalla la cabeza, de verdad.

Y fíjate, todo este andamiaje tecnológico oculto nos

deja en bandeja una última reflexión sobre el

futuro.

Una pregunta que me parece bastante provocadora y

que creo que todos deberíamos llevarnos a casa

para pensar.

A ver, cuéntanos.

Si resulta que todo este salto histórico actual

hacia modelos que supuestamente razonan depende de manera

vital de contratar a los mayores expertos humanos

del planeta para que escriban y estructuren procesos

lógicos paso a paso, ¿qué va a ocurrir

exactamente el día en que necesitemos dar el

siguiente gran salto evolutivo y queramos que la

IA se vuelva, por fin, más lista y

capaz que los propios humanos que hoy en

día generan sus datos de entrenamiento?

¡Ostras!

Chocaremos de bruces contra un muro técnico insalvable

simplemente porque nos quedaremos sin ejemplos de genios

humanos superiores que darle de comer a las

máquinas.

Madre mía, ahí os dejamos esa tremenda bomba

intelectual para que le deis vueltas.

Ha sido un viaje absolutamente espectacular desmitificando la

tecnología que nos rodea.

Antes de despedirnos, hasta el próximo programa os

informamos de que las voces que oyes han

sido generadas por la IA de Notebook LM

y que dirigiendo el podcast se encuentra Julio

Pablo Vázquez, un humano que te envía saludos.

En caso de error, probablemente sean errores humanos.

¡Nos escuchamos!

Y hasta aquí el episodio de hoy.

Muchas gracias por tu atención.

Esto es BIMPRAXIS.

Nos escuchamos en el próximo episodio.