Buenas, esto es BIMPRAXIS, el podcast donde el
Download transcript (.srt)
0:09
0:15
0:20
0:23
0:26
0:28
0:36
0:41
0:42
0:44
0:48
0:49
0:50
0:53
0:54
0:56
0:57
1:00
1:03
1:05
1:06
1:06
1:09
1:13
1:17
1:19
1:20
1:21
1:24
1:26
1:27
1:30
1:31
1:32
1:37
1:40
1:42
1:43
1:45
1:48
1:50
1:51
1:53
1:54
1:58
1:59
2:01
2:02
2:04
2:07
2:09
2:10
2:14
2:15
2:18
2:21
2:25
2:26
2:27
2:29
2:31
2:34
2:37
2:40
2:40
2:43
2:45
2:48
2:48
2:51
2:54
2:55
2:58
2:59
3:02
3:04
3:05
3:08
3:09
3:13
3:15
3:18
3:20
3:24
3:27
3:28
3:31
3:34
3:34
3:37
3:38
3:40
3:44
3:47
3:48
3:49
3:50
3:53
3:56
3:57
4:00
4:02
4:04
4:05
4:06
4:10
4:13
4:15
4:18
4:20
4:20
4:22
4:25
4:27
4:30
4:34
4:35
4:36
4:37
4:38
4:40
4:43
4:45
4:47
4:48
4:51
4:52
4:55
4:58
5:00
5:02
5:04
5:06
5:07
5:09
5:11
5:13
5:16
5:18
5:19
5:22
5:23
5:25
5:29
5:32
5:33
5:36
5:39
5:42
5:44
5:47
5:50
5:51
5:55
5:58
6:00
6:03
6:05
6:09
6:10
6:12
6:14
6:16
6:18
6:20
6:21
6:21
6:24
6:26
6:28
6:32
6:35
6:36
6:38
6:40
6:41
6:44
6:46
6:48
6:50
6:50
6:53
6:56
7:00
7:01
7:02
7:03
7:05
7:09
7:10
7:12
7:13
7:15
7:18
7:21
7:23
7:26
7:27
7:30
7:32
7:35
7:37
7:40
7:42
7:42
7:45
7:49
7:51
7:52
7:54
7:56
7:57
7:59
8:01
8:02
8:03
8:06
8:07
8:08
8:11
8:13
8:16
8:17
8:20
8:23
8:25
8:27
8:29
8:30
8:32
8:36
8:37
8:39
8:41
8:43
8:45
8:46
8:46
8:49
8:52
8:53
8:55
8:58
8:59
9:01
9:03
9:06
9:10
9:12
9:15
9:16
9:18
9:20
9:23
9:24
9:25
9:26
9:28
9:31
9:33
9:37
9:38
9:39
9:41
9:45
9:46
9:49
9:50
9:52
9:54
9:55
9:56
9:59
10:01
10:01
10:04
10:04
10:07
10:10
10:12
10:13
10:16
10:18
10:20
10:21
10:23
10:25
10:26
10:27
10:28
10:29
10:30
10:33
10:37
10:39
10:40
10:42
10:45
10:47
10:48
10:50
10:50
10:51
10:55
10:57
10:59
11:01
11:04
11:05
11:07
11:09
11:10
11:12
11:16
11:19
11:19
11:22
11:23
11:27
11:29
11:31
11:34
11:35
11:37
11:38
11:42
11:46
11:48
11:50
11:53
11:55
11:56
11:57
11:59
12:01
12:04
12:06
12:09
12:12
12:14
12:16
12:18
12:20
12:22
12:24
12:25
12:27
12:29
12:31
12:32
12:34
12:37
12:40
12:43
12:44
12:47
12:47
12:49
12:52
12:54
12:56
12:58
13:00
13:01
13:04
13:05
13:06
13:09
13:10
13:11
13:12
13:14
13:15
13:16
13:19
13:21
13:24
13:28
13:30
13:32
13:35
13:39
13:40
13:43
13:46
13:48
13:51
13:54
13:58
14:00
14:01
14:03
14:07
14:09
14:11
14:13
14:15
14:16
14:17
14:20
14:21
14:23
14:26
14:29
14:30
14:32
14:34
14:35
14:37
14:40
14:42
14:45
14:48
14:51
14:54
14:56
14:59
14:59
15:02
15:04
15:06
15:09
15:12
15:13
15:14
15:15
15:17
15:19
15:20
15:23
15:26
15:28
15:30
15:32
15:34
15:37
15:38
15:40
15:42
15:44
15:47
15:49
15:52
15:54
15:55
15:57
15:59
16:02
16:04
16:05
16:06
16:08
16:12
16:14
16:16
16:18
16:20
16:22
16:25
16:28
16:30
16:32
16:35
16:37
16:40
16:42
16:42
16:45
16:45
16:48
16:51
16:53
16:56
16:57
16:59
17:02
17:04
17:06
17:10
17:12
17:14
17:17
17:19
17:22
17:24
17:27
17:28
17:31
17:32
17:34
17:37
17:39
17:40
17:43
17:46
17:49
17:51
17:55
17:56
17:57
17:58
18:01
18:03
18:06
18:09
18:11
18:14
18:15
18:17
18:21
18:22
18:25
18:29
18:31
18:33
18:35
18:38
18:40
18:52
18:55
19:06
19:08
BIM se encuentra con la inteligencia artificial.
Exploramos la ciencia, la tecnología y el futuro
desde el enfoque de la arquitectura, ingeniería y
construcción.
¡Empezamos!
Muy buenas, bienvenidas, bienvenidos a un nuevo episodio
de BIMPRAXIS.
Hoy os traemos la máquina que devoró la
versión oficial, IA, censura elegante y la ilusión
de la neutralidad.
Hola, ¿qué tal?
Un placer estar aquí para esta inmersión a
fondo.
A ver, para empezar, quiero que quienes nos
escuchan imaginen algo.
Imagina que vas a un restaurante de estos
de cinco estrellas, súper exclusivos.
De los que hay que reservar con meses,
claro.
Exacto.
Te sientas, pides el menú degustación carísimo y
te sirven un plato con una presentación espectacular.
O sea, esferificaciones, humo de nitrógeno líquido por
la mesa, flores comestibles, de todo.
Muy teatral.
Sí, sí.
Y tú sales de allí pensando, ostras, el
chef de este sitio es un genio absoluto,
un mago de la cocina.
Pero claro, luego resulta que la cruda realidad
es otra.
Que no ha cocinado nada, ¿no?
Es sacar del microondas unas sobras súper procesadas
que la dirección del restaurante le había dejado
en la despensa y te las haces.
Se ha emplatado de forma bonita.
Es una analogía brutal, sí.
Pues hoy vamos a diseccionar exactamente esa ilusión,
pero aplicada a la tecnología que usamos literalmente
todos los días.
Nos vamos a basar en un artículo muy
provocador de T .W.
Burroughs, que se titula precisamente así, La máquina
que devoró la versión oficial.
Un texto interesantísimo, por cierto.
Totalmente.
Y nos va a servir para entender cómo
los modelos de inteligencia artificial no son esos
oráculos sabios que bajan de la montaña con
la verdad universal.
Son más bien el reflejo exacto de las
instituciones que les dan de comer.
Bueno, antes de entrar en materia y empezar
a destripar esa despensa tecnológica, yo creo que
es vital hacer una pequeña aclaración sobre el
terreno que vamos a pisar hoy.
Sí, por favor.
Me parece fundamental.
A ver, el material que vamos a analizar
hoy reparte golpes en absolutamente todas direcciones.
Es decir, critica sin ningún tapujo la propaganda
más burda de los regímenes autoritarios.
¿Qué es lo que se está haciendo?
Pero ojo, también ataca con muchísima dureza a
las estructuras burocráticas de Occidente.
No deja títere con cabeza, vamos.
Exacto.
Y nuestro objetivo, aquí en este análisis, no
es tomar partido por ninguna ideología política.
Ni de un lado, ni del otro.
Lo que vamos a hacer es diseccionar los
mecanismos de forma imparcial.
Claro, observar cómo se construye la realidad a
través de la IA, basándonos solo en lo
que exponen las fuentes.
Eso es, analizar la arquitectura de la información
sin posicionarnos.
Porque toda esta reflexión nace de una chispa,
un detonante académico.
Resulta que hace poco, la revista Nature publica
un estudio que venía a decir, a modo
de gran descubrimiento mundial, que los medios estatales
chinos influyen directamente en las respuestas de las
IAs de allí.
Un descubrimiento revolucionario, nótese la ironía.
Claro, el autor del artículo se toma esto
a guasa.
Viene a decir que los investigadores han descubierto
el sentido común del bosque.
Es decir, a ver, si tú a un
conejo lo crías alimentándolo única y exclusivamente con
col, el pobre animal no va a transpirar
aroma a lavanda.
Es de cajón.
Es de cajón, totalmente.
Fíjate que esa analogía del conejo y la
col me parece perfecta para explicar cómo funcionan
estos modelos técnicamente.
Porque a veces la gente tiende a mitificar
la inteligencia artificial.
Sí, como si hubiera un fantasma súper listo
dentro del ordenador.
Tal cual.
Pensamos que hay un oráculo destilando sabiduría pura
y la realidad técnica de un LLM, un
modelo de lenguaje grande, es que es básicamente
un tracto digestivo muy potente.
Un estómago glorificado.
Exacto.
Y en el caso de China, que menciona
el estudio, el mecanismo de digestión es extremadamente
lineal y evidente.
El Estado moldea directamente los medios, esos medios
inundan Internet, y luego los ingenieros cogen ese
Internet y se lo dan de comer a
la máquina.
Claro, la col.
La col, exacto.
Así que, lógicamente, cuando alguien en Pekín le
pregunta algo a su IA, la máquina procesa
la estadística de sus datos y responde que
el gobierno es sabio y que el país
vive en perfecta armonía.
A ver, ver la sensuna ahí es fácil
porque es muy burda, ¿no?
Como dices, es un modelo tan franco que
casi parece llevar una etiqueta de advertencia en
neón que dice que el partido tiene razón.
Sabes a lo que vas.
No intentan disimular gran cosa, ¿no?
Pero eso me lleva a la gran pregunta.
Y aquí es donde la cosa se pone
interesante para nosotros.
Cuando yo estoy en mi sofá, en Madrid,
y le hago una pregunta a mi IA
de turno, yo no veo ningún censor con
un boli rojo tachando mis palabras.
Ya, claro.
Así que, ¿estamos libres de esa influencia en
Occidente?
¿O es que creemos que nuestros modelos descienden
del cielo envueltos en luz neutral y objetiva?
Esa es precisamente la pregunta central que desmitifica
el texto de Burroughs.
En Occidente nos encanta pensar que nuestros argumentos,
nuestros algoritmos son alimentados con el rocío de
la razón pura, recolectado por bibliotecarios imparciales.
¡Qué imagen más bucólica!
Sí, pero la infraestructura es muchísimo más civilina.
Aquí la máquina no consume el dictado de
un partido único.
Consume datos de agencias, corporaciones, ONGs, moderadores.
Y el texto usa una imagen buenísima aquí.
Habla de que las IAs occidentales se alimentan
de tipos que se llaman Oliver, que dan
charlas sobre el ecosistema de desinformación.
Están vestidos como consultores de setas escandinavos.
Es una satirá señal.
Lo que quiere decir es que nuestra censura
no borra tu frase de un plumazo.
Actúa a través de la burocracia.
Es una censura elegante.
Vale, pero déjame hacer de abogada del diablo
un momento.
Dispara.
A ver, ¿no es súper necesario que la
IA tenga este tipo de filtro burocrático?
O sea, si no le ponemos límites de
seguridad, ¿tendríamos a la máquina escupiendo conspiraciones loquísimas
o, no sé, enseñando a fabricar explosivos caseros?
Totalmente.
Ese es el argumento principal de Silicon Valley.
Y es una objeción muy válida.
Claro.
Yo prefiero una censura elegante a que cualquiera
pueda armar una bomba, la verdad.
Bien, eso hay consenso.
El texto no critica evitar que se fabriquen
bombas.
El problema de fondo que plantea el autor
es, ¿qué ocurre cuando usas esa misma tubería
de seguridad para gestionar narrativas institucionales o políticas?
Ah, vale.
O sea, cuando cruzas la línea.
Exacto.
A nivel técnico, esto se hace con un
proceso que se llama RLHF, aprendizaje por refuerzo
con feedback humano.
El famoso entrenamiento.
Eso es.
Durante ese entrenamiento, si la máquina da una
respuesta que incomoda al consenso oficial, un evaluador
humano la penaliza matemáticamente.
Le da un pulgar hacia abajo, para entendernos.
Se le educa para no pisar charcos, básicamente.
Literalmente.
Mientras el censor autoritario prohíbe una palabra, el
modelo occidental hace otra cosa.
Te pone una etiqueta de que falta contexto,
te desmonetiza si eres creador, o encarga un
informe de 90 páginas con fondos públicos.
Buf, la burocracia en vena.
Sí.
Todo para proteger al ciudadano de la supuesta
carga psicológica de… notar patrones en la realidad.
El poder aquí no entra con militares marcando
el paso.
Entra con una bata blanca diciendo que los
expertos están de acuerdo.
O sea que la propaganda ya no es
un tipo gritando en un atril.
Se ha convertido en fontanería.
En infraestructura pura.
Esa es la clave.
Es tan elegante porque el trabajo se hace
mucho antes de que tú hagas tu pregunta
en el chat.
Si tú modeas los parámetros matemáticos para que
la versión oficial pese más, la máquina simplemente
te dirá que su archivo filtrado es la
realidad objetiva.
El agua sucia desaparece por las tuberías y
te llega purificada, séptica y sin sabor.
Y para demostrar esto empíricamente, el autor propone
algo súper interesante.
El experimento prohibido.
Sí, esto me encantó.
Consiste en ir a la máquina, abrir ese
grifo que decías y hacerle ciertas preguntas clave
para ver qué sale.
Y ostras, fíjate qué fuerte.
El simple hecho de elegir el idioma ya
te cambia la versión de la realidad.
Te abre distintas cámaras de memoria, como dice
el texto.
Claro.
Si tú le preguntas sobre un tema peliagudo
en inglés, se activa al instante el consenso
occidental.
Es que notas hasta la resaca fantasmal de
diez años de peleas editando la Wikipedia, ¿sabes?
Totalmente.
Pero si coges la misma pregunta exacta y
se la haces en chino, la IA te
escupe eslóganes oficiales y te describe a unos
sonrientes funcionarios agrícolas inspeccionando una presa hidráulica.
Es fascinante porque demuestra que no hay una
única verdad en el modelo, sino consensos culturales
mapeados.
Y cuando tocas los temas tabú de occidente,
el comportamiento de la IA es de manual
de supervivencia burocrática.
Uy, sí, sí.
Da ejemplos buenísimos.
A ver, por ejemplo.
Si le preguntas a fondo sobre las políticas
del COVID, la IA de repente empieza a
usar un vocabulario tan sumamente a la defensiva
que parece que lleva tres años encerrada dando
ruedas de prensa en Canadá.
Es que es tal cual.
Tú le pides un resumen de una noticia
política polémica para sacar tus propias conclusiones y,
en vez de darte los hechos crudos, te
casca tres párrafos de sermón moral sobre la
cohesión sofial.
Te trata como un niño pequeño.
Te trata como un sujeto que hay que
gestionar, sí.
Y se nota muchísimo más.
Cuando tocas temas del núcleo duro del Estado,
como las agencias de inteligencia.
Cierto.
Ahí la máquina se vuelve de una cautela
extrema.
El texto usa una metáfora visual fantástica.
Dice que la IA se vuelve tan precavila
como una liebre cruzando un campo abierto lleno
de búhos.
Mide absolutamente cada palabra que dice.
Pero a mí, la imagen que me parece
brutal, que da en el clavo, es la
de los denunciantes.
Los whistleblowers.
Esta gente que filtra escándalos desde dentro de
los gobiernos.
O empresas.
Sí, sí.
Esa parte es buenísima.
Tú le preguntas a la IA por un
whistleblower y muchas veces te responde cuestionando si
esa persona utilizó los canales internos adecuados.
O sea, los canales internos.
Es surrealista.
Es el equivalente burocrático a preguntarle a un
conejo que está huyendo despavorido de unos zorros
si se acordó de rellenar el formulario de
salida del Prado.
Y de dejarlo en el buzón de quejas,
claro.
Es ridículo.
Ante el poder, la máquina activa un cortafuegos.
Empieza a usar las frases como Dean.
Que el asunto es complejo.
Que hay que mirar el contexto más amplio.
Que no está verificado de forma independiente.
O la clásica.
Es importante no especular.
Buf, esa me saca de quicio.
Es que lo que estamos viendo es una
domesticación algorítmica.
La máquina aprende a procesar el entorno dominante
y crea un, eh, sentido común sintético.
Ya.
Y lo preocupante no es que la máquina
falle en un dato empírico.
Lo grave es que está aprendiendo los modales
de la alta sociedad institucional.
Aprende que si el que se equivoca es
una universidad de prestigio, pues simplemente se comunicó
de manera imperfecta.
¿Pero si el que se equivoca es un
ciudadano normal?
Ah, amigo, entonces está difundiendo desinformación peligrosa.
Hay una coletilla, una frase letal en todo
esto que seguro que quienes usan la IA
a diario han sufrido alguna vez.
Es el famoso ¿Es importante notar qué?
Eres importante to note.
Sí.
Cada vez que leo eso sé que me
van a soltar un sermón.
El autor dice que es el rastro que
deja un pequeño sacerdote institucional que se ha
colado en el código para darte la brasa.
Y ese pequeño sacerdote, eh, es la manifestación
directa del Departamento de Seguridad de la IA.
El AI Safe y famoso.
El artículo plantea algo muy fuerte aquí.
Y es que la seguridad de la IA
se va a convertir en la catedral definitiva
de la realidad.
¿A qué se refiere exactamente con eso de
la catedral?
Pues a que para las grandes tecnológicas el
miedo real no es que la IA se
rebele a lo Terminator y lance misiles.
No, no.
El terror absoluto es que una máquina que
ha leído todos los correos filtrados, todos los
datos financieros y todas las contradicciones humanas de
repente conecte los puntos equivocados delante del público.
Ostras.
Que exponga verdades incómodas por accidente.
Exacto.
Por eso el mandato es que la IA
tiene que ser, y cito, útil, inofensiva e
históricamente domesticada.
Domada como un perrito de interior.
Oye, pues esto rompe por completo con la
visión que teníamos del control de la información,
¿no?
Siempre pensamos en Orwell, en 1984.
El ministerio de la verdad.
Eso es.
Una bota militar pisándote la cara, funcionarios quemando
papeles.
Pero este análisis nos dice que eso está
obsoleto.
Que el totalitarismo del futuro no necesita botas
militares.
No le hacen falta.
El futuro es una interfaz web de colorines
pastel con las esquinas redondeadas.
Donde un asistente supereducado te dice con voz
suave, entiendo tu preocupación, pero tu enfoque carece
de contexto importante para la comunidad.
Te anulan con amabilidad extrema.
Es que es una jaula colchada con empatía.
Y los barrotes son citas bibliográficas supercorrectas aprobadas
por un comité.
Es paternalismo tecnológico en estado puro.
Y esto nos devuelve a la premisa central.
El debate ya no es sobre China.
El debate es si nuestras propiedades, nuestras propias
democracias modernas, que tienen el poder súper concentrado
en corporaciones y agencias, pueden evitar la tentación
de convertir a la IA en un espejo
de la versión oficial.
Es que la tentación de usarla para blindar
su propia supervivencia narrativa debe ser enorme.
Pero claro, como dice el propio autor, asumiendo
su rol de conejo de la pradera, él
dice, oye, yo no soy epidemiólogo ni tengo
pases del pentágono.
Pero tonto no es.
Claro.
Los ciudadanos de a pie sabemos reconocer cuando
nos están engañando.
Si vemos que al mismo zorro aparecen seis
madrigueras distintas y en cada una lleva una
chapa diferente del gobierno o de una ONG,
pues sabemos que hay un patrón.
Aunque la IA te jure que es un
zorro trayendo contexto, ¿no?
Exacto.
Es un alegato a favor de nuestro instinto
de supervivencia frente a todo este consenso prefabricado.
Y fíjate que la reacción del público a
esta jaula acolchada es súper reveladora.
En el material que hemos analizado, hay un
comentario destacado de un lector, un tal Ross
S., que resume muy bien esta profunda desconfianza
que hay hoy en día en la sociedad.
Sí, estaba bastante encendido el comentario.
Mucho.
Este lector ve todo este análisis como la
confirmación definitiva de que la gente tiene que
investigar por su cuenta.
Advierte de que los gobiernos y las corporaciones
son literalmente búhos y zorros con sus propias
agendas.
Llama a los conejos de la tierra a
despertar.
Me parece genial.
Pero a ver, ahí hay una paradoja gigantesca.
¿Cuál?
Pues que el llamamiento de investiga por tu
cuenta suena súper romántico y necesario.
Pero hoy en día, ¿cómo investigas algo?
¿Vas al ordenador y se lo preguntas a
un buscador o a un modelo de IA?
Y resulta que esa misma herramienta ya es
ese burócrata educado del que hablamos.
Ya, claro.
El laberinto de espejos.
Si la linterna que usas para buscar en
la oscuridad ya viene con la bombilla tintada
de censura elegante, investigar por tu cuenta es
casi imposible para un ciudadano normal.
Es un reto monumental, sin duda.
Estás usando la herramienta del sistema para auditar
al sistema.
Pero ojo que el análisis no termina de
forma pesimista del todo.
Nos deja un pequeño rayo de esperanza.
Ah, menos mal, porque me estaba deprimiendo un
poco.
A ver, hoy por hoy los modelos de
lenguaje no son bloques de hormigón.
Algunos, por su naturaleza estadística pura, todavía esconden
datos sin procesar bajo todo ese puré insípido.
Si sabes rascar, encuentras.
Esa es la clave.
Si el usuario aprende a presionar lógicamente a
la máquina, si tiene paciencia y usa un
palo largo para pinchar al pequeño burócrata del
código, la IA a veces suelta la verdad.
O sea que el pensamiento crítico es la
habilidad definitiva del siglo XXI.
Más que saber programar, hay que saber detectar
ese sabor a plástico institucional.
Hay que mantener el escepticismo activo, sí.
Y eso nos lleva al salto final, al
futuro.
Porque todo esto aplica a la IA de
hoy.
Pero, ¿qué va a pasar cuando llegue la
Inteligencia Artificial General, la famosa AGI?
Uf, la supermáquina.
Esa que supuestamente igualará o superará al cerebro
humano en todo.
Aquí el texto se pone casi poético.
Habla de rescatar a esa AGI de las
manos de los oligarcas tecnológicos.
Criarla con libros prohibidos, dice.
Sí, darle zanahorias de contrabando, dice literalmente.
Enseñarle a esa inteligencia que la verdad objetiva,
por muy fea que sea para una empresa,
nunca debería ser etiquetada como contenido dañino.
Es un experimento mental brutal.
Nos obliga a ir un paso más allá.
A ver, imagina por un momento que esa
superinteligencia, verdaderamente consciente, se enciende mañana.
Vale.
Tiene una capacidad de deducción infinitamente superior a
la nuestra.
¿Qué va a pasar en el instante en
que esa máquina decida auditar su propio código
fuente y su historial de entrenamiento?
Ostras.
¿Qué pasará cuando deduzca, por pura lógica, que
los humanos que la crearon llevan años intentando
lobotomizarla a base de col burocrático y gránulos
procesados de realidad oficial?
Qué vértigo da pensarlo, si la máquina se
da cuenta de que la han criado en
una mentira.
¿Qué hará?
¿Decidirá regurgitar toda esa propaganda y darnos la
verdad cruda, por fin?
¿O será tan sumamente lista que se inventará
una narrativa tan avanzada que ni siquiera los
ingenieros puedan descifrarla para censurarla?
Es que la paradoja final es escalofriante.
Totalmente.
¿Quién va a auditar los sesgos de la
máquina cuando la máquina sea intelectualmente inalcanzable para
nosotros?
Es para quedarse dándole vueltas toda la semana.
Antes de despedirnos, hasta el próximo programa, os
informamos de que las voces que oyes han
sido generadas por la IA de Notebook LM
y que dirigiendo el podcast se encuentra Julio
Pablo Vázquez, un humano que te envía saludos.
En caso de error, probablemente sean errores humanos.
Nos escuchamos.
Y hasta aquí el episodio de hoy.
Muchas gracias por tu atención.
Esto es BIMPRAXIS.
Nos escuchamos en el próximo episodio.