E016_AlexNet e ImageNet: El nacimiento del DeepLearning

Buenas, esto es BIMPRAXIS, el podcast donde el BIM se encuentra con la inteligencia artificial.

Exploramos la ciencia, la tecnología y el futuro desde el enfoque de la arquitectura, ingeniería y construcción.

¡Empezamos!

Bienvenidos, hoy retomamos nuestra serie, los papers que cambiaron la historia de la IA, con la segunda entrega.

Y si la primera fue sobre los cimientos teóricos, la de hoy es, vamos, el Big Bang.

Totalmente. Es el momento en que toda esa teoría explota y se convierte en una fuerza que, bueno, ha definido la última década por completo.

Hablamos del paper ImageNet Classification with Deep Convolutional Neural Networks, publicado por tres nombres clave de la Universidad de Toronto.

Alex Krisevsky, Ilya Sutskever y, de nuevo con nosotros, el padrino del Deep Learning, Geoffrey Hinton.

Exacto.

La misión de hoy es entender qué pasó exactamente ese día, el 30 de septiembre de 2012. Porque no es una fecha cualquiera.

Para nada.

Muchos la consideran el nacimiento de la inteligencia artificial moderna, la que conocemos hoy.

Y para entender esa explosión, primero hay que viajar al silencio que había justo antes.

Desde luego. El mundo antes de 2012 era radicalmente distinto.

La visión por computador, por ejemplo, era un campo con avances.

Avances muy, muy lentos. Casi glaciales.

¿Y eso por qué? ¿Faltaba interés?

Faltaba financiación, porque los resultados prácticos eran muy modestos.

Todo el mundo, toda la comunidad científica pensaba que el progreso vendría de algoritmos más elegantes, de refinar las matemáticas.

No de la fuerza bruta.

Para nada. La idea de usar redes neuronales gigantes, el Deep Learning, se consideraba una excentricidad, una curiosidad teórica, pero impracticable.

Inviable.

¿Y cuál era el bloqueo? ¿Qué impedía que funcionara?

Pues había dos bloqueos fundamentales. El primero, la computación.

Se creía que entrenar algo así requería una potencia que simplemente no existía.

O no era accesible para los investigadores, claro.

Exacto. Y el segundo, que quizá es más importante, era la creencia de que no había suficientes datos en el mundo.

Datos etiquetados, organizados, para enseñarle a una red tan enorme, sin que se limitara a memorizarla.

Las fotos.

En lugar de aprender de verdad.

Justo.

Y es ahí, precisamente en el problema de los datos, donde arranca esta historia.

Porque, para entender el éxito de AlexNet, que es el modelo del que hablamos, hay que hablar de su combustible.

Totalmente.

Un combustible que fue tan revolucionario como el motor. El conjunto de datos ImageNet.

Y todo empieza con la visión de una investigadora, Fei-Fei Li, allá por 2006.

Exacto. Fei-Fei Li tuvo una especie de epifanía.

Se dio cuenta de que todo el campo estaba obsesionado con construir mejores modelos. Mejores coches, por así decirlo.

Pero nadie construía las carreteras.

Ni se preocupaba de la gasolina.

Exacto.

Los estaban alimentando con conjuntos de datos que hoy nos parecerían de risa. Miles de imágenes, como mucho. Decenas de miles.

No reflejaban la complejidad del mundo real, vamos.

En absoluto. Ella vio que el cuello de botella no era el algoritmo. Era la materia prima.

Y lo más fascinante es...

¿De dónde saca la inspiración? De un proyecto de lingüística de los años 80.

Una conexión brillante. Se inspiró en Wernet, que es básicamente un mapa de las relaciones entre palabras. Organiza conceptos en una jerarquía.

A ver, un ejemplo.

Pues, un bastón alemán es un tipo de perro, que es un tipo de cánido, que es un mamífero. Esa estructura.

Ya. La idea de Lino fue de una simplicidad genial. Construir un Wernet con ojos.

Asociar a cada uno de esos conceptos un torrente.

La idea es genial, pero la escala es... demencial. Una cosa es tener la idea y otra llevarla a cabo.

Las cifras marean. La primera versión, de 2009, tenía 12 millones de imágenes en 22.000 categorías.

12 millones. Es que, si una persona se pone a etiquetar una imagen por minuto, sin parar, tardaría más de 22 años.

Imposible para un laboratorio. Una tarea titánica. Y aquí es donde su enfoque fue tan ingenioso.

¿Qué hicieron?

Recurrieron a una herramienta que entonces era muy nueva. Amazon Mechanical Turk.

Ah, la plataforma de crowdsourcing.

Exacto. Externalizaron microtareas a miles de personas en todo el mundo. Convirtieron un problema de investigación de décadas en un problema de logística masiva. Y lo resolvieron.

Vale, consiguen lo imposible, crean esa especie de biblioteca de alejandría visual y la presentan en 2009. Uno esperaría que la comunidad científica se volviera loca.

Pues la reacción fue un silencio sepulcral.

En serio. Casi total. El feedback fue descorazonador. Es demasiado grande. Es un desastre. Demasiado complejo. No me lo puedo creer.

Piensa que los modelos punteros de la época manejaban, con suerte, una docena de categorías. Enfrentarlos a 22.000. A la mayoría les pareció una locura.

Entonces, tienen un circuito de Fórmula 1 increíble, pero nadie quiere correr en él.

Justo. Así que, ¿qué hicieron? ¿Organizar su propia carrera?

Claro.

El ImageNet Large Scale Visual Recognition Challenge. El ILS VRC. Una competición anual. Simplificaron el problema a mil categorías y lanzaron el guante.

Este es el nuevo estándar. A ver qué podéis hacer.

Y funcionó. Se convirtió de la noche a la mañana en el mundial de la visión por computador.

Y con ese escenario llegamos a 2012. El 30 de septiembre se publican los resultados. Y un equipo de Toronto con un modelo llamado AlexNet no es que gane.

Cifras.

El mejor resultado tenía una tasa de error del 25,8%.

Bajar del 25 era como el gran objetivo, ¿no?

Era la barrera psicológica. Bueno, pues AlexNet consiguió un 15,3%.

Un momento. ¿15,3?

15,3. El segundo clasificado de ese año, que usaba la mejor tecnología clásica, se quedó en un 26,2%.

O sea, casi 11 puntos de diferencia.

Una demolición. Fue como si un corredor de 100 metros lisos batiera el récord mundial por dos segundos. Un shock absoluto.

Y todo el mundo se hizo la misma pregunta. ¿Qué demonios ha pasado aquí?

Y la respuesta fue que habían apostado por el caballo que todos daban por muerto.

Una red neuronal convolucional. Una CNN, pero muy, muy profunda.

La tormenta perfecta.

Se alinearon tres factores. Primero, los datos.

Por fin tenían ImageNet.

Segundo, el hardware. Las tarjetas gráficas de videojuegos, las GPUs.

Gracias a CUDA de NVIDIA. Eso es, habían alcanzado una potencia que permitía esos cálculos masivos.

Y tercero, el modelo. Una arquitectura de ocho capas con 60 millones de parámetros.

Entiendo. Suena perfecto. Pero otros habían intentado usar redes profundas y habían fracasado.

El truco tuvo que estar en los detalles del modelo, ¿no?

¿Qué tenía por dentro?

Para que funcionara tan bien.

Esa es la clave.

No eran solo los ingredientes, era la receta.

Y el paper es muy claro sobre cuáles fueron sus trucos.

El primero, y según ellos el más importante, fue cambiar una pieza minúscula, la función de activación.

Usaron algo llamado ReLU.

Rectified Linear Units.

Suena muy técnico, pero la idea es casi ridículamente simple.

Es insultantemente simple.

Las redes de la época usaban funciones matemáticamente complejas.

Como las sigmoides, que se saturan.

Hacen que el aprendizaje sea muy lento.

Agónicamente lento. ReLU es simplemente la función max 0,x.

Si la señal es negativa, la neurona se apaga. Si es positiva, la deja pasar tal cual.

Es trivial.

¿Y el efecto?

Demoledor. El paper demuestra que las redes con ReLU entrenaban hasta seis veces más rápido.

¿Seis veces? Es una locura.

Sin esa simpleza, probablemente no habrían tenido tiempo de entrenar su modelo para la computadora.

Es fascinante que la solución no fuera un algoritmo más complejo, sino radicalmente más simple.

Fue un shock cultural, totalmente.

Demostró que a veces la solución más elegante no es la que funciona.

Pero la velocidad era sólo el primer problema. El siguiente era de pura fuerza bruta.

¿A qué te refieres?

Su modelo era tan gigantesco que no cabía en la memoria de una sola GPU de la época.

Claro. Hablamos de tarjetas con tres gigas de memoria. Hoy nos parece de risa.

Exacto.

Un modelo de 60 millones de kilómetros.

¿De parámetros no entra ahí?

Parecía un obstáculo insalvable. ¿Cómo lo solucionaron?

Con pura ingeniería. Partieron la red por la mitad, entrenaron unas capas en una GPU y el resto en otra.

Y las comunicaban en puntos concretos.

Y al hacerlo descubrieron algo que no se esperaban.

Algo fascinante. El sistema se autoorganizó. Observaron que cada GPU se especializaba de forma espontánea.

¿Cómo que se especializaba?

¿Cómo se especializaba?

Pues, por ejemplo.

Los filtros de una GPU aprendieron a ignorar el color. Se especializaron en detectar bordes, texturas, formas.

Entiendo.

Mientras la otra GPU se especializó justo en lo contrario, en detectar manchas de color.

El sistema creó por sí mismo una especie de hemisferio para la forma y otro para el color.

Eso es alucinante. Es casi biológico.

Totalmente. Vale, ya tienen un modelo que entrena rápido y que cabe en las máquinas.

Pero ahora viene…

El gran fantasma de las redes neuronales. El sobreajuste. El enemigo a batir.

El riesgo de que el modelo se memorizara las fotos en lugar de aprender a generalizar.

¿Y qué hicieron para evitarlo?

Usaron un arsenal de técnicas, pero dos fueron revolucionarias.

La primera, el data augmentation. El aumento de datos.

La idea de… si no tienes suficientes datos, invéntatelos.

Exactamente. De cada imagen extraían múltiples recortes de datos.

Múltiples, aleatorios y también sus reflejos, como en un espejo.

Con esa técnica tan simple, multiplicaron el tamaño de su dataset por un factor de 2.048.

Brutal. Una forma barata de generar una cantidad ingente de datos.

¿Y la segunda técnica? Porque esta sí que se ha convertido en un estándar absoluto.

La segunda es dropout. Una de las ideas más brillantes y contraintuitivas del deep learning propuesta por el propio Hinton.

¿Qué consiste en…?

Durante el entrenamiento, en cada paso de la carrera, se han convertido en un estándar absoluto.

En este caso, apagas al azar la mitad de las neuronas. Simplemente no participan.

Parece una locura. Estás haciendo que tu red sea más tonta a propósito. ¿Por qué funciona eso?

Porque la obliga a ser robusta. Evita que una neurona dependa demasiado de una característica concreta, porque sabe que en cualquier momento puede desaparecer.

La fuerza a aprender representaciones redundantes. Exacto. Al final, todas las neuronas se vuelven más versátiles.

El paper es tajante. Sin dropout, su red sufría de un sobreajuste.

Un sobreajuste sustancial.

Entiendo que, además de esto, hubo otros retoques más finos.

Sí, y eso demuestra la atención al detalle que pusieron. Mencionan una normalización inspirada en la biología y una técnica de pooling solapado. Cada una arañó alguna décima al error.

¿Fueron el pulido final?

Eso es. Pero las grandes palancas fueron relu, los datos aumentados y, sobre todo, dropout.

El impacto de todo esto fue… sísmico. No fue solo ganar una competición.

No.

Fue demostrarle a todo un campo de investigación que el camino que la mayoría seguía estaba equivocado. Y que esa vía excéntrica de las redes profundas era el futuro.

Un cambio de paradigma total.

Instantáneo. Hay un gráfico muy famoso del repositorio científico Archive. Durante años, la línea de papers de IA es casi plana. Y en 2012…

Se convierte en una pared vertical.

Una pared vertical que no ha dejado de crecer. Alex Nett abrió las compuertas.

Toda la comunidad, y poco después la industria, pivotó masivamente hacia el deep learning.

Y la propia competición, el ILSBRC, es el mejor termómetro de esa revolución.

El mejor. Siguió hasta 2017. Para entonces, la mayoría de modelos ya superaban el umbral del 5% de error que se considera rendimiento sobrehumano.

En solo 5 años.

En 5 años pasamos de luchar por un 25% a superar la capacidad humana. Todo gracias a la explosión que inició Alex Nett.

Mirando hacia atrás, leyendo el paper, ¿eran ellos conscientes de la revolución que estaban desatando?

El párrafo final es que es profético. Pone la piel de gallina. Señalan dos cosas. Primero, dicen que no usaron pre-entrenamiento no supervisado, pero que esperaban que fuera una vía muy fructífera.

Que hoy es el pilar de los modelos como GPT. Lo vieron venir.

Lo vieron venir. Y la segunda parte de la profecía es aún más potente.

¿Qué dicen? ¿Concluyen diciendo…?

Más o menos.

Nuestros resultados mejoran cuanto más grande hacemos la red y más tiempo la entrenamos.

La receta de la última década.

Y terminan con una frase increíble.

Pero todavía nos quedan muchos órdenes de magnitud para igualar la vía inferotemporal del sistema visual humano.

Alucinante.

O sea, en su momento de mayor triunfo, ya están diciendo, esto es solo el principio y el camino a seguir es la escala.

¿Más datos?

Modelos más grandes, más computación.

Dejaron clarísimo que el rendimiento estaba ligado a la escala, pero que la brecha con la biología seguía siendo abismal.

AlexNet no fue un invento milagroso. Fue la sinergia perfecta de tres pilares.

Datos masivos, gracias a ImagenNet.

Computación paralela asequible, gracias a las GPUs de los videojuegos.

Y una arquitectura de red profunda, resucitada con innovaciones clave como Relu y Dropout, que por fin la hicieron entrenable.

Esa es la síntesis perfecta. AlexNet no solo resolvió un problema de visión. Cambió las reglas del juego para toda la IA.

Demostró que la escala, tanto de datos como de modelo, era un camino tremendamente poderoso hacia la inteligencia.

Lo que nos deja con una pregunta final. Para reflexionar sobre dónde estamos hoy, más de una década después.

Así es. En 2012, el equipo de Hinton identificó la escala como el camino. Pero reconoció la enorme brecha con el cerebro.

Hoy, operamos con modelos miles de veces más grandes.

Entrenados con datasets que hacen que ImagenNet parezca un juguete.

Exacto. La pregunta que sigue en el aire es, ¿estamos simplemente escalando la misma idea fundamental que ellos propusieron?

¿O hemos descubierto en este tiempo nuevos principios que nos acerquen de verdad a esa vía infratemporal del cerebro?

Dicho de otro modo, ¿es la inteligencia solo una cuestión de escala computacional?

¿O nos siguen faltando piezas conceptuales que ni siquiera el Big Bang de AlexNet llegó a iluminar?

Y hasta aquí el episodio de hoy. Muchas gracias por tu atención.

Esto es BIMPRAXIS. Nos escuchamos en el próximo episodio.