Las redes neuronales explicadas

Los sistemas que reconocen caras, traducen textos y escriben respuestas se basan en una idea sorprendentemente sencilla: muchas unidades pequeñas que suman números, curvan un poco el resultado y lo pasan a la siguiente. Nadie programa las reglas. La red empieza con ajustes aleatorios y los va corrigiendo, paso a paso y muy poco cada vez, hasta que sus respuestas coinciden con los ejemplos que se le muestran. Este artículo sigue esa idea desde una neurona hasta una red que aprende una espiral.

Una pequeña red neuronal con entradas, dos capas ocultas y una salida, con conexiones azules y naranjas, junto a un plano en el que una frontera curva separa puntos azules y naranjas
Una pequeña red neuronal con entradas, dos capas ocultas y una salida, con conexiones azules y naranjas, junto a un plano en el que una frontera curva separa puntos azules y naranjas

Una neurona

Una neurona artificial toma unos cuantos números, multiplica cada uno por un peso, los suma junto con un sesgo y pasa el total por una función de activación. Warren McCulloch y Walter Pitts describieron una unidad así en 1943, y en 1958 Frank Rosenblatt construyó el perceptrón, una máquina que aprendía sus propios pesos a partir de ejemplos. Con dos entradas x e y, la suma ponderada vale cero a lo largo de una recta, así que una sola neurona divide el plano en dos mitades: un lado es su sí y el otro su no, con una transición gradual cuando la activación es suave.

Warren McCulloch (izquierda, con barba) y colegas
Warren McCulloch (izquierda, con barba) y colegas

Funciones de activación

La función de activación es lo que hace que una red sea algo más que una suma. La sigmoide comprime cualquier número en el intervalo de 0 a 1, y tanh en el de −1 a 1; ambas son curvas suaves en forma de S. ReLU, la unidad lineal rectificada, devuelve cero para los números negativos y el propio número en los demás casos; desde aproximadamente 2010 es la opción habitual para las redes profundas porque es barata de calcular y evita que los gradientes se desvanezcan. Sin una curva de este tipo, apilar capas no serviría de nada: una cadena de funciones lineales sigue siendo una única función lineal, y su frontera sigue siendo una recta.

Capas

Pon varias neuronas una al lado de otra y tendrás una capa; lleva las salidas de una capa a la siguiente y tendrás una red. En el simulador, la primera capa oculta corta el plano a lo largo de varias rectas, la capa siguiente combina esos semiplanos en cuñas e islas, y la neurona de salida lo pondera todo en una única probabilidad. En 1969, Marvin Minsky y Seymour Papert demostraron que un perceptrón sin capas ocultas no puede aprender el XOR, lo que contribuyó a paralizar el campo durante años. Veinte años después, George Cybenko y otros demostraron lo contrario para las redes con una capa oculta: con suficientes neuronas pueden aproximar cualquier función continua con la precisión que se quiera.

Medir el error

Para aprender, una red necesita un número que diga cuánto se equivoca: la pérdida. Para dos clases, la opción habitual es la entropía cruzada. Si la red asigna a un punto azul una probabilidad p de ser azul, ese punto cuesta −log p, que es pequeño cuando p está cerca de 1 y crece sin límite cuando p se acerca a 0. La pérdida es el coste medio sobre los puntos. Una red que responde un medio en todas partes tiene una pérdida de log 2, aproximadamente 0,693, cerca del valor en el que empieza la gráfica del simulador.

Descenso de gradiente y retropropagación

Imagina la pérdida como un paisaje sobre todos los pesos. El descenso de gradiente encuentra la dirección cuesta abajo, el gradiente negativo, y da un pequeño paso en esa dirección, una y otra vez. Calcular el gradiente para miles de pesos parece costoso, pero la retropropagación lo hace en una sola pasada hacia atrás: partiendo del error en la salida, la regla de la cadena reparte a cada capa su parte de culpa, capa a capa, hasta llegar a las entradas. El método se describió varias veces, y el artículo de 1986 de David Rumelhart, Geoffrey Hinton y Ronald Williams lo convirtió en la forma estándar de entrenar redes. Usar en cada paso un pequeño lote aleatorio de puntos en lugar de todos, el descenso de gradiente estocástico, es más rápido y funciona igual de bien.

Geoffrey Hinton, uno de los fundadores de las redes neuronales modernas
Geoffrey Hinton, uno de los fundadores de las redes neuronales modernas

La tasa de aprendizaje

El tamaño del paso se llama tasa de aprendizaje, y es el ajuste que con más frecuencia decide si el entrenamiento funciona. Si es demasiado pequeña, la pérdida baja tan despacio que parece que no pasa nada. Si es demasiado grande, cada paso se pasa del valle al que apuntaba: la pérdida rebota arriba y abajo o, en redes más grandes, se dispara hasta que los números se desbordan. Con ReLU, un paso grande también puede llevar a las neuronas a una zona donde su suma es negativa para todos los puntos; entonces devuelven cero, no reciben gradiente y nunca se recuperan. Prueba la espiral con una tasa de 3 en el simulador: con tanh la pérdida da saltos, con ReLU muchas neuronas se quedan en blanco y la pérdida se atasca cerca de 0,69. Luego prueba 0,001 para verla avanzar a paso de tortuga.

Sobreajuste

Una red con suficientes pesos puede memorizar sus puntos de entrenamiento, ruido incluido, y trazar una frontera que se retuerce alrededor de cada punto suelto. Entonces acierta con los puntos que ha visto y falla con los nuevos. Por eso una parte de los datos se reserva como datos de prueba, que nunca se usan para entrenar. Mientras las dos pérdidas bajan, la red está aprendiendo el patrón; cuando la pérdida de prueba empieza a subir mientras la de entrenamiento sigue bajando, ha empezado a memorizar. Redes más pequeñas, más datos, añadir ruido o simplemente parar en el momento adecuado ayudan.

Explóralo

Abre el simulador de redes neuronales para entrenar una red de hasta cuatro capas ocultas de ocho neuronas con seis conjuntos de datos, incluidos puntos que colocas tú mismo con clics. Cada neurona se dibuja como un pequeño mapa de aquello a lo que responde, y cada peso como una conexión azul o naranja, así que puedes ver cómo la red inventa sus propias características. Prueba el círculo sin capas ocultas y luego añade x² e y² como entradas; prueba la espiral con una capa y luego con tres; y añade ruido a un conjunto de datos pequeño para provocar sobreajuste.

Preguntas frecuentes

¿Así funcionan los grandes modelos de IA?

Las piezas básicas son las mismas: sumas ponderadas, funciones de activación, una pérdida y el descenso de gradiente con retropropagación. Los grandes modelos tienen miles de millones de pesos en lugar de unas pocas decenas, capas pensadas para imágenes o texto como las convoluciones y la atención, y se entrenan con enormes conjuntos de datos y mejores optimizadores. El bucle básico que ves en el simulador es el mismo.

¿Por qué el entrenamiento empieza con pesos aleatorios?

Si todos los pesos empezaran iguales, cada neurona de una capa calcularía lo mismo y recibiría la misma actualización, y seguirían siendo idénticas para siempre. Unos pesos pequeños y aleatorios rompen esa simetría, de modo que cada neurona puede aprender una característica distinta. Su tamaño importa: el simulador los escala según el número de entradas, como propusieron Xavier Glorot y Yoshua Bengio en 2010.

¿Por qué dos ejecuciones terminan con fronteras distintas?

Cada ejecución parte de pesos aleatorios distintos y ve los puntos en un orden aleatorio distinto, y el paisaje de la pérdida tiene muchos valles casi igual de buenos. Dos redes pueden clasificar igual de bien los puntos de entrenamiento con fronteras de formas distintas, y pueden no coincidir en las zonas sin datos.

¿Más capas siempre es mejor?

No. Las redes más profundas pueden representar formas más complejas con menos neuronas, pero son más difíciles de entrenar y se sobreajustan con más facilidad en conjuntos de datos pequeños. Para los problemas del simulador suelen bastar una o dos capas ocultas; la espiral es la única que se beneficia claramente de más.

¿Listo para probarlo?

Abre PictorX en tu navegador: sin instalación ni tarjeta de crédito para empezar.

Abrir el simulador de redes neuronales