Le reti neurali spiegate

I sistemi che riconoscono i volti, traducono testi e scrivono risposte si basano su un'idea sorprendentemente semplice: tante piccole unità che sommano numeri, piegano un po' il risultato e lo passano avanti. Nessuno programma le regole. La rete parte da impostazioni casuali e le regola, un passo minuscolo alla volta, finché le sue risposte non corrispondono agli esempi che le vengono mostrati. Questo articolo segue quest'idea da un singolo neurone fino a una rete che impara una spirale.

Una piccola rete neurale con ingressi, due strati nascosti e un'uscita, con connessioni blu e arancioni, accanto a un piano in cui un confine curvo separa punti blu e arancioni
Una piccola rete neurale con ingressi, due strati nascosti e un'uscita, con connessioni blu e arancioni, accanto a un piano in cui un confine curvo separa punti blu e arancioni

Un neurone

Un neurone artificiale prende alcuni numeri, moltiplica ciascuno per un peso, li somma insieme a un bias e fa passare il totale attraverso una funzione di attivazione. Warren McCulloch e Walter Pitts descrissero un'unità del genere nel 1943, e nel 1958 Frank Rosenblatt costruì il percettrone, una macchina che imparava da sola i propri pesi a partire da esempi. Con due ingressi x e y, la somma pesata vale zero lungo una retta, quindi un singolo neurone divide il piano in due metà: da una parte il suo sì, dall'altra il suo no, con una transizione morbida quando l'attivazione è liscia.

Warren McCulloch (a sinistra, con la barba) e colleghi
Warren McCulloch (a sinistra, con la barba) e colleghi

Funzioni di attivazione

È la funzione di attivazione a rendere una rete qualcosa di più di una somma. La sigmoide comprime qualsiasi numero nell'intervallo da 0 a 1 e tanh in quello da −1 a 1; entrambe sono curve lisce a forma di S. ReLU, l'unità lineare rettificata, restituisce zero per i numeri negativi e il numero stesso altrimenti; dal 2010 circa è la scelta abituale per le reti profonde, perché costa poco e impedisce ai gradienti di svanire. Senza una curva di questo tipo, impilare strati sarebbe inutile: una catena di funzioni lineari è ancora un'unica funzione lineare, e il suo confine è ancora una retta.

Strati

Metti diversi neuroni uno accanto all'altro e hai uno strato; manda le uscite di uno strato nel successivo e hai una rete. Nella sandbox il primo strato nascosto taglia il piano lungo diverse rette, lo strato successivo combina questi semipiani in cunei e isole, e il neurone di uscita pesa il tutto in un'unica probabilità. Nel 1969 Marvin Minsky e Seymour Papert dimostrarono che un percettrone senza strati nascosti non può imparare lo XOR, il che contribuì a bloccare il settore per anni. Vent'anni dopo George Cybenko e altri dimostrarono il contrario per le reti con uno strato nascosto: con abbastanza neuroni possono approssimare qualsiasi funzione continua con la precisione che si vuole.

Misurare l'errore

Per imparare, una rete ha bisogno di un numero che dica quanto sbaglia: la perdita. Per due classi la scelta abituale è l'entropia incrociata. Se la rete assegna a un punto blu una probabilità p di essere blu, quel punto costa −log p, che è piccolo quando p è vicino a 1 e cresce senza limite quando p tende a 0. La perdita è la media del costo sui punti. Una rete che risponde un mezzo ovunque ha una perdita di log 2, circa 0,693, vicino al valore da cui parte il grafico della sandbox.

Discesa del gradiente e retropropagazione

Immagina la perdita come un paesaggio sopra tutti i pesi. La discesa del gradiente trova la direzione in discesa, il gradiente negativo, e fa un piccolo passo in quella direzione, ancora e ancora. Calcolare il gradiente per migliaia di pesi sembra costoso, ma la retropropagazione lo fa in un unico passaggio all'indietro: partendo dall'errore in uscita, la regola della catena assegna a ogni strato la sua parte di colpa, strato dopo strato, fino agli ingressi. Il metodo fu descritto più volte, e l'articolo del 1986 di David Rumelhart, Geoffrey Hinton e Ronald Williams lo rese il modo standard di addestrare le reti. Usare per ogni passo un piccolo lotto casuale di punti invece di tutti, la discesa stocastica del gradiente, è più veloce e funziona altrettanto bene.

Geoffrey Hinton, un fondatore delle reti neurali moderne
Geoffrey Hinton, un fondatore delle reti neurali moderne

Il tasso di apprendimento

L'ampiezza del passo si chiama tasso di apprendimento, ed è l'impostazione che più spesso decide se l'addestramento funziona. Se è troppo piccolo, la perdita scende così lentamente che sembra non succedere nulla. Se è troppo grande, ogni passo oltrepassa la valle a cui mirava: la perdita rimbalza su e giù o, nelle reti più grandi, esplode finché i numeri non vanno in overflow. Con ReLU un passo grande può anche spingere dei neuroni in una zona in cui la loro somma è negativa per ogni punto; allora restituiscono zero, non ricevono più gradiente e non si riprendono mai. Prova la spirale con un tasso di 3 nella sandbox: con tanh la perdita salta qua e là, con ReLU molti neuroni si spengono e la perdita resta bloccata vicino a 0,69. Poi prova 0,001 per vederla avanzare strisciando.

Overfitting

Una rete con abbastanza pesi può memorizzare i suoi punti di addestramento, rumore compreso, e tracciare un confine che si attorciglia attorno a ogni punto isolato. Allora va bene sui punti che ha visto e male su quelli nuovi. Per questo una parte dei dati viene tenuta da parte come dati di test, mai usati per l'addestramento. Finché entrambe le perdite scendono, la rete sta imparando lo schema; quando la perdita di test risale mentre quella di addestramento continua a scendere, ha cominciato a memorizzare. Reti più piccole, più dati, l'aggiunta di rumore o semplicemente fermarsi al momento giusto aiutano tutti.

Esplora

Apri la sandbox di reti neurali per addestrare una rete con un massimo di quattro strati nascosti di otto neuroni su sei insiemi di dati, compresi punti che aggiungi tu con un clic. Ogni neurone è disegnato come una piccola mappa di ciò a cui reagisce, e ogni peso come una connessione blu o arancione, così puoi guardare la rete inventare le proprie caratteristiche. Prova il cerchio senza strati nascosti, poi aggiungi x² e y² come ingressi; prova la spirale con uno strato, poi con tre; e aggiungi rumore a un piccolo insieme di dati per farla andare in overfitting.

Domande frequenti

È così che funzionano i grandi modelli di IA?

I mattoni sono gli stessi: somme pesate, funzioni di attivazione, una perdita e la discesa del gradiente con retropropagazione. I grandi modelli hanno miliardi di pesi invece di qualche decina, strati pensati per immagini o testo come le convoluzioni e l'attenzione, e si addestrano su enormi insiemi di dati con ottimizzatori migliori. Il ciclo di base che vedi nella sandbox è lo stesso.

Perché l'addestramento parte da pesi casuali?

Se tutti i pesi partissero uguali, ogni neurone di uno strato calcolerebbe la stessa cosa e riceverebbe lo stesso aggiornamento, e resterebbero identici per sempre. Piccoli pesi casuali rompono questa simmetria, così ogni neurone può imparare una caratteristica diversa. La loro grandezza conta: la sandbox li scala in base al numero di ingressi, come suggerirono Xavier Glorot e Yoshua Bengio nel 2010.

Perché due esecuzioni finiscono con confini diversi?

Ogni esecuzione parte da pesi casuali diversi e vede i punti in un ordine casuale diverso, e il paesaggio della perdita ha molte valli quasi altrettanto buone. Due reti possono classificare ugualmente bene i punti di addestramento con confini di forma diversa, e possono non essere d'accordo nelle zone senza dati.

Più strati sono sempre meglio?

No. Le reti più profonde possono rappresentare forme più complesse con meno neuroni, ma sono più difficili da addestrare e vanno in overfitting più facilmente su piccoli insiemi di dati. Per i problemi della sandbox di solito bastano uno o due strati nascosti; la spirale è l'unica che trae un chiaro vantaggio da un numero maggiore.

Pronto a provarlo?

Apri PictorX nel tuo browser: nessuna installazione, nessuna carta di credito richiesta per iniziare.

Apri la sandbox di reti neurali