Epoca
Perdita di addestramento
Perdita di test
Accuratezza
  • Punti di addestramento
  • Punti di test
  • Confine di decisione
  • Perdita di addestramento
  • Perdita di test

Il clic aggiunge
Ingressi

Di più sulle reti neurali

Sandbox di reti neurali

Una rete neurale è una pila di unità semplici che sommano ingressi pesati e fanno passare la somma attraverso una curva. Da sola ogni unità può tracciare solo una retta, ma insieme possono disegnare un cerchio, una spirale o qualsiasi altra forma. Scegli un insieme di dati, costruisci una rete con un massimo di quattro strati nascosti, premi Addestra e guarda il confine tra blu e arancione piegarsi fino a prendere forma, epoca dopo epoca, mentre ogni neurone mostra la parte dello schema che ha imparato a riconoscere. Scegli un insieme di dati e una rete, poi premi Addestra e guarda la rete imparare a separare i punti blu da quelli arancioni. I punti pieni addestrano la rete; gli anelli sono punti di test su cui non si addestra mai. Lo sfondo mostra la risposta della rete per ogni punto del piano, e la linea indica dove cambia idea. Nel diagramma ogni neurone mostra a cosa reagisce, e ogni connessione è blu per un peso positivo e arancione per uno negativo, tanto più spessa quanto più il peso è grande. Fai clic sul piano per aggiungere punti del colore scelto in «Il clic aggiunge».

Come funziona

  1. Scegli un insieme di dati, da due nuvole che una retta può separare a una spirale che richiede più strati, oppure fai clic sul piano per mettere i tuoi punti.
  2. Imposta gli strati nascosti, i neuroni per strato, l'attivazione, il tasso di apprendimento e gli ingressi che riceve la rete.
  3. Premi Addestra e osserva il confine, i neuroni e la perdita; confronta la perdita di addestramento con quella di test per individuare l'overfitting.

Che cosa fa la rete

Ogni neurone moltiplica i suoi ingressi per dei pesi, aggiunge un bias e fa passare il totale attraverso una funzione di attivazione come tanh o ReLU. I neuroni del primo strato nascosto dividono ciascuno il piano lungo una retta, sfumata in un gradiente. Lo strato successivo combina questi semipiani in cunei, fasce e macchie, e il neurone di uscita trasforma il risultato in una probabilità per il blu. Lo sfondo del piano mostra questa probabilità ovunque, e la linea scura si trova dove vale esattamente un mezzo: il confine di decisione.

Come impara

L'addestramento parte da pesi casuali. Per un piccolo lotto di punti di addestramento la rete confronta le sue risposte con i colori veri, e la retropropagazione calcola, dall'uscita all'indietro fino agli ingressi, quanto ogni peso ha contribuito all'errore. Ogni peso si sposta poi di un piccolo passo, il tasso di apprendimento, nella direzione che abbassa la perdita. Un passaggio su tutti i punti di addestramento è un'epoca. Un tasso di apprendimento troppo piccolo rende lenti i progressi; uno troppo grande fa saltare la perdita qua e là o la fa esplodere. I punti di test non vengono mai usati per l'addestramento, quindi la perdita di test mostra quanto bene la rete generalizza.

Domande frequenti

Perché una rete senza strati nascosti non riesce a imparare il cerchio o lo XOR?

Senza strati nascosti l'uscita è una funzione di un'unica somma pesata degli ingressi, quindi il confine è una retta. Nessuna retta mette l'interno di un cerchio da una parte e l'anello dall'altra, né separa le due diagonali dello XOR. Marvin Minsky e Seymour Papert lo fecero notare nel 1969 a proposito dei percettroni a uno strato. Uno strato nascosto risolve il problema, e così anche un ingresso in più: con x² e y² il cerchio diventa un taglio dritto, e con x·y lo diventa anche lo XOR.

Che cos'è l'overfitting e come lo vedo qui?

Una rete va in overfitting quando impara a memoria i punti di addestramento, rumore compreso, invece dello schema che c'è dietro. Scegli un insieme di dati rumoroso con pochi punti e una rete grande, e addestra a lungo: la perdita di addestramento continua a scendere mentre quella di test si stabilizza e comincia a salire, e il confine forma piccole isole attorno a singoli punti. Meno neuroni, più punti o fermarsi prima aiutano.

Quale funzione di attivazione dovrei usare?

Tanh dà confini lisci e arrotondati e si addestra bene su questi piccoli problemi. ReLU, che vale zero per le somme negative e la somma stessa altrimenti, è la scelta predefinita nel deep learning moderno e dà confini fatti di tratti dritti. Sigmoide impara più lentamente negli strati nascosti perché la sua pendenza è piccola. Lineare rende inutile ogni strato nascosto: una pila di strati lineari è ancora un'unica funzione lineare, quindi il confine resta dritto.

Che cosa significano le piccole immagini nel diagramma della rete?

Ognuna mostra l'uscita di un neurone per ogni punto del piano, blu per i valori alti e arancione per quelli bassi. I neuroni di ingresso mostrano x, y e gli altri ingressi, il primo strato nascosto mostra semipiani sfumati, e i neuroni più profondi mostrano le forme più complesse costruite a partire da questi. Le connessioni sono blu per i pesi positivi e arancioni per quelli negativi, tanto più spesse quanto più il peso è grande.

Viene inviato qualcosa a un server?

No. I dati, la rete e l'addestramento girano tutti nel tuo browser in JavaScript puro, senza alcuna libreria di machine learning. Le tue impostazioni e i punti che aggiungi con un clic restano nella memoria locale di questo browser.

Pronto a provarlo?

Apri PictorX nel tuo browser: nessuna installazione, nessuna carta di credito richiesta per iniziare.

Vai all'editor