Epoca
Errori nell'ultima epoca
Pesi w₁ · w₂ · b
Convergenza
  • Classe +1
  • Classe −1
  • Classificato male
  • Confine di decisione
  • Vettore dei pesi w

Il clic aggiunge

Scopri di più sul percettrone

Visualizzatore del percettrone

Il percettrone è la macchina che impara più semplice che esista: un unico neurone artificiale che somma i suoi ingressi pesati e risponde sì o no. Con due ingressi la sua risposta cambia lungo una retta, e imparare significa spostare quella retta finché ogni punto sta dalla propria parte. Clicca nel piano punti di due classi o scegli una porta logica, poi segui la regola di Rosenblatt un esempio alla volta, guarda ogni peso prima e dopo l'aggiornamento e osserva la retta ruotare e scivolare al suo posto, oppure fallire per sempre su XOR. Scegli un insieme di dati o clicca dei punti nel piano: un clic aggiunge un punto della classe scelta in «Il clic aggiunge», un Maiusc-clic o un clic destro un punto dell'altra classe, e un clic su un punto lo rimuove. Poi addestra il neurone. Passo mostra un esempio: l'anello tratteggiato lo indica e la tabella mostra i pesi prima e dopo l'aggiornamento w ← w + η·(y − ŷ)·x. Epoca esegue un passaggio su tutti i punti, e Avvia continua alla velocità scelta finché un passaggio non fa errori o si raggiunge il limite di epoche. La retta è dove w₁x + w₂y + b = 0, la freccia è il vettore dei pesi e un anello rosso segna un punto dalla parte sbagliata.

Come funziona

  1. Scegli un insieme di dati, dalle porte logiche AND, OR, NAND e XOR a punti casuali con un margine o due nuvole sovrapposte, oppure clicca i tuoi punti nel piano.
  2. Premi Passo per mostrare al neurone un esempio e vedere l'aggiornamento di ogni peso, oppure Epoca o Avvia per addestrarlo su tutti i punti.
  3. Osserva il confine di decisione, il vettore dei pesi e gli errori per epoca finché un passaggio non fa errori, e prova XOR per vedere un singolo percettrone fallire.

Un neurone, una retta

Un percettrone con ingressi x e y calcola w₁x + w₂y + b e risponde +1 quando la somma è positiva e −1 quando è negativa. La somma è zero esattamente sulla retta w₁x + w₂y + b = 0, quindi il neurone taglia il piano in due semipiani, uno per classe. Il vettore dei pesi (w₁, w₂) è perpendicolare a quella retta e punta verso il lato +1, e il bias b allontana la retta dall'origine. Trattare il bias come il peso w₀ di un ingresso che vale sempre 1 permette a una sola regola di addestrare tutti e tre i numeri.

La regola di apprendimento

L'addestramento mostra al neurone un punto alla volta. Se risponde giusto, non cambia nulla. Se sbaglia, ogni peso cambia di η·(y − ŷ) volte il suo ingresso, dove y è la classe vera, ŷ la risposta e η il tasso di apprendimento. Questo spinge la retta a mettere il punto dalla parte giusta. Un passaggio su tutti i punti è un'epoca. Se i punti possono essere separati da una retta, il teorema di convergenza del percettrone garantisce che questa semplice regola trovi una tale retta dopo un numero finito di errori; XOR mostra che cosa succede quando una retta così non esiste.

Domande frequenti

Perché un percettrone non può imparare XOR?

XOR è vero per (0, 1) e (1, 0) e falso per (0, 0) e (1, 1). I due punti veri stanno su una diagonale del quadrato e i due falsi sull'altra, e nessuna retta mette una diagonale da una parte e l'altra dall'altra. Un singolo percettrone sa tracciare solo rette, quindi su XOR continua a sbagliare, epoca dopo epoca, e non converge mai. Un secondo strato di neuroni, o un ingresso in più come x·y, risolve il problema.

Il percettrone converge sempre?

Converge ogni volta che una retta può separare le due classi: il teorema di convergenza del percettrone limita il numero di aggiornamenti, a non più di (R/γ)² per la regola nella sua forma classica, dove R è la lunghezza del vettore d'ingresso più lungo e γ il margine della migliore retta separatrice. Un margine piccolo può voler dire molte epoche. Se non esiste una retta separatrice non converge mai, ed è per questo che l'app si ferma a un limite di epoche e controlla se i punti sono separabili.

Che cosa fa il tasso di apprendimento?

Stabilisce la grandezza di ogni aggiornamento. Partendo da pesi nulli, moltiplica soltanto tutti i pesi per lo stesso fattore e non cambia mai la retta né il numero di errori, una curiosa proprietà del percettrone. Con pesi iniziali casuali conta: un tasso piccolo tiene più a lungo la retta vicino al punto di partenza, uno grande lascia dominare i primi errori.

Che cos'è l'algoritmo pocket?

Una piccola modifica, pubblicata da Stephen Gallant nel 1990, per dati che nessuna retta separa. Il percettrone funziona come al solito, ma dopo ogni aggiornamento si contano gli errori dei nuovi pesi su tutti i punti e i pesi migliori finora vengono messi in tasca («pocket»). La retta pocket, tratteggiata, è la risposta quando l'addestramento si ferma, invece della retta che l'ultimo aggiornamento ha lasciato per caso.

Viene inviato qualcosa a un server?

No. I punti, l'addestramento e il disegno funzionano tutti nel tuo browser, e i tuoi punti e pesi restano nella memoria locale di questo browser.

Pronto a provarlo?

Apri PictorX nel tuo browser: nessuna installazione, nessuna carta di credito richiesta per iniziare.

Vai all'editor