- Klasse +1
- Klasse −1
- Fejlklassificeret
- Beslutningsgrænse
- Vægtvektor w
- Lommelinje
| Vægt | Før | Ændring | Efter |
|---|
- Fejl pr. epoke
- Lommens fejl
Perceptron-visualisering
Perceptronen er den enkleste lærende maskine, der findes: én kunstig neuron, der lægger sine vægtede input sammen og svarer ja eller nej. Med to input skifter svaret langs en ret linje, og at lære betyder at flytte den linje, indtil hvert punkt ligger på sin egen side. Klik punkter af to klasser ind i planen, eller vælg en logisk gate, gå så Rosenblatts regel igennem ét eksempel ad gangen, se hver vægt før og efter opdateringen, og se linjen dreje og glide på plads – eller fejle for evigt på XOR. Vælg et datasæt, eller klik punkter ind i planen: Et klik tilføjer et punkt af den klasse, der er valgt under »Klik tilføjer«, et Skift-klik eller højreklik et punkt af den anden klasse, og et klik på et punkt fjerner det. Træn derefter neuronen. Trin viser ét eksempel: Den stiplede ring markerer det, og tabellen viser vægtene før og efter opdateringen w ← w + η·(y − ŷ)·x. Epoke kører én gennemgang af alle punkter, og Afspil fortsætter i den valgte hastighed, indtil en gennemgang ikke laver nogen fejl, eller epokegrænsen er nået. Linjen er der, hvor w₁x + w₂y + b = 0, pilen er vægtvektoren, og en rød ring markerer et punkt på den forkerte side.
Sådan virker det
- Vælg et datasæt, fra de logiske gates AND, OR, NAND og XOR til tilfældige punkter med en margin eller to overlappende skyer, eller klik dine egne punkter ind i planen.
- Tryk på Trin for at vise neuronen ét eksempel og se opdateringen af hver vægt, eller på Epoke eller Afspil for at træne på alle punkter.
- Følg beslutningsgrænsen, vægtvektoren og fejlene pr. epoke, indtil en gennemgang er fejlfri, og prøv XOR for at se en enkelt perceptron fejle.
Én neuron, én linje
En perceptron med input x og y beregner w₁x + w₂y + b og svarer +1, når summen er positiv, og −1, når den er negativ. Summen er nul præcis på linjen w₁x + w₂y + b = 0, så neuronen skærer planen i to halvplaner, én for hver klasse. Vægtvektoren (w₁, w₂) står vinkelret på linjen og peger ind i +1-siden, og bias b flytter linjen væk fra origo. Når bias behandles som vægten w₀ for et input, der altid er 1, kan én regel træne alle tre tal.
Læringsreglen
Under træningen ser neuronen ét punkt ad gangen. Svarer den rigtigt, sker der intet. Svarer den forkert, ændres hver vægt med η·(y − ŷ) gange sit input, hvor y er den sande klasse, ŷ svaret og η læringsraten. Det skubber linjen, så punktet kommer på den rigtige side. Én gennemgang af alle punkter er en epoke. Hvis punkterne kan adskilles af en ret linje, garanterer perceptronens konvergenssætning, at denne enkle regel finder sådan en linje efter et endeligt antal fejl; XOR viser, hvad der sker, når den linje ikke findes.
Ofte stillede spørgsmål
Hvorfor kan en perceptron ikke lære XOR?
XOR er sand for (0, 1) og (1, 0) og falsk for (0, 0) og (1, 1). De to sande punkter ligger på den ene diagonal i kvadratet og de to falske på den anden, og ingen ret linje kan lægge den ene diagonal på den ene side og den anden på den anden side. En enkelt perceptron kan kun tegne rette linjer, så på XOR bliver den ved med at lave fejl, epoke efter epoke, og konvergerer aldrig. Et andet lag af neuroner eller et ekstra input som x·y løser det.
Konvergerer perceptronen altid?
Den konvergerer, når en ret linje kan adskille de to klasser: Perceptronens konvergenssætning begrænser antallet af opdateringer, til højst (R/γ)² for reglen i dens klassiske form, hvor R er længden af den længste inputvektor og γ marginen for den bedste adskillende linje. En lille margin kan betyde mange epoker. Når der ikke findes nogen adskillende linje, konvergerer den aldrig, og derfor stopper appen ved en epokegrænse og tjekker, om punkterne kan adskilles.
Hvad gør læringsraten?
Den bestemmer størrelsen af hver opdatering. Fra nulvægte ganger den bare alle vægte med samme faktor og ændrer aldrig linjen eller antallet af fejl – en sjov egenskab ved perceptronen. Med tilfældige startvægte betyder den noget: En lille rate holder linjen tæt på startpositionen længere, en stor rate lader de første fejl dominere.
Hvad er lommealgoritmen?
En lille ændring, udgivet af Stephen Gallant i 1990, til data, som ingen linje kan adskille. Perceptronen kører som normalt, men efter hver opdatering tælles de nye vægtes fejl på alle punkter, og de bedste vægte indtil nu lægges i lommen (»pocket«). Den stiplede lommelinje er svaret, når træningen stopper, i stedet for den linje, som den sidste opdatering tilfældigvis efterlod.
Bliver noget sendt til en server?
Nej. Punkterne, træningen og tegningen kører alle i din browser, og dine punkter og vægte bliver i denne browsers lokale lager.
Er du klar til at prøve?
Åbn PictorX i din browser – ingen installation og intet kreditkort for at komme i gang.
Gå til Editor