- Klasse +1
- Klasse −1
- Fout geclassificeerd
- Beslissingsgrens
- Gewichtsvector w
- Pocketlijn
| Gewicht | Voor | Verandering | Na |
|---|
- Fouten per epoch
- Fouten van de pocket
Perceptron-visualizer
De perceptron is de eenvoudigste lerende machine die er bestaat: één kunstmatig neuron dat zijn gewogen invoer optelt en ja of nee antwoordt. Met twee invoerwaarden verandert zijn antwoord langs een rechte lijn, en leren betekent die lijn verschuiven tot elk punt aan zijn eigen kant ligt. Klik punten van twee klassen in het vlak of kies een logische poort, loop dan de regel van Rosenblatt voorbeeld voor voorbeeld door, zie elk gewicht voor en na de update, en kijk hoe de lijn draait en op zijn plek schuift, of bij XOR voor altijd faalt. Kies een dataset of klik punten in het vlak: een klik voegt een punt toe van de klasse die onder ‘Klik voegt toe’ is gekozen, een shift-klik of rechtermuisklik een punt van de andere klasse, en een klik op een punt verwijdert het. Train daarna het neuron. Stap toont één voorbeeld: de gestippelde ring markeert het, en de tabel toont de gewichten voor en na de update w ← w + η·(y − ŷ)·x. Epoch doet één ronde langs alle punten, en Afspelen gaat door op de gekozen snelheid tot een ronde geen fout maakt of het maximum aantal epochs is bereikt. De lijn ligt waar w₁x + w₂y + b = 0, de pijl is de gewichtsvector en een rode ring markeert een punt aan de verkeerde kant.
Hoe het werkt
- Kies een dataset, van de logische poorten AND, OR, NAND en XOR tot willekeurige punten met een marge of twee overlappende wolken, of klik je eigen punten in het vlak.
- Druk op Stap om het neuron één voorbeeld te laten zien en de update van elk gewicht te bekijken, of op Epoch of Afspelen om met alle punten te trainen.
- Volg de beslissingsgrens, de gewichtsvector en de fouten per epoch tot een ronde foutloos is, en probeer XOR om één perceptron te zien falen.
Eén neuron, één lijn
Een perceptron met invoer x en y berekent w₁x + w₂y + b en antwoordt +1 als de som positief is en −1 als ze negatief is. Precies op de lijn w₁x + w₂y + b = 0 is de som nul, dus het neuron snijdt het vlak in twee halfvlakken, één voor elke klasse. De gewichtsvector (w₁, w₂) staat loodrecht op die lijn en wijst naar de kant van +1, en de bias b schuift de lijn weg van de oorsprong. Door de bias te behandelen als het gewicht w₀ van een invoer die altijd 1 is, traint één regel alle drie de getallen.
De leerregel
Bij het trainen krijgt het neuron één punt tegelijk te zien. Antwoordt het goed, dan verandert er niets. Antwoordt het fout, dan verandert elk gewicht met η·(y − ŷ) keer zijn invoer, waarbij y de echte klasse is, ŷ het antwoord en η de leersnelheid. Dat duwt de lijn zo dat het punt aan de goede kant komt. Eén ronde langs alle punten is een epoch. Als een rechte lijn de punten kan scheiden, garandeert de convergentiestelling van de perceptron dat deze eenvoudige regel na eindig veel fouten zo'n lijn vindt; XOR laat zien wat er gebeurt als die lijn niet bestaat.
Veelgestelde vragen
Waarom kan een perceptron XOR niet leren?
XOR is waar voor (0, 1) en (1, 0) en onwaar voor (0, 0) en (1, 1). De twee ware punten liggen op de ene diagonaal van het vierkant en de twee onware op de andere, en geen rechte lijn zet de ene diagonaal aan de ene kant en de andere aan de andere kant. Eén perceptron kan alleen rechte lijnen trekken, dus bij XOR blijft hij epoch na epoch fouten maken en convergeert hij nooit. Een tweede laag neuronen, of een extra invoer zoals x·y, lost het op.
Convergeert de perceptron altijd?
Hij convergeert altijd als een rechte lijn de twee klassen kan scheiden: de convergentiestelling van de perceptron begrenst het aantal updates, tot hoogstens (R/γ)² voor de regel in zijn klassieke vorm, waarbij R de lengte van de langste invoervector is en γ de marge van de beste scheidende lijn. Een kleine marge kan veel epochs betekenen. Bestaat er geen scheidende lijn, dan convergeert hij nooit; daarom stopt de app bij een maximum aantal epochs en controleert ze of de punten scheidbaar zijn.
Wat doet de leersnelheid?
Die bepaalt hoe groot elke update is. Vanaf nulgewichten vermenigvuldigt ze alleen alle gewichten met dezelfde factor en verandert ze de lijn en het aantal fouten nooit, een merkwaardige eigenschap van de perceptron. Met willekeurige startgewichten maakt ze wel uit: een kleine leersnelheid houdt de lijn langer dicht bij zijn begin, een grote laat de eerste fouten de doorslag geven.
Wat is het pocketalgoritme?
Een kleine aanpassing, in 1990 gepubliceerd door Stephen Gallant, voor data die geen rechte lijn scheidt. De perceptron draait zoals gewoonlijk, maar na elke update worden de fouten van de nieuwe gewichten op alle punten geteld, en de beste gewichten tot nu toe gaan in de ‘pocket’. De gestippelde pocketlijn is het antwoord als de training stopt, in plaats van de lijn die de laatste update toevallig achterliet.
Wordt er iets naar een server gestuurd?
Nee. De punten, de training en de tekening draaien allemaal in je browser, en je punten en gewichten blijven in de lokale opslag van deze browser.
Klaar om het te proberen?
Open PictorX in je browser - geen installatie, geen creditcard nodig om te starten.
Ga naar Editor