- Klasse +1
- Klasse −1
- Falsch klassifiziert
- Entscheidungsgrenze
- Gewichtsvektor w
- Pocket-Gerade
| Gewicht | Vorher | Änderung | Nachher |
|---|
- Fehler pro Epoche
- Pocket-Fehler
Perzeptron-Visualisierer
Das Perzeptron ist die einfachste lernende Maschine, die es gibt: ein einzelnes künstliches Neuron, das seine gewichteten Eingaben addiert und mit Ja oder Nein antwortet. Bei zwei Eingaben wechselt seine Antwort entlang einer Geraden, und Lernen heißt, diese Gerade so zu verschieben, bis jeder Punkt auf seiner eigenen Seite liegt. Klicken Sie Punkte zweier Klassen in die Ebene oder wählen Sie ein Logikgatter, gehen Sie dann Rosenblatts Regel Beispiel für Beispiel durch, sehen Sie jedes Gewicht vor und nach der Aktualisierung und beobachten Sie, wie sich die Gerade dreht und an ihren Platz rutscht – oder bei XOR für immer scheitert. Wählen Sie einen Datensatz oder klicken Sie Punkte in die Ebene: Ein Klick fügt einen Punkt der unter „Klick fügt hinzu“ gewählten Klasse hinzu, ein Umschalt-Klick oder Rechtsklick einen der anderen Klasse, und ein Klick auf einen Punkt entfernt ihn. Dann trainieren Sie das Neuron. Schritt zeigt ein Beispiel: Der gestrichelte Ring markiert es, und die Tabelle zeigt die Gewichte vor und nach der Aktualisierung w ← w + η·(y − ŷ)·x. Epoche führt einen Durchlauf über alle Punkte aus, und Abspielen läuft im gewählten Tempo weiter, bis ein Durchlauf keinen Fehler macht oder die Epochengrenze erreicht ist. Die Gerade ist dort, wo w₁x + w₂y + b = 0 gilt, der Pfeil ist der Gewichtsvektor, und ein roter Ring markiert einen Punkt auf der falschen Seite.
Wie es funktioniert
- Wählen Sie einen Datensatz, von den Logikgattern AND, OR, NAND und XOR bis zu Zufallspunkten mit Abstand oder zwei überlappenden Wolken, oder klicken Sie eigene Punkte in die Ebene.
- Drücken Sie Schritt, um dem Neuron ein Beispiel zu zeigen und die Aktualisierung jedes Gewichts zu sehen, oder Epoche bzw. Abspielen, um mit allen Punkten zu trainieren.
- Beobachten Sie Entscheidungsgrenze, Gewichtsvektor und die Fehler pro Epoche, bis ein Durchlauf fehlerfrei ist, und probieren Sie XOR aus, um ein einzelnes Perzeptron scheitern zu sehen.
Ein Neuron, eine Gerade
Ein Perzeptron mit den Eingaben x und y berechnet w₁x + w₂y + b und antwortet +1, wenn die Summe positiv ist, und −1, wenn sie negativ ist. Genau auf der Geraden w₁x + w₂y + b = 0 ist die Summe null, also zerlegt das Neuron die Ebene in zwei Halbebenen, eine für jede Klasse. Der Gewichtsvektor (w₁, w₂) steht senkrecht auf dieser Geraden und zeigt in die Seite von +1, und der Bias b verschiebt die Gerade vom Ursprung weg. Behandelt man den Bias als Gewicht w₀ einer Eingabe, die immer 1 ist, trainiert eine einzige Regel alle drei Zahlen.
Die Lernregel
Beim Training sieht das Neuron einen Punkt nach dem anderen. Antwortet es richtig, ändert sich nichts. Antwortet es falsch, ändert sich jedes Gewicht um η·(y − ŷ) mal seine Eingabe, wobei y die wahre Klasse, ŷ die Antwort und η die Lernrate ist. Das schiebt die Gerade so, dass der Punkt auf die richtige Seite rückt. Ein Durchlauf über alle Punkte ist eine Epoche. Wenn sich die Punkte durch eine Gerade trennen lassen, garantiert der Konvergenzsatz des Perzeptrons, dass diese einfache Regel nach endlich vielen Fehlern eine solche Gerade findet; XOR zeigt, was passiert, wenn es keine gibt.
Häufig gestellte Fragen
Warum kann ein Perzeptron XOR nicht lernen?
XOR ist wahr für (0, 1) und (1, 0) und falsch für (0, 0) und (1, 1). Die beiden wahren Punkte liegen auf der einen Diagonale des Quadrats, die beiden falschen auf der anderen, und keine Gerade bringt die eine Diagonale auf die eine Seite und die andere auf die andere. Ein einzelnes Perzeptron kann nur Geraden ziehen, also macht es bei XOR Epoche für Epoche Fehler und konvergiert nie. Eine zweite Schicht von Neuronen oder eine zusätzliche Eingabe wie x·y löst das Problem.
Konvergiert das Perzeptron immer?
Es konvergiert immer dann, wenn eine Gerade die beiden Klassen trennen kann: Der Konvergenzsatz des Perzeptrons begrenzt die Zahl der Aktualisierungen, für die Regel in ihrer klassischen Form auf höchstens (R/γ)², wobei R die Länge des längsten Eingabevektors und γ der Abstand der besten trennenden Geraden ist. Ein kleiner Abstand kann viele Epochen bedeuten. Gibt es keine trennende Gerade, konvergiert es nie; deshalb stoppt die App an einer Epochengrenze und prüft, ob die Punkte trennbar sind.
Was bewirkt die Lernrate?
Sie legt die Größe jeder Aktualisierung fest. Ausgehend von Nullgewichten skaliert sie nur alle Gewichte mit demselben Faktor und ändert weder die Gerade noch die Zahl der Fehler – eine kuriose Eigenschaft des Perzeptrons. Bei zufälligen Startgewichten spielt sie eine Rolle: Eine kleine Rate hält die Gerade länger nahe an ihrem Start, eine große lässt die ersten Fehler dominieren.
Was ist der Pocket-Algorithmus?
Eine kleine Abwandlung, 1990 von Stephen Gallant veröffentlicht, für Daten, die keine Gerade trennt. Das Perzeptron läuft wie gewohnt, aber nach jeder Aktualisierung werden die Fehler der neuen Gewichte auf allen Punkten gezählt, und die bisher besten Gewichte kommen in die Tasche („Pocket“). Die gestrichelte Pocket-Gerade ist die Antwort, wenn das Training stoppt, statt der Gerade, die die letzte Aktualisierung zufällig hinterlassen hat.
Wird etwas an einen Server gesendet?
Nein. Die Punkte, das Training und die Darstellung laufen vollständig in Ihrem Browser, und Ihre Punkte und Gewichte bleiben im lokalen Speicher dieses Browsers.
Bereit, es auszuprobieren?
Öffnen Sie PictorX in Ihrem Browser – keine Installation, zum Starten ist keine Kreditkarte erforderlich.
Zum Editor