- Trainingspunkte
- Testpunkte
- Entscheidungsgrenze
- Trainingsverlust
- Testverlust
Sandbox für neuronale Netze
Ein neuronales Netz ist ein Stapel einfacher Einheiten, die gewichtete Eingaben addieren und die Summe durch eine Krümmung schicken. Allein kann jede Einheit nur eine Gerade ziehen, gemeinsam aber können sie einen Kreis, eine Spirale oder jede andere Form nachzeichnen. Wählen Sie einen Datensatz, bauen Sie ein Netz mit bis zu vier verborgenen Schichten, drücken Sie auf Trainieren und sehen Sie zu, wie sich die Grenze zwischen Blau und Orange Epoche für Epoche in Form biegt, während jedes Neuron den Teil des Musters zeigt, den es zu erkennen gelernt hat. Wählen Sie einen Datensatz und ein Netz, drücken Sie dann auf Trainieren und sehen Sie zu, wie das Netz lernt, die blauen Punkte von den orangen zu trennen. Gefüllte Punkte trainieren das Netz; Ringe sind Testpunkte, mit denen es nie trainiert wird. Der Hintergrund zeigt die Antwort des Netzes für jeden Punkt der Ebene, und die Linie markiert, wo es seine Meinung ändert. Im Diagramm zeigt jedes Neuron, worauf es reagiert, und jede Verbindung ist bei einem positiven Gewicht blau und bei einem negativen orange, und umso dicker, je größer das Gewicht ist. Klicken Sie in die Ebene, um Punkte in der Farbe hinzuzufügen, die unter „Klick fügt hinzu“ gewählt ist.
Wie es funktioniert
- Wählen Sie einen Datensatz, von zwei Wolken, die eine Gerade trennen kann, bis zu einer Spirale, die mehrere Schichten braucht, oder klicken Sie in die Ebene, um eigene Punkte zu setzen.
- Legen Sie die verborgenen Schichten, die Neuronen pro Schicht, die Aktivierung, die Lernrate und die Eingaben des Netzes fest.
- Drücken Sie auf Trainieren und beobachten Sie die Grenze, die Neuronen und den Verlust; vergleichen Sie den Trainingsverlust mit dem Testverlust, um Überanpassung zu erkennen.
Was das Netz tut
Jedes Neuron multipliziert seine Eingaben mit Gewichten, addiert einen Bias und gibt die Summe durch eine Aktivierungsfunktion wie tanh oder ReLU weiter. Jedes Neuron der ersten verborgenen Schicht teilt die Ebene entlang einer Geraden, weichgezeichnet zu einem Farbverlauf. Die nächste Schicht kombiniert diese Halbebenen zu Keilen, Bändern und Flecken, und das Ausgabeneuron macht aus dem Ergebnis eine Wahrscheinlichkeit für Blau. Der Hintergrund der Ebene zeigt diese Wahrscheinlichkeit überall, und die dunkle Linie liegt dort, wo sie genau ein Halb beträgt: die Entscheidungsgrenze.
Wie es lernt
Das Training beginnt mit zufälligen Gewichten. Für einen kleinen Stapel von Trainingspunkten vergleicht das Netz seine Antworten mit den wahren Farben, und die Backpropagation ermittelt, vom Ausgang zurück zu den Eingängen, wie viel jedes Gewicht zum Fehler beigetragen hat. Dann bewegt sich jedes Gewicht um einen kleinen Schritt, die Lernrate, in die Richtung, die den Verlust senkt. Ein Durchgang durch alle Trainingspunkte ist eine Epoche. Eine zu kleine Lernrate macht den Fortschritt langsam; eine zu große lässt den Verlust springen oder explodieren. Die Testpunkte werden nie zum Training verwendet, daher zeigt der Testverlust, wie gut das Netz verallgemeinert.
Häufig gestellte Fragen
Warum kann ein Netz ohne verborgene Schichten den Kreis oder XOR nicht lernen?
Ohne verborgene Schichten ist die Ausgabe eine Funktion einer einzigen gewichteten Summe der Eingaben, also ist die Grenze eine Gerade. Keine Gerade legt das Innere eines Kreises auf die eine Seite und den Ring auf die andere oder trennt die beiden Diagonalen von XOR. Marvin Minsky und Seymour Papert haben das 1969 für einschichtige Perzeptronen dargelegt. Eine verborgene Schicht behebt das, und eine zusätzliche Eingabe ebenso: Mit x² und y² wird der Kreis zu einem geraden Schnitt, und mit x·y auch XOR.
Was ist Überanpassung, und wie sehe ich sie hier?
Ein Netz ist überangepasst, wenn es die Trainingspunkte samt Rauschen auswendig lernt statt des Musters dahinter. Wählen Sie einen verrauschten Datensatz mit wenigen Punkten und ein großes Netz und trainieren Sie lange: Der Trainingsverlust sinkt weiter, während der Testverlust stagniert und zu steigen beginnt, und die Grenze bildet kleine Inseln um einzelne Punkte. Weniger Neuronen, mehr Punkte oder früheres Aufhören helfen.
Welche Aktivierungsfunktion sollte ich verwenden?
Tanh ergibt glatte, abgerundete Grenzen und trainiert bei diesen kleinen Problemen gut. ReLU, die für negative Summen null und sonst die Summe selbst ist, ist der Standard im modernen Deep Learning und ergibt Grenzen aus geraden Stücken. Sigmoid lernt in verborgenen Schichten langsamer, weil ihre Steigung klein ist. Linear macht jede verborgene Schicht sinnlos: Ein Stapel linearer Schichten ist immer noch eine einzige lineare Funktion, also bleibt die Grenze gerade.
Was bedeuten die kleinen Bilder im Netzdiagramm?
Jedes zeigt die Ausgabe eines Neurons für jeden Punkt der Ebene, blau für hoch und orange für niedrig. Eingabeneuronen zeigen x, y und die anderen Eingaben, die erste verborgene Schicht zeigt weiche Halbebenen, und tiefere Neuronen zeigen die komplexeren Formen, die daraus aufgebaut sind. Die Verbindungen sind bei positiven Gewichten blau und bei negativen orange, und umso dicker, je größer das Gewicht ist.
Wird etwas an einen Server gesendet?
Nein. Die Daten, das Netz und das Training laufen vollständig in Ihrem Browser in reinem JavaScript, ohne Bibliothek für maschinelles Lernen. Ihre Einstellungen und die Punkte, die Sie anklicken, bleiben im lokalen Speicher dieses Browsers.
Bereit, es auszuprobieren?
Öffnen Sie PictorX in Ihrem Browser – keine Installation, zum Starten ist keine Kreditkarte erforderlich.
Zum Editor