Neuronale Netze erklärt
Die Systeme, die Gesichter erkennen, Texte übersetzen und Antworten schreiben, beruhen auf einer überraschend schlichten Idee: vielen kleinen Einheiten, die jeweils Zahlen addieren, das Ergebnis ein wenig krümmen und weitergeben. Niemand programmiert die Regeln. Das Netz beginnt mit zufälligen Einstellungen und passt sie an, in winzigen Schritten, bis seine Antworten zu den Beispielen passen, die man ihm zeigt. Dieser Artikel verfolgt diese Idee von einem Neuron bis zu einem Netz, das eine Spirale lernt.
Ein Neuron
Ein künstliches Neuron nimmt ein paar Zahlen, multipliziert jede mit einem Gewicht, addiert sie zusammen mit einem Bias und gibt die Summe durch eine Aktivierungsfunktion weiter. Warren McCulloch und Walter Pitts beschrieben eine solche Einheit 1943, und 1958 baute Frank Rosenblatt das Perzeptron, eine Maschine, die ihre Gewichte selbst aus Beispielen lernte. Bei zwei Eingaben x und y ist die gewichtete Summe entlang einer Geraden null, also teilt ein einzelnes Neuron die Ebene in zwei Hälften: Die eine Seite ist sein Ja, die andere sein Nein, mit einem weichen Übergang, wenn die Aktivierung glatt ist.
Aktivierungsfunktionen
Die Aktivierungsfunktion macht ein Netz zu mehr als einer Summe. Die Sigmoidfunktion presst jede Zahl in den Bereich 0 bis 1 und tanh in den Bereich −1 bis 1; beide sind glatte S-förmige Kurven. ReLU, die gleichgerichtete lineare Einheit (rectified linear unit), gibt für negative Zahlen null aus und sonst die Zahl selbst; seit etwa 2010 ist sie die übliche Wahl für tiefe Netze, weil sie billig zu berechnen ist und verhindert, dass die Gradienten verblassen. Ohne eine solche Krümmung wäre das Stapeln von Schichten sinnlos: Eine Kette linearer Funktionen ist immer noch eine einzige lineare Funktion, und ihre Grenze ist immer noch eine Gerade.
Schichten
Stellt man mehrere Neuronen nebeneinander, hat man eine Schicht; speist man die Ausgaben einer Schicht in die nächste, hat man ein Netz. In der Sandbox schneidet die erste verborgene Schicht die Ebene entlang mehrerer Geraden, die nächste Schicht kombiniert diese Halbebenen zu Keilen und Inseln, und das Ausgabeneuron gewichtet alles zu einer einzigen Wahrscheinlichkeit. 1969 zeigten Marvin Minsky und Seymour Papert, dass ein Perzeptron ohne verborgene Schichten XOR nicht lernen kann, was das Gebiet für Jahre zum Stillstand brachte. Zwanzig Jahre später bewiesen George Cybenko und andere das Gegenteil für Netze mit einer verborgenen Schicht: Mit genügend Neuronen können sie jede stetige Funktion beliebig genau annähern.
Den Fehler messen
Um zu lernen, braucht ein Netz eine Zahl, die angibt, wie falsch es liegt: den Verlust. Für zwei Klassen ist die übliche Wahl die Kreuzentropie. Gibt das Netz einem blauen Punkt die Wahrscheinlichkeit p, blau zu sein, kostet dieser Punkt −log p; das ist klein, wenn p nahe 1 liegt, und wächst unbegrenzt, wenn p gegen 0 geht. Der Verlust ist der Durchschnitt der Kosten über alle Punkte. Ein Netz, das überall ein Halb rät, hat einen Verlust von log 2, etwa 0,693, nahe dem Wert, bei dem das Diagramm der Sandbox beginnt.
Gradientenabstieg und Backpropagation
Stellen Sie sich den Verlust als Landschaft über allen Gewichten vor. Der Gradientenabstieg sucht die Richtung bergab, den negativen Gradienten, und macht einen kleinen Schritt in diese Richtung, immer wieder. Den Gradienten für Tausende von Gewichten zu berechnen, wirkt aufwendig, doch die Backpropagation erledigt das in einem einzigen Rückwärtsdurchgang: Ausgehend vom Fehler am Ausgang weist die Kettenregel jeder Schicht ihren Anteil an der Schuld zu, Schicht für Schicht zurück bis zu den Eingängen. Das Verfahren wurde mehrfach beschrieben, und die Arbeit von David Rumelhart, Geoffrey Hinton und Ronald Williams aus dem Jahr 1986 machte es zur Standardmethode, Netze zu trainieren. Für jeden Schritt einen kleinen zufälligen Stapel von Punkten statt aller Punkte zu verwenden, der stochastische Gradientenabstieg, ist schneller und funktioniert genauso gut.
Die Lernrate
Die Schrittweite heißt Lernrate, und sie ist die Einstellung, die am häufigsten darüber entscheidet, ob das Training funktioniert. Ist sie zu klein, sinkt der Verlust so langsam, dass scheinbar nichts passiert. Ist sie zu groß, schießt jeder Schritt über das Tal hinaus, das er anpeilt: Der Verlust springt auf und ab oder explodiert in größeren Netzen, bis die Zahlen überlaufen. Mit ReLU kann ein großer Schritt außerdem Neuronen dorthin schieben, wo ihre Summe für jeden Punkt negativ ist; dann geben sie null aus, erhalten keinen Gradienten und erholen sich nie mehr. Probieren Sie in der Sandbox die Spirale mit einer Rate von 3: Mit tanh springt der Verlust umher, mit ReLU werden viele Neuronen leer und der Verlust bleibt bei etwa 0,69 hängen. Probieren Sie dann 0,001, um ihn kriechen zu sehen.
Überanpassung
Ein Netz mit genügend Gewichten kann seine Trainingspunkte samt Rauschen auswendig lernen und eine Grenze ziehen, die sich um jeden Ausreißer windet. Dann schneidet es bei den Punkten, die es gesehen hat, gut ab und bei neuen schlecht. Deshalb wird ein Teil der Daten als Testdaten zurückgehalten und nie zum Training verwendet. Solange beide Verluste sinken, lernt das Netz das Muster; steigt der Testverlust, während der Trainingsverlust weiter sinkt, hat es begonnen auswendig zu lernen. Kleinere Netze, mehr Daten, zusätzliches Rauschen oder einfach das Aufhören im richtigen Moment helfen.
Selbst ausprobieren
Öffnen Sie die Sandbox für neuronale Netze, um ein Netz mit bis zu vier verborgenen Schichten zu je acht Neuronen auf sechs Datensätzen zu trainieren, darunter Punkte, die Sie selbst anklicken. Jedes Neuron wird als kleine Karte dessen gezeichnet, worauf es reagiert, und jedes Gewicht als blaue oder orange Verbindung, sodass Sie zusehen können, wie das Netz seine eigenen Merkmale erfindet. Probieren Sie den Kreis ohne verborgene Schichten und fügen Sie dann x² und y² als Eingaben hinzu; probieren Sie die Spirale mit einer Schicht und dann mit drei; und fügen Sie einem kleinen Datensatz Rauschen hinzu, um Überanpassung hervorzurufen.
Häufig gestellte Fragen
Funktionieren große KI-Modelle so?
Die Bausteine sind dieselben: gewichtete Summen, Aktivierungsfunktionen, ein Verlust und Gradientenabstieg mit Backpropagation. Große Modelle haben Milliarden von Gewichten statt einiger Dutzend, Schichten für Bilder oder Text wie Faltungen und Attention, und sie trainieren auf riesigen Datensätzen mit besseren Optimierern. Die grundlegende Schleife, die Sie in der Sandbox sehen, ist dieselbe.
Warum beginnt das Training mit zufälligen Gewichten?
Wären alle Gewichte anfangs gleich, würde jedes Neuron einer Schicht dasselbe berechnen und dieselbe Aktualisierung erhalten, und sie blieben für immer identisch. Kleine zufällige Gewichte brechen diese Symmetrie, sodass jedes Neuron ein anderes Merkmal lernen kann. Ihre Größe spielt eine Rolle: Die Sandbox skaliert sie nach der Zahl der Eingaben, wie Xavier Glorot und Yoshua Bengio es 2010 vorgeschlagen haben.
Warum enden zwei Durchläufe mit unterschiedlichen Grenzen?
Jeder Durchlauf beginnt mit anderen zufälligen Gewichten und sieht die Punkte in einer anderen zufälligen Reihenfolge, und die Verlustlandschaft hat viele Täler, die fast gleich gut sind. Zwei Netze können die Trainingspunkte gleich gut klassifizieren, mit unterschiedlich geformten Grenzen, und in Bereichen ohne Daten können sie sich widersprechen.
Sind mehr Schichten immer besser?
Nein. Tiefere Netze können komplexere Formen mit weniger Neuronen darstellen, sind aber schwerer zu trainieren und neigen bei kleinen Datensätzen eher zur Überanpassung. Für die Aufgaben in der Sandbox genügen meist eine oder zwei verborgene Schichten; die Spirale ist die einzige, die deutlich von mehr profitiert.
Bereit, es auszuprobieren?
Öffnen Sie PictorX in Ihrem Browser – keine Installation, zum Starten ist keine Kreditkarte erforderlich.
Sandbox für neuronale Netze öffnen