Neurale netwerken uitgelegd

De systemen die gezichten herkennen, tekst vertalen en antwoorden schrijven, zijn gebouwd op een verrassend eenvoudig idee: veel kleine eenheden die elk getallen optellen, het resultaat een beetje buigen en het doorgeven. Niemand programmeert de regels. Het netwerk begint met willekeurige instellingen en past die aan, telkens met een heel klein stapje, tot zijn antwoorden overeenkomen met de voorbeelden die het te zien krijgt. Dit artikel volgt dat idee van één neuron tot een netwerk dat een spiraal leert.

Een klein neuraal netwerk met invoer, twee verborgen lagen en één uitvoer, met blauwe en oranje verbindingen, naast een vlak waarin een gebogen grens blauwe en oranje punten scheidt
Een klein neuraal netwerk met invoer, twee verborgen lagen en één uitvoer, met blauwe en oranje verbindingen, naast een vlak waarin een gebogen grens blauwe en oranje punten scheidt

Eén neuron

Een kunstmatig neuron neemt een paar getallen, vermenigvuldigt elk met een gewicht, telt ze samen met een bias op en stuurt het totaal door een activatiefunctie. Warren McCulloch en Walter Pitts beschreven zo'n eenheid in 1943, en in 1958 bouwde Frank Rosenblatt de perceptron, een machine die zijn eigen gewichten uit voorbeelden leerde. Met twee invoerwaarden x en y is de gewogen som nul langs een rechte lijn, dus een enkel neuron verdeelt het vlak in twee helften: de ene kant is zijn ja, de andere zijn nee, met een zachte overgang als de activatie vloeiend is.

Warren McCulloch (links, met baard) en collega’s
Warren McCulloch (links, met baard) en collega’s

Activatiefuncties

De activatiefunctie maakt van een netwerk meer dan een som. De sigmoïde perst elk getal in het bereik 0 tot 1 en tanh in −1 tot 1; beide zijn vloeiende S-vormige krommen. ReLU, de rectified linear unit, geeft nul voor negatieve getallen en anders het getal zelf; sinds ongeveer 2010 is dat de gebruikelijke keuze voor diepe netwerken, omdat het goedkoop is en voorkomt dat de gradiënten wegebben. Zonder zo'n knik zou het stapelen van lagen zinloos zijn: een keten van lineaire functies is nog steeds één lineaire functie, en de grens ervan is nog steeds een rechte lijn.

Lagen

Zet meerdere neuronen naast elkaar en je hebt een laag; voer de uitvoer van de ene laag in de volgende en je hebt een netwerk. In de sandbox snijdt de eerste verborgen laag het vlak langs meerdere lijnen, combineert de volgende laag die halfvlakken tot wiggen en eilanden, en weegt het uitvoerneuron alles af tot één kans. In 1969 lieten Marvin Minsky en Seymour Papert zien dat een perceptron zonder verborgen lagen XOR niet kan leren, wat het vakgebied jarenlang mee tot stilstand bracht. Twintig jaar later bewezen George Cybenko en anderen het tegenovergestelde voor netwerken met één verborgen laag: met genoeg neuronen kunnen ze elke continue functie zo nauwkeurig benaderen als je maar wilt.

De fout meten

Om te leren heeft een netwerk een getal nodig dat zegt hoe fout het zit: het verlies. Voor twee klassen is de gebruikelijke keuze de cross-entropy. Als het netwerk een blauw punt een kans p geeft om blauw te zijn, kost dat punt −log p, wat klein is als p dicht bij 1 ligt en onbegrensd groeit naarmate p naar 0 gaat. Het verlies is de gemiddelde kost over de punten. Een netwerk dat overal een half gokt, heeft een verlies van log 2, ongeveer 0,693, dicht bij waar de grafiek van de sandbox begint.

Gradiëntafdaling en backpropagation

Zie het verlies als een landschap boven alle gewichten. Gradiëntafdaling zoekt de richting bergafwaarts, de negatieve gradiënt, en zet die kant op een kleine stap, keer op keer. De gradiënt berekenen voor duizenden gewichten lijkt duur, maar backpropagation doet het in één achterwaartse doorgang: vanaf de fout bij de uitvoer geeft de kettingregel elke laag zijn deel van de schuld, laag voor laag terug naar de invoer. De methode is meerdere keren beschreven, en het artikel uit 1986 van David Rumelhart, Geoffrey Hinton en Ronald Williams maakte het de standaardmanier om netwerken te trainen. Voor elke stap een kleine willekeurige batch punten gebruiken in plaats van alle punten, stochastische gradiëntafdaling, is sneller en werkt net zo goed.

Geoffrey Hinton, een grondlegger van moderne neurale netwerken
Geoffrey Hinton, een grondlegger van moderne neurale netwerken

De leersnelheid

De stapgrootte heet de leersnelheid, en het is de instelling die het vaakst bepaalt of het trainen werkt. Te klein, en het verlies kruipt zo langzaam omlaag dat er niets lijkt te gebeuren. Te groot, en elke stap schiet voorbij het dal waarop hij mikte: het verlies stuitert op en neer, of explodeert in grotere netwerken tot de getallen overlopen. Met ReLU kan een grote stap neuronen ook naar een plek duwen waar hun som voor elk punt negatief is; ze geven dan nul, krijgen geen gradiënt en herstellen nooit meer. Probeer in de sandbox de spiraal met een leersnelheid van 3: met tanh springt het verlies heen en weer, met ReLU vallen veel neuronen stil en blijft het verlies rond 0,69 hangen. Probeer daarna 0,001 om het te zien kruipen.

Overfitting

Een netwerk met genoeg gewichten kan zijn trainingspunten uit het hoofd leren, ruis en al, en een grens trekken die om elk verdwaald punt heen kronkelt. Het doet het dan goed op de punten die het heeft gezien en slecht op nieuwe. Daarom wordt een deel van de data achtergehouden als testdata, die nooit voor het trainen wordt gebruikt. Zolang beide verliezen dalen, leert het netwerk het patroon; wanneer het testverlies omhooggaat terwijl het trainingsverlies blijft dalen, is het begonnen met uit het hoofd leren. Kleinere netwerken, meer data, ruis toevoegen of gewoon op het juiste moment stoppen helpen allemaal.

Probeer het zelf

Open de sandbox voor neurale netwerken om een netwerk met maximaal vier verborgen lagen van acht neuronen te trainen op zes datasets, waaronder punten die je zelf aanklikt. Elk neuron wordt getekend als een kleine kaart van waarop het reageert, en elk gewicht als een blauwe of oranje verbinding, zodat je kunt zien hoe het netwerk zijn eigen kenmerken bedenkt. Probeer de cirkel zonder verborgen lagen en voeg dan x² en y² toe als invoer; probeer de spiraal met één laag en daarna met drie; en voeg ruis toe aan een kleine dataset om hem te laten overfitten.

Veelgestelde vragen

Werken grote AI-modellen zo?

De bouwstenen zijn hetzelfde: gewogen sommen, activatiefuncties, een verlies en gradiëntafdaling met backpropagation. Grote modellen hebben miljarden gewichten in plaats van een paar dozijn, lagen die voor beeld of tekst zijn gebouwd, zoals convoluties en attention, en ze trainen op enorme datasets met betere optimalisatiemethoden. De basislus die je in de sandbox ziet, is dezelfde.

Waarom begint het trainen met willekeurige gewichten?

Als elk gewicht gelijk begon, zou elk neuron in een laag hetzelfde berekenen en dezelfde aanpassing krijgen, en ze zouden voor altijd identiek blijven. Kleine willekeurige gewichten doorbreken die symmetrie, zodat elk neuron een ander kenmerk kan leren. Hun grootte doet ertoe: de sandbox schaalt ze naar het aantal invoerwaarden, zoals Xavier Glorot en Yoshua Bengio in 2010 voorstelden.

Waarom eindigen twee runs met verschillende grenzen?

Elke run begint met andere willekeurige gewichten en ziet de punten in een andere willekeurige volgorde, en het verlieslandschap heeft veel dalen die bijna even goed zijn. Twee netwerken kunnen de trainingspunten even goed classificeren met verschillend gevormde grenzen, en ze kunnen het oneens zijn in gebieden zonder data.

Zijn meer lagen altijd beter?

Nee. Diepere netwerken kunnen complexere vormen weergeven met minder neuronen, maar ze zijn moeilijker te trainen en overfitten makkelijker op kleine datasets. Voor de problemen in de sandbox zijn één of twee verborgen lagen meestal genoeg; de spiraal is de enige die duidelijk baat heeft bij meer.

Klaar om het te proberen?

Open PictorX in je browser - geen installatie, geen creditcard nodig om te starten.

Open de sandbox voor neurale netwerken