Neurala nätverk förklarade

Systemen som känner igen ansikten, översätter text och skriver svar bygger på en förvånansvärt enkel idé: många små enheter som var och en summerar tal, böjer resultatet lite och skickar det vidare. Ingen programmerar reglerna. Nätverket börjar med slumpmässiga inställningar och justerar dem, ett litet steg i taget, tills dess svar stämmer med exemplen det får se. Den här artikeln följer idén från en enda neuron till ett nätverk som lär sig en spiral.

Ett litet neuralt nätverk med indata, två dolda lager och en utdata, med blå och orange förbindelser, bredvid ett plan där en böjd gräns skiljer blå och orange punkter åt
Ett litet neuralt nätverk med indata, två dolda lager och en utdata, med blå och orange förbindelser, bredvid ett plan där en böjd gräns skiljer blå och orange punkter åt

En neuron

En artificiell neuron tar några tal, multiplicerar vart och ett med en vikt, summerar dem tillsammans med en bias och skickar summan genom en aktiveringsfunktion. Warren McCulloch och Walter Pitts beskrev en sådan enhet 1943, och 1958 byggde Frank Rosenblatt perceptronen, en maskin som lärde sig sina egna vikter från exempel. Med två indata x och y är den viktade summan noll längs en rät linje, så en enda neuron delar planet i två halvor: ena sidan är dess ja, den andra dess nej, med en mjuk övergång när aktiveringen är jämn.

Warren McCulloch (till vänster, med skägg) och kollegor
Warren McCulloch (till vänster, med skägg) och kollegor

Aktiveringsfunktioner

Aktiveringsfunktionen är det som gör ett nätverk till mer än en summa. Sigmoiden pressar in varje tal i intervallet 0 till 1 och tanh i −1 till 1; båda är mjuka S-formade kurvor. ReLU, rectified linear unit, ger noll för negativa tal och annars talet självt; sedan omkring 2010 har den varit det vanliga valet för djupa nätverk eftersom den är billig och hindrar gradienterna från att klinga av. Utan en böj av det här slaget vore det meningslöst att stapla lager: en kedja av linjära funktioner är fortfarande en enda linjär funktion, och dess gräns är fortfarande en rät linje.

Lager

Ställ flera neuroner bredvid varandra så har du ett lager; mata ett lagers utdata in i nästa så har du ett nätverk. I sandlådan skär det första dolda lagret planet längs flera linjer, nästa lager kombinerar dessa halvplan till kilar och öar, och utdataneuronen väger samman allt till en enda sannolikhet. 1969 visade Marvin Minsky och Seymour Papert att en perceptron utan dolda lager inte kan lära sig XOR, vilket bidrog till att forskningsfältet stod still i flera år. Tjugo år senare bevisade George Cybenko och andra motsatsen för nätverk med ett dolt lager: med tillräckligt många neuroner kan de approximera vilken kontinuerlig funktion som helst så nära man vill.

Att mäta felet

För att lära sig behöver ett nätverk ett tal som säger hur fel det har: förlusten. För två klasser är det vanliga valet korsentropi. Om nätverket ger en blå punkt sannolikheten p att vara blå kostar punkten −log p, som är liten när p är nära 1 och växer obegränsat när p närmar sig 0. Förlusten är medelkostnaden över punkterna. Ett nätverk som gissar på en halv överallt har förlusten log 2, ungefär 0,693, nära där sandlådans diagram börjar.

Gradientnedstigning och backpropagation

Tänk på förlusten som ett landskap över alla vikter. Gradientnedstigning hittar riktningen nedför, den negativa gradienten, och tar ett litet steg åt det hållet, om och om igen. Att beräkna gradienten för tusentals vikter ser dyrt ut, men backpropagation gör det i ett enda bakåtpass: med början i felet vid utdata ger kedjeregeln varje lager dess andel av skulden, lager för lager tillbaka till indata. Metoden beskrevs flera gånger, och artikeln från 1986 av David Rumelhart, Geoffrey Hinton och Ronald Williams gjorde den till standardsättet att träna nätverk. Att använda en liten slumpmässig batch punkter för varje steg i stället för alla, stokastisk gradientnedstigning, går snabbare och fungerar lika bra.

Geoffrey Hinton, en grundare av moderna neurala nätverk
Geoffrey Hinton, en grundare av moderna neurala nätverk

Inlärningshastigheten

Steglängden kallas inlärningshastighet, och det är den inställning som oftast avgör om träningen fungerar. För liten, och förlusten kryper nedåt så långsamt att ingenting tycks hända. För stor, och varje steg skjuter förbi dalen det siktade på: förlusten studsar upp och ner, eller exploderar i större nätverk tills talen svämmar över. Med ReLU kan ett stort steg också knuffa neuroner dit där deras summa är negativ för varje punkt; då ger de noll, får ingen gradient och återhämtar sig aldrig. Prova spiralen med inlärningshastigheten 3 i sandlådan: med tanh hoppar förlusten runt, med ReLU slocknar många neuroner och förlusten fastnar nära 0,69. Prova sedan 0,001 för att se den krypa.

Överanpassning

Ett nätverk med tillräckligt många vikter kan lära sig sina träningspunkter utantill, med brus och allt, och dra en gräns som slingrar sig runt varje vilsen punkt. Det klarar sig då bra på punkterna det har sett och dåligt på nya. Därför hålls en del av datan undan som testdata som aldrig används för träning. Så länge båda förlusterna sjunker lär sig nätverket mönstret; när testförlusten vänder uppåt medan träningsförlusten fortsätter att sjunka har det börjat lära sig utantill. Mindre nätverk, mer data, tillsatt brus eller att helt enkelt sluta i rätt ögonblick hjälper alla.

Utforska själv

Öppna sandlådan för neurala nätverk för att träna ett nätverk med upp till fyra dolda lager med åtta neuroner på sex datamängder, bland annat punkter du klickar in själv. Varje neuron ritas som en liten karta över vad den reagerar på, och varje vikt som en blå eller orange förbindelse, så att du kan se nätverket hitta på sina egna särdrag. Prova cirkeln utan dolda lager och lägg sedan till x² och y² som indata; prova spiralen med ett lager och sedan med tre; och lägg till brus i en liten datamängd för att få den att överanpassas.

Ofta ställda frågor

Är det så här stora AI-modeller fungerar?

Byggstenarna är desamma: viktade summor, aktiveringsfunktioner, en förlust och gradientnedstigning med backpropagation. Stora modeller har miljarder vikter i stället för några dussin, lager byggda för bilder eller text som faltningar och attention, och de tränas på enorma datamängder med bättre optimerare. Den grundläggande loopen du ser i sandlådan är oförändrad.

Varför börjar träningen från slumpmässiga vikter?

Om alla vikter började lika skulle varje neuron i ett lager räkna ut samma sak och få samma uppdatering, och de skulle förbli identiska för alltid. Små slumpmässiga vikter bryter den symmetrin, så att varje neuron kan lära sig ett eget särdrag. Deras storlek spelar roll: sandlådan skalar dem efter antalet indata, som Xavier Glorot och Yoshua Bengio föreslog 2010.

Varför slutar två körningar med olika gränser?

Varje körning börjar från andra slumpmässiga vikter och ser punkterna i en annan slumpmässig ordning, och förlustlandskapet har många dalar som är nästan lika bra. Två nätverk kan klassificera träningspunkterna lika bra med olika formade gränser, och de kan vara oense i områden som saknar data.

Är fler lager alltid bättre?

Nej. Djupare nätverk kan representera mer komplexa former med färre neuroner, men de är svårare att träna och överanpassar lättare på små datamängder. För problemen i sandlådan räcker oftast ett eller två dolda lager; spiralen är den som tydligt har nytta av fler.

Redo att prova det?

Öppna PictorX i din webbläsare - ingen installation, inget kreditkort krävs för att starta.

Öppna sandlådan för neurala nätverk