Neurale netværk forklaret
De systemer, der genkender ansigter, oversætter tekst og skriver svar, er bygget på en overraskende enkel idé: mange små enheder, der hver lægger tal sammen, bøjer resultatet en smule og sender det videre. Ingen programmerer reglerne. Netværket starter med tilfældige indstillinger og justerer dem, et bitte lille skridt ad gangen, indtil dets svar passer med de eksempler, det får vist. Denne artikel følger idéen fra én neuron til et netværk, der lærer en spiral.
Én neuron
En kunstig neuron tager nogle få tal, ganger hvert med en vægt, summerer dem sammen med en bias og sender summen gennem en aktiveringsfunktion. Warren McCulloch og Walter Pitts beskrev en sådan enhed i 1943, og i 1958 byggede Frank Rosenblatt perceptronen, en maskine, der lærte sine egne vægte ud fra eksempler. Med to input x og y er den vægtede sum nul langs en ret linje, så en enkelt neuron deler planen i to halvdele: den ene side er dens ja, den anden dens nej, med en blød overgang, når aktiveringen er glat.
Aktiveringsfunktioner
Aktiveringsfunktionen er det, der gør et netværk til mere end en sum. Sigmoiden presser ethvert tal ind i intervallet 0 til 1 og tanh ind i −1 til 1; begge er glatte S-formede kurver. ReLU, rectified linear unit, giver nul for negative tal og ellers selve tallet; siden omkring 2010 har den været det sædvanlige valg til dybe netværk, fordi den er billig at beregne og forhindrer gradienterne i at forsvinde. Uden et knæk af denne slags ville det være meningsløst at stable lag: en kæde af lineære funktioner er stadig én lineær funktion, og dens grænse er stadig en ret linje.
Lag
Sæt flere neuroner side om side, og du har et lag; send ét lags output videre til det næste, og du har et netværk. I sandkassen skærer det første skjulte lag planen langs flere linjer, det næste lag kombinerer disse halvplaner til kiler og øer, og outputneuronen vejer det hele sammen til én sandsynlighed. I 1969 viste Marvin Minsky og Seymour Papert, at en perceptron uden skjulte lag ikke kan lære XOR, hvilket var med til at bringe feltet i stå i årevis. Tyve år senere beviste George Cybenko og andre det modsatte for netværk med ét skjult lag: med nok neuroner kan de tilnærme enhver kontinuert funktion så tæt, man ønsker.
At måle fejlen
For at lære har et netværk brug for et tal, der siger, hvor meget det tager fejl: tabet. For to klasser er det sædvanlige valg krydsentropi. Hvis netværket giver et blåt punkt sandsynligheden p for at være blåt, koster punktet −log p, som er lille, når p er tæt på 1, og vokser ubegrænset, når p nærmer sig 0. Tabet er gennemsnittet af omkostningerne over punkterne. Et netværk, der gætter på en halv overalt, har et tab på log 2, omkring 0,693, tæt på der, hvor sandkassens graf starter.
Gradientnedstigning og backpropagation
Tænk på tabet som et landskab over alle vægtene. Gradientnedstigning finder retningen ned ad bakke, den negative gradient, og tager et lille skridt den vej, igen og igen. At beregne gradienten for tusindvis af vægte ser dyrt ud, men backpropagation gør det i én baglæns gennemgang: med udgangspunkt i fejlen ved outputtet giver kædereglen hvert lag dets andel af skylden, lag for lag tilbage til inputtene. Metoden blev beskrevet flere gange, og artiklen fra 1986 af David Rumelhart, Geoffrey Hinton og Ronald Williams gjorde den til standardmåden at træne netværk på. At bruge en lille tilfældig batch af punkter til hvert skridt i stedet for dem alle, stokastisk gradientnedstigning, er hurtigere og virker lige så godt.
Læringsraten
Skridtlængden kaldes læringsraten, og det er den indstilling, der oftest afgør, om træningen virker. For lille, og tabet kryber så langsomt ned, at intet ser ud til at ske. For stor, og hvert skridt skyder forbi den dal, det sigtede efter: tabet hopper op og ned eller eksploderer i større netværk, indtil tallene løber over. Med ReLU kan et stort skridt også skubbe neuroner derhen, hvor deres sum er negativ for hvert punkt; så giver de nul, får ingen gradient og kommer sig aldrig. Prøv spiralen med en læringsrate på 3 i sandkassen: med tanh hopper tabet rundt, med ReLU går mange neuroner blanke, og tabet sidder fast nær 0,69. Prøv derefter 0,001 for at se det kravle.
Overfitting
Et netværk med nok vægte kan lære sine træningspunkter udenad, støj og det hele, og tegne en grænse, der snor sig omkring hvert vildfarent punkt. Det klarer sig så godt på de punkter, det har set, og dårligt på nye. Derfor holdes en del af data tilbage som testdata, der aldrig bruges til træning. Så længe begge tab falder, lærer netværket mønstret; når testtabet vender opad, mens træningstabet bliver ved med at falde, er det begyndt at lære udenad. Mindre netværk, flere data, tilføjet støj eller simpelthen at stoppe på det rigtige tidspunkt hjælper alt sammen.
Udforsk det
Åbn sandkassen til neurale netværk for at træne et netværk med op til fire skjulte lag med otte neuroner på seks datasæt, herunder punkter, du selv klikker ind. Hver neuron tegnes som et lille kort over, hvad den reagerer på, og hver vægt som en blå eller orange forbindelse, så du kan se netværket opfinde sine egne træk. Prøv cirklen uden skjulte lag, og tilføj så x² og y² som input; prøv spiralen med ét lag og derefter med tre; og tilføj støj til et lille datasæt for at få det til at overfitte.
Ofte stillede spørgsmål
Er det sådan, store AI-modeller fungerer?
Byggestenene er de samme: vægtede summer, aktiveringsfunktioner, et tab og gradientnedstigning med backpropagation. Store modeller har milliarder af vægte i stedet for et par dusin, lag bygget til billeder eller tekst som foldninger og attention, og de trænes på enorme datasæt med bedre optimeringsalgoritmer. Den grundlæggende løkke, du ser i sandkassen, er uændret.
Hvorfor starter træningen fra tilfældige vægte?
Hvis alle vægte startede ens, ville hver neuron i et lag beregne det samme og få den samme opdatering, og de ville forblive identiske for altid. Små tilfældige vægte bryder denne symmetri, så hver neuron kan lære et forskelligt træk. Deres størrelse betyder noget: sandkassen skalerer dem efter antallet af input, som Xavier Glorot og Yoshua Bengio foreslog i 2010.
Hvorfor ender to kørsler med forskellige grænser?
Hver kørsel starter fra andre tilfældige vægte og ser punkterne i en anden tilfældig rækkefølge, og tabslandskabet har mange dale, der er næsten lige gode. To netværk kan klassificere træningspunkterne lige godt med forskelligt formede grænser, og de kan være uenige i områder uden data.
Er flere lag altid bedre?
Nej. Dybere netværk kan repræsentere mere komplekse former med færre neuroner, men de er sværere at træne og overfitter lettere på små datasæt. Til problemerne i sandkassen er ét eller to skjulte lag som regel nok; spiralen er den, der tydeligt har gavn af flere.
Er du klar til at prøve?
Åbn PictorX i din browser – ingen installation og intet kreditkort for at komme i gang.
Åbn sandkassen til neurale netværk