Epok
Träningsförlust
Testförlust
Träffsäkerhet
  • Träningspunkter
  • Testpunkter
  • Beslutsgräns
  • Träningsförlust
  • Testförlust

Klick lägger till
Indata

Mer om neurala nätverk

Sandlåda för neurala nätverk

Ett neuralt nätverk är en stapel enkla enheter som summerar viktade indata och skickar summan genom en böj. Var för sig kan enheterna bara dra en rät linje, men tillsammans kan de följa en cirkel, en spiral eller vad som helst annat. Välj en datamängd, bygg ett nätverk med upp till fyra dolda lager, tryck på Träna och se gränsen mellan blått och orange böja sig till rätt form, epok för epok, medan varje neuron visar den del av mönstret som den har lärt sig att känna igen. Välj en datamängd och ett nätverk, tryck sedan på Träna och se nätverket lära sig att skilja de blå punkterna från de orange. Fyllda punkter tränar nätverket; ringar är testpunkter som det aldrig tränas på. Bakgrunden visar nätverkets svar för varje punkt i planet, och linjen är där det ändrar sig. I diagrammet visar varje neuron vad den reagerar på, och varje förbindelse är blå för en positiv vikt och orange för en negativ, tjockare ju större vikten är. Klicka i planet för att lägga till punkter i den färg som valts under Klick lägger till.

Hur det fungerar

  1. Välj en datamängd, från två kluster som en rät linje kan skilja åt till en spiral som kräver flera lager, eller klicka i planet för att placera dina egna punkter.
  2. Ställ in de dolda lagren, neuronerna per lager, aktiveringen, inlärningshastigheten och vilka indata nätverket får.
  3. Tryck på Träna och följ gränsen, neuronerna och förlusten; jämför träningsförlusten med testförlusten för att upptäcka överanpassning.

Vad nätverket gör

Varje neuron multiplicerar sina indata med vikter, lägger till en bias och skickar summan genom en aktiveringsfunktion som tanh eller ReLU. Neuronerna i det första dolda lagret delar var och en planet längs en rät linje, mjukad till en gradvis övergång. Nästa lager kombinerar dessa halvplan till kilar, band och fläckar, och utdataneuronen gör om resultatet till en sannolikhet för blått. Planets bakgrund visar den sannolikheten överallt, och den mörka linjen är där den är exakt en halv: beslutsgränsen.

Hur det lär sig

Träningen börjar från slumpmässiga vikter. För en liten batch träningspunkter jämför nätverket sina svar med de verkliga färgerna, och backpropagation räknar ut, från utdata bakåt till indata, hur mycket varje vikt bidrog till felet. Varje vikt flyttas sedan ett litet steg, inlärningshastigheten, i den riktning som sänker förlusten. Ett varv genom alla träningspunkter är en epok. En för låg inlärningshastighet gör framstegen långsamma; en för hög får förlusten att hoppa runt eller explodera. Testpunkterna används aldrig för träning, så testförlusten visar hur väl nätverket generaliserar.

Ofta ställda frågor

Varför kan ett nätverk utan dolda lager inte lära sig cirkeln eller XOR?

Utan dolda lager är utdata en funktion av en enda viktad summa av indata, så gränsen är en rät linje. Ingen rät linje lägger insidan av en cirkel på ena sidan och ringen på den andra, eller skiljer de två diagonalerna i XOR åt. Marvin Minsky och Seymour Papert påpekade detta om enlagersperceptroner 1969. Ett dolt lager löser det, och det gör även ett extra indata: med x² och y² blir cirkeln ett rakt snitt, och med x·y blir XOR det också.

Vad är överanpassning, och hur ser jag det här?

Ett nätverk överanpassar när det lär sig träningspunkterna utantill, bruset inräknat, i stället för mönstret bakom dem. Välj en brusig datamängd med få punkter och ett stort nätverk, och träna länge: träningsförlusten fortsätter att sjunka medan testförlusten planar ut och börjar stiga, och gränsen får små öar runt enskilda punkter. Färre neuroner, fler punkter eller att sluta tidigare hjälper.

Vilken aktiveringsfunktion ska jag använda?

Tanh ger mjuka, rundade gränser och tränar bra på de här små problemen. ReLU, som är noll för negativa summor och annars summan själv, är standardvalet inom modern djupinlärning och ger gränser som består av raka bitar. Sigmoid lär sig långsammare i dolda lager eftersom dess lutning är liten. Linjär gör varje dolt lager meningslöst: en stapel linjära lager är fortfarande en enda linjär funktion, så gränsen förblir rak.

Vad betyder de små bilderna i nätverksdiagrammet?

Varje bild visar en neurons utdata för varje punkt i planet, blått för högt och orange för lågt. Indataneuroner visar x, y och de andra indata, det första dolda lagret visar mjuka halvplan, och djupare neuroner visar de mer komplexa former som byggs av dem. Förbindelserna är blå för positiva vikter och orange för negativa, tjockare ju större vikten är.

Skickas något till en server?

Nej. Data, nätverket och träningen körs helt i din webbläsare i vanlig JavaScript, utan något maskininlärningsbibliotek. Dina inställningar och de punkter du klickar in stannar i den här webbläsarens lokala lagring.

Redo att prova det?

Öppna PictorX i din webbläsare - ingen installation, inget kreditkort krävs för att starta.

Gå till Editor