Epocă
Pierdere la antrenare
Pierdere la test
Acuratețe
  • Puncte de antrenare
  • Puncte de test
  • Frontieră de decizie
  • Pierdere la antrenare
  • Pierdere la test

Clic adaugă
Intrări

Mai multe despre rețelele neuronale

Sandbox pentru rețele neuronale

O rețea neuronală este o stivă de unități simple care adună intrări ponderate și trec suma printr-o îndoire. Singură, fiecare unitate poate trasa doar o linie dreaptă, dar împreună pot urmări un cerc, o spirală sau orice altceva. Alegeți un set de date, construiți o rețea cu până la patru straturi ascunse, apăsați Antrenează și urmăriți cum frontiera dintre albastru și portocaliu se curbează până capătă forma potrivită, epocă după epocă, în timp ce fiecare neuron arată partea din model pe care a învățat să o detecteze. Alege un set de date și o rețea, apoi apasă Antrenează și urmărește cum rețeaua învață să separe punctele albastre de cele portocalii. Punctele pline antrenează rețeaua; inelele sunt puncte de test pe care nu se antrenează niciodată. Fundalul arată răspunsul rețelei pentru fiecare punct al planului, iar linia este locul în care rețeaua își schimbă părerea. În diagramă, fiecare neuron arată la ce reacționează, iar fiecare conexiune este albastră pentru o pondere pozitivă și portocalie pentru una negativă, cu atât mai groasă cu cât ponderea este mai mare. Dă clic pe plan pentru a adăuga puncte în culoarea aleasă la Clic adaugă.

Cum funcționează

  1. Alegeți un set de date, de la doi nori pe care îi poate despărți o linie dreaptă până la o spirală care are nevoie de mai multe straturi, sau dați clic pe plan pentru a vă plasa propriile puncte.
  2. Setați straturile ascunse, neuronii pe strat, activarea, rata de învățare și intrările pe care le primește rețeaua.
  3. Apăsați Antrenează și urmăriți frontiera, neuronii și pierderea; comparați pierderea la antrenare cu pierderea la test pentru a observa supraantrenarea.

Ce face rețeaua

Fiecare neuron își înmulțește intrările cu ponderi, adaugă un bias și trece totalul printr-o funcție de activare precum tanh sau ReLU. Neuronii primului strat ascuns împart fiecare planul de-a lungul unei singure linii drepte, înmuiate într-o trecere treptată. Stratul următor combină aceste semiplane în pene, benzi și pete, iar neuronul de ieșire transformă rezultatul într-o probabilitate pentru albastru. Fundalul planului arată această probabilitate peste tot, iar linia închisă la culoare este locul în care ea este exact o jumătate: frontiera de decizie.

Cum învață

Antrenarea pornește de la ponderi aleatorii. Pentru un lot mic de puncte de antrenare, rețeaua își compară răspunsurile cu culorile adevărate, iar retropropagarea calculează, de la ieșire înapoi spre intrări, cât a contribuit fiecare pondere la eroare. Fiecare pondere se mută apoi cu un pas mic, rata de învățare, în direcția care micșorează pierderea. O trecere prin toate punctele de antrenare este o epocă. O rată de învățare prea mică face progresul lent; una prea mare face ca pierderea să sară încolo și încoace sau să explodeze. Punctele de test nu sunt folosite niciodată la antrenare, așa că pierderea la test arată cât de bine generalizează rețeaua.

Întrebări frecvente

De ce nu poate o rețea fără straturi ascunse să învețe cercul sau XOR?

Fără straturi ascunse, ieșirea este o funcție de o singură sumă ponderată a intrărilor, așa că frontiera este o linie dreaptă. Nicio linie dreaptă nu pune interiorul unui cerc de o parte și inelul de cealaltă și nici nu separă cele două diagonale ale XOR. Marvin Minsky și Seymour Papert au subliniat acest lucru despre perceptronii cu un singur strat în 1969. Un strat ascuns rezolvă problema, la fel ca o intrare suplimentară: cu x² și y², cercul devine o tăietură dreaptă, iar cu x·y la fel devine și XOR.

Ce este supraantrenarea și cum o pot vedea aici?

O rețea se supraantrenează când învață pe de rost punctele de antrenare, cu tot cu zgomot, în loc de modelul din spatele lor. Alegeți un set de date cu mult zgomot și puține puncte și o rețea mare și antrenați mult timp: pierderea la antrenare continuă să scadă, în timp ce pierderea la test se aplatizează și începe să crească, iar frontiera capătă mici insule în jurul punctelor izolate. Ajută mai puțini neuroni, mai multe puncte sau oprirea mai devreme.

Ce funcție de activare ar trebui să folosesc?

Tanh dă frontiere netede, rotunjite și se antrenează bine pe aceste probleme mici. ReLU, care este zero pentru sumele negative și suma însăși în rest, este alegerea implicită în învățarea profundă modernă și dă frontiere alcătuite din bucăți drepte. Sigmoida învață mai încet în straturile ascunse, deoarece panta ei este mică. Activarea liniară face inutil orice strat ascuns: o stivă de straturi liniare este tot o singură funcție liniară, așa că frontiera rămâne dreaptă.

Ce înseamnă imaginile mici din diagrama rețelei?

Fiecare arată ieșirea unui neuron pentru fiecare punct al planului, albastru pentru valori mari și portocaliu pentru valori mici. Neuronii de intrare arată x, y și celelalte intrări, primul strat ascuns arată semiplane estompate, iar neuronii mai adânci arată formele mai complexe construite din acestea. Conexiunile sunt albastre pentru ponderile pozitive și portocalii pentru cele negative, cu atât mai groase cu cât ponderea este mai mare.

Se trimite ceva la un server?

Nu. Datele, rețeaua și antrenarea rulează toate în browserul dumneavoastră, în JavaScript simplu, fără nicio bibliotecă de învățare automată. Setările dumneavoastră și punctele pe care le adăugați prin clic rămân în spațiul de stocare local al acestui browser.

Ești gata să încerci?

Deschide PictorX în browser – fără instalare și fără card de credit.

Mergi la editor