Rețelele neuronale pe înțeles

Sistemele care recunosc fețe, traduc texte și scriu răspunsuri sunt construite pe o idee surprinzător de simplă: multe unități mici, fiecare adunând numere, îndoind puțin rezultatul și transmițându-l mai departe. Nimeni nu programează regulile. Rețeaua pornește de la setări aleatorii și le ajustează, câte un pas minuscul, până când răspunsurile ei se potrivesc cu exemplele care îi sunt arătate. Acest articol urmărește ideea de la un singur neuron până la o rețea care învață o spirală.

O rețea neuronală mică, cu intrări, două straturi ascunse și o ieșire, cu conexiuni albastre și portocalii, lângă un plan în care o frontieră curbă separă punctele albastre de cele portocalii
O rețea neuronală mică, cu intrări, două straturi ascunse și o ieșire, cu conexiuni albastre și portocalii, lângă un plan în care o frontieră curbă separă punctele albastre de cele portocalii

Un singur neuron

Un neuron artificial primește câteva numere, înmulțește fiecare număr cu o pondere, le adună împreună cu un bias și trece totalul printr-o funcție de activare. Warren McCulloch și Walter Pitts au descris o astfel de unitate în 1943, iar în 1958 Frank Rosenblatt a construit perceptronul, o mașină care își învăța singură ponderile din exemple. Cu două intrări x și y, suma ponderată este zero de-a lungul unei linii drepte, așa că un singur neuron împarte planul în două jumătăți: o parte este „da”-ul lui, cealaltă „nu”-ul lui, cu o trecere lină atunci când activarea este netedă.

Warren McCulloch (stânga, cu barbă) și colegi
Warren McCulloch (stânga, cu barbă) și colegi

Funcții de activare

Funcția de activare este cea care face dintr-o rețea mai mult decât o sumă. Sigmoida comprimă orice număr în intervalul de la 0 la 1, iar tanh în cel de la −1 la 1; ambele sunt curbe netede în formă de S. ReLU, unitatea liniară rectificată, dă zero pentru numerele negative și numărul însuși în rest; de pe la 2010 este alegerea obișnuită pentru rețelele adânci, deoarece este ieftină de calculat și împiedică gradienții să se stingă. Fără o îndoire de acest fel, suprapunerea straturilor ar fi inutilă: un lanț de funcții liniare este tot o singură funcție liniară, iar frontiera ei este tot o linie dreaptă.

Straturi

Așezați mai mulți neuroni unul lângă altul și obțineți un strat; dați ieșirile unui strat ca intrări următorului și obțineți o rețea. În sandbox, primul strat ascuns taie planul de-a lungul mai multor linii, stratul următor combină aceste semiplane în pene și insule, iar neuronul de ieșire cântărește totul într-o singură probabilitate. În 1969, Marvin Minsky și Seymour Papert au arătat că un perceptron fără straturi ascunse nu poate învăța XOR, ceea ce a contribuit la stagnarea domeniului timp de ani de zile. Douăzeci de ani mai târziu, George Cybenko și alții au demonstrat contrariul pentru rețelele cu un strat ascuns: cu destui neuroni, ele pot aproxima orice funcție continuă oricât de precis doriți.

Măsurarea erorii

Ca să învețe, o rețea are nevoie de un număr care spune cât de mult greșește: pierderea. Pentru două clase, alegerea obișnuită este entropia încrucișată. Dacă rețeaua îi atribuie unui punct albastru o probabilitate p de a fi albastru, acel punct costă −log p, care este mic când p este aproape de 1 și crește nelimitat pe măsură ce p se apropie de 0. Pierderea este costul mediu pe toate punctele. O rețea care ghicește o jumătate peste tot are o pierdere de log 2, aproximativ 0,693, aproape de valoarea de la care pornește graficul din sandbox.

Coborârea pe gradient și retropropagarea

Gândiți-vă la pierdere ca la un relief întins peste toate ponderile. Coborârea pe gradient găsește direcția de coborâre, gradientul negativ, și face un pas mic în acea direcție, iar și iar. Calcularea gradientului pentru mii de ponderi pare costisitoare, dar retropropagarea o face într-o singură trecere înapoi: pornind de la eroarea de la ieșire, regula lanțului îi atribuie fiecărui strat partea lui de vină, strat cu strat, înapoi până la intrări. Metoda a fost descrisă de mai multe ori, iar articolul din 1986 al lui David Rumelhart, Geoffrey Hinton și Ronald Williams a făcut din ea metoda standard de antrenare a rețelelor. Folosirea la fiecare pas a unui lot mic și aleatoriu de puncte în locul tuturor, adică coborârea stochastică pe gradient, este mai rapidă și funcționează la fel de bine.

Geoffrey Hinton, un fondator al rețelelor neuronale moderne
Geoffrey Hinton, un fondator al rețelelor neuronale moderne

Rata de învățare

Mărimea pasului se numește rata de învățare și este setarea care decide cel mai des dacă antrenarea funcționează. Prea mică, și pierderea coboară atât de încet încât pare că nu se întâmplă nimic. Prea mare, și fiecare pas trece dincolo de valea pe care o țintea: pierderea sare în sus și în jos sau, în rețelele mai mari, explodează până când numerele depășesc capacitatea de reprezentare. Cu ReLU, un pas mare poate împinge și neuronii acolo unde suma lor este negativă pentru fiecare punct; atunci ei dau zero, nu primesc niciun gradient și nu își mai revin niciodată. Încercați în sandbox spirala cu o rată de 3: cu tanh pierderea sare încolo și încoace, cu ReLU mulți neuroni se sting, iar pierderea rămâne blocată în jur de 0,69. Apoi încercați 0,001 ca să o vedeți târându-se.

Supraantrenarea

O rețea cu destule ponderi își poate memora punctele de antrenare, cu zgomot cu tot, și poate trasa o frontieră care se răsucește în jurul fiecărui punct rătăcit. Atunci se descurcă bine pe punctele pe care le-a văzut și prost pe cele noi. De aceea, o parte din date este pusă deoparte ca date de test, care nu sunt folosite niciodată la antrenare. Cât timp ambele pierderi scad, rețeaua învață modelul; când pierderea la test începe să crească în timp ce pierderea la antrenare continuă să scadă, rețeaua a început să memoreze. Ajută rețelele mai mici, mai multe date, adăugarea de zgomot sau pur și simplu oprirea la momentul potrivit.

Explorați

Deschideți sandboxul pentru rețele neuronale ca să antrenați o rețea cu până la patru straturi ascunse a câte opt neuroni pe șase seturi de date, inclusiv pe puncte pe care le adăugați chiar dumneavoastră prin clic. Fiecare neuron este desenat ca o mică hartă a ceea ce îl activează, iar fiecare pondere ca o conexiune albastră sau portocalie, astfel încât puteți urmări cum rețeaua își inventează propriile trăsături. Încercați cercul fără straturi ascunse, apoi adăugați x² și y² ca intrări; încercați spirala cu un strat, apoi cu trei; și adăugați zgomot unui set de date mic ca să îl faceți să se supraantreneze.

Întrebări frecvente

Așa funcționează modelele mari de inteligență artificială?

Elementele de bază sunt aceleași: sume ponderate, funcții de activare, o pierdere și coborârea pe gradient cu retropropagare. Modelele mari au miliarde de ponderi în loc de câteva zeci, straturi construite pentru imagini sau text, precum convoluțiile și mecanismul de atenție, și se antrenează pe seturi de date uriașe cu optimizatori mai buni. Bucla de bază pe care o vedeți în sandbox rămâne neschimbată.

De ce pornește antrenarea de la ponderi aleatorii?

Dacă toate ponderile ar porni egale, fiecare neuron dintr-un strat ar calcula același lucru și ar primi aceeași actualizare, iar neuronii ar rămâne identici pentru totdeauna. Ponderile mici și aleatorii rup această simetrie, astfel încât fiecare neuron poate învăța o trăsătură diferită. Mărimea lor contează: sandboxul le scalează în funcție de numărul de intrări, așa cum au propus Xavier Glorot și Yoshua Bengio în 2010.

De ce se termină două rulări cu frontiere diferite?

Fiecare rulare pornește de la alte ponderi aleatorii și vede punctele într-o altă ordine aleatorie, iar relieful pierderii are multe văi aproape la fel de bune. Două rețele pot clasifica la fel de bine punctele de antrenare cu frontiere de forme diferite și pot da răspunsuri diferite în regiunile în care nu există date.

Mai multe straturi înseamnă întotdeauna mai bine?

Nu. Rețelele mai adânci pot reprezenta forme mai complexe cu mai puțini neuroni, dar sunt mai greu de antrenat și se supraantrenează mai ușor pe seturi de date mici. Pentru problemele din sandbox, unul sau două straturi ascunse sunt de obicei suficiente; spirala este cea care beneficiază clar de mai multe.

Ești gata să încerci?

Deschide PictorX în browser – fără instalare și fără card de credit.

Deschide sandboxul pentru rețele neuronale