Jak działają sieci neuronowe
Systemy, które rozpoznają twarze, tłumaczą teksty i piszą odpowiedzi, opierają się na zaskakująco prostym pomyśle: wielu małych jednostkach, z których każda sumuje liczby, trochę zagina wynik i przekazuje go dalej. Nikt nie programuje reguł. Sieć zaczyna od losowych ustawień i dostosowuje je, maleńki krok za krokiem, aż jej odpowiedzi zgadzają się z pokazywanymi przykładami. Ten artykuł śledzi ten pomysł od jednego neuronu do sieci, która uczy się spirali.
Jeden neuron
Sztuczny neuron przyjmuje kilka liczb, mnoży każdą przez wagę, sumuje je razem z obciążeniem (bias) i przepuszcza sumę przez funkcję aktywacji. Warren McCulloch i Walter Pitts opisali taką jednostkę w 1943 roku, a w 1958 roku Frank Rosenblatt zbudował perceptron – maszynę, która sama uczyła się swoich wag na przykładach. Przy dwóch wejściach x i y suma ważona jest równa zeru wzdłuż linii prostej, więc pojedynczy neuron dzieli płaszczyznę na dwie połowy: jedna strona to jego „tak”, druga jego „nie”, z łagodnym przejściem, gdy aktywacja jest gładka.
Funkcje aktywacji
To funkcja aktywacji sprawia, że sieć jest czymś więcej niż sumą. Sigmoida ściska każdą liczbę do przedziału od 0 do 1, a tanh do przedziału od −1 do 1; obie są gładkimi krzywymi w kształcie litery S. ReLU (rectified linear unit) daje zero dla liczb ujemnych, a w przeciwnym razie samą liczbę; mniej więcej od 2010 roku jest zwykłym wyborem w sieciach głębokich, bo jest tania obliczeniowo i nie pozwala gradientom zanikać. Bez takiego zagięcia nakładanie warstw nie miałoby sensu: łańcuch funkcji liniowych to wciąż jedna funkcja liniowa, a jej granica to wciąż linia prosta.
Warstwy
Ustaw kilka neuronów obok siebie, a otrzymasz warstwę; podaj wyjścia jednej warstwy na wejście następnej, a otrzymasz sieć. W piaskownicy pierwsza warstwa ukryta tnie płaszczyznę wzdłuż kilku linii, następna łączy te półpłaszczyzny w kliny i wyspy, a neuron wyjściowy waży to wszystko w jedno prawdopodobieństwo. W 1969 roku Marvin Minsky i Seymour Papert wykazali, że perceptron bez warstw ukrytych nie może nauczyć się XOR, co przyczyniło się do wieloletniego zastoju w tej dziedzinie. Dwadzieścia lat później George Cybenko i inni udowodnili coś przeciwnego dla sieci z jedną warstwą ukrytą: przy wystarczającej liczbie neuronów mogą one przybliżyć dowolną funkcję ciągłą z dowolną dokładnością.
Mierzenie błędu
Aby się uczyć, sieć potrzebuje liczby, która mówi, jak bardzo się myli: straty. Dla dwóch klas zwykle wybiera się entropię krzyżową. Jeśli sieć przypisuje niebieskiemu punktowi prawdopodobieństwo p, że jest niebieski, ten punkt kosztuje −log p, co jest małe, gdy p jest bliskie 1, i rośnie bez ograniczeń, gdy p zbliża się do 0. Strata to średni koszt po wszystkich punktach. Sieć, która wszędzie zgaduje jedną drugą, ma stratę log 2, czyli około 0,693, blisko miejsca, od którego zaczyna się wykres w piaskownicy.
Spadek gradientu i propagacja wsteczna
Wyobraź sobie stratę jako krajobraz rozpięty nad wszystkimi wagami. Spadek gradientu znajduje kierunek w dół, czyli ujemny gradient, i robi w tę stronę mały krok, raz za razem. Obliczanie gradientu dla tysięcy wag wydaje się kosztowne, ale propagacja wsteczna robi to w jednym przejściu wstecz: zaczynając od błędu na wyjściu, reguła łańcuchowa przydziela każdej warstwie jej część winy, warstwa po warstwie aż do wejść. Metodę opisywano kilkakrotnie, a artykuł Davida Rumelharta, Geoffreya Hintona i Ronalda Williamsa z 1986 roku uczynił ją standardowym sposobem trenowania sieci. Używanie w każdym kroku małej losowej porcji punktów zamiast wszystkich, czyli stochastyczny spadek gradientu, jest szybsze i działa równie dobrze.
Współczynnik uczenia
Wielkość kroku nazywa się współczynnikiem uczenia i to właśnie to ustawienie najczęściej decyduje o tym, czy trening działa. Zbyt mały – strata pełznie w dół tak wolno, że nic się nie dzieje. Zbyt duży – każdy krok przeskakuje dolinę, do której celował: strata podskakuje w górę i w dół, a w większych sieciach eksploduje, aż liczby przekroczą zakres. Przy ReLU duży krok może też zepchnąć neurony tam, gdzie ich suma jest ujemna dla każdego punktu; wtedy dają zero, nie dostają gradientu i nigdy się nie odradzają. Wypróbuj w piaskownicy spiralę ze współczynnikiem 3: przy tanh strata skacze, przy ReLU wiele neuronów gaśnie, a strata utyka w okolicy 0,69. Potem spróbuj 0,001, żeby zobaczyć, jak się wlecze.
Przeuczenie
Sieć z wystarczającą liczbą wag potrafi zapamiętać swoje punkty treningowe razem z szumem i narysować granicę, która wije się wokół każdego zabłąkanego punktu. Radzi sobie wtedy dobrze na punktach, które widziała, i źle na nowych. Dlatego część danych odkłada się jako dane testowe, nigdy nieużywane do treningu. Dopóki obie straty spadają, sieć uczy się wzoru; gdy strata testowa zaczyna rosnąć, a strata treningowa wciąż spada, sieć zaczęła uczyć się na pamięć. Pomagają mniejsze sieci, więcej danych, dodanie szumu albo po prostu zatrzymanie treningu we właściwym momencie.
Wypróbuj sam
Otwórz piaskownicę sieci neuronowej, aby wytrenować sieć z maksymalnie czterema warstwami ukrytymi po osiem neuronów na sześciu zbiorach danych, w tym na punktach, które sam wklikasz. Każdy neuron jest rysowany jako mała mapa tego, na co reaguje, a każda waga jako niebieskie lub pomarańczowe połączenie, więc możesz obserwować, jak sieć wymyśla własne cechy. Wypróbuj koło bez warstw ukrytych, a potem dodaj x² i y² jako wejścia; wypróbuj spiralę z jedną warstwą, a potem z trzema; i dodaj szum do małego zbioru danych, aby doprowadzić do przeuczenia.
Często zadawane pytania
Czy tak działają duże modele AI?
Elementy składowe są te same: sumy ważone, funkcje aktywacji, funkcja straty i spadek gradientu z propagacją wsteczną. Duże modele mają miliardy wag zamiast kilkudziesięciu, warstwy zaprojektowane do obrazów lub tekstu, takie jak sploty i mechanizm uwagi (attention), i trenują na ogromnych zbiorach danych za pomocą lepszych optymalizatorów. Podstawowa pętla, którą widzisz w piaskownicy, pozostaje bez zmian.
Dlaczego trening zaczyna się od losowych wag?
Gdyby wszystkie wagi zaczynały od tej samej wartości, każdy neuron w warstwie obliczałby to samo i dostawałby tę samą aktualizację, więc pozostałyby identyczne na zawsze. Małe losowe wagi łamią tę symetrię, dzięki czemu każdy neuron może nauczyć się innej cechy. Ich wielkość ma znaczenie: piaskownica skaluje je do liczby wejść, jak zaproponowali Xavier Glorot i Yoshua Bengio w 2010 roku.
Dlaczego dwa przebiegi kończą się różnymi granicami?
Każdy przebieg zaczyna od innych losowych wag i widzi punkty w innej losowej kolejności, a krajobraz straty ma wiele dolin, które są prawie równie dobre. Dwie sieci mogą równie dobrze klasyfikować punkty treningowe przy różnie ukształtowanych granicach i mogą się różnić w obszarach, w których nie ma danych.
Czy więcej warstw to zawsze lepiej?
Nie. Głębsze sieci mogą przedstawiać bardziej złożone kształty przy mniejszej liczbie neuronów, ale trudniej je wytrenować i na małych zbiorach danych łatwiej się przeuczają. Do problemów w piaskownicy zwykle wystarczają jedna lub dwie warstwy ukryte; spirala to ten zbiór, któremu wyraźnie pomaga ich więcej.
Chcesz wypróbować?
Otwórz PictorX w swojej przeglądarce — do uruchomienia nie jest wymagana żadna instalacja ani karta kredytowa.
Otwórz piaskownicę sieci neuronowej