- Punkty treningowe
- Punkty testowe
- Granica decyzyjna
- Strata treningowa
- Strata testowa
Piaskownica sieci neuronowej
Sieć neuronowa to stos prostych jednostek, które sumują ważone wejścia i przepuszczają sumę przez zagięcie. Pojedyncza jednostka potrafi narysować tylko linię prostą, ale razem mogą odwzorować okrąg, spiralę czy cokolwiek innego. Wybierz zbiór danych, zbuduj sieć z maksymalnie czterema warstwami ukrytymi, naciśnij Trenuj i obserwuj, jak granica między niebieskim a pomarańczowym epoka po epoce wygina się we właściwy kształt, a każdy neuron pokazuje tę część wzoru, którą nauczył się wykrywać. Wybierz zbiór danych i sieć, a potem naciśnij Trenuj i obserwuj, jak sieć uczy się oddzielać punkty niebieskie od pomarańczowych. Wypełnione punkty trenują sieć; pierścienie to punkty testowe, na których sieć nigdy się nie uczy. Tło pokazuje odpowiedź sieci dla każdego punktu płaszczyzny, a linia wyznacza miejsce, w którym sieć zmienia zdanie. Na diagramie każdy neuron pokazuje, na co reaguje, a każde połączenie jest niebieskie dla dodatniej wagi i pomarańczowe dla ujemnej, tym grubsze, im większa waga. Kliknij płaszczyznę, aby dodać punkty w kolorze wybranym w polu Klik dodaje.
Jak to działa
- Wybierz zbiór danych – od dwóch chmur, które da się rozdzielić linią prostą, po spiralę wymagającą kilku warstw – albo kliknij płaszczyznę, aby postawić własne punkty.
- Ustaw warstwy ukryte, liczbę neuronów na warstwę, aktywację, współczynnik uczenia i wejścia, które dostaje sieć.
- Naciśnij Trenuj i obserwuj granicę, neurony i stratę; porównaj stratę treningową ze stratą testową, aby wychwycić przeuczenie.
Co robi sieć
Każdy neuron mnoży swoje wejścia przez wagi, dodaje obciążenie (bias) i przepuszcza sumę przez funkcję aktywacji, taką jak tanh czy ReLU. Neurony pierwszej warstwy ukrytej dzielą płaszczyznę wzdłuż jednej linii prostej, złagodzonej do płynnego przejścia. Następna warstwa łączy te półpłaszczyzny w kliny, pasy i plamy, a neuron wyjściowy zamienia wynik w prawdopodobieństwo koloru niebieskiego. Tło płaszczyzny pokazuje to prawdopodobieństwo wszędzie, a ciemna linia to miejsce, w którym wynosi ono dokładnie jedną drugą: granica decyzyjna.
Jak się uczy
Trening zaczyna się od losowych wag. Dla małej porcji punktów treningowych sieć porównuje swoje odpowiedzi z prawdziwymi kolorami, a propagacja wsteczna oblicza, od wyjścia z powrotem do wejść, jak bardzo każda waga przyczyniła się do błędu. Każda waga przesuwa się następnie o mały krok, współczynnik uczenia, w kierunku, który zmniejsza stratę. Jedno przejście przez wszystkie punkty treningowe to epoka. Zbyt mały współczynnik uczenia spowalnia postępy; zbyt duży sprawia, że strata skacze albo eksploduje. Punkty testowe nigdy nie są używane do treningu, więc strata testowa pokazuje, jak dobrze sieć uogólnia.
Często zadawane pytania
Dlaczego sieć bez warstw ukrytych nie może nauczyć się koła ani XOR?
Bez warstw ukrytych wyjście jest funkcją jednej ważonej sumy wejść, więc granica jest linią prostą. Żadna linia prosta nie umieści wnętrza koła po jednej stronie, a otaczającego pierścienia po drugiej, ani nie rozdzieli dwóch przekątnych XOR. Marvin Minsky i Seymour Papert zwrócili na to uwagę w odniesieniu do perceptronów jednowarstwowych w 1969 roku. Warstwa ukryta rozwiązuje ten problem, podobnie jak dodatkowe wejście: z x² i y² koło staje się prostym cięciem, a z x·y – także XOR.
Czym jest przeuczenie i jak je tu zobaczyć?
Sieć się przeucza, gdy uczy się punktów treningowych na pamięć, razem z szumem, zamiast wzoru, który za nimi stoi. Wybierz zaszumiony zbiór danych z małą liczbą punktów i dużą sieć, i trenuj długo: strata treningowa wciąż spada, podczas gdy strata testowa się wypłaszcza i zaczyna rosnąć, a na granicy pojawiają się małe wysepki wokół pojedynczych punktów. Pomagają mniej neuronów, więcej punktów albo wcześniejsze zatrzymanie.
Której funkcji aktywacji używać?
Tanh daje gładkie, zaokrąglone granice i dobrze się trenuje na tych małych problemach. ReLU, która dla ujemnych sum daje zero, a w przeciwnym razie samą sumę, jest standardem w nowoczesnym uczeniu głębokim i daje granice złożone z prostych odcinków. Sigmoida uczy się wolniej w warstwach ukrytych, bo ma małe nachylenie. Funkcja liniowa sprawia, że każda warstwa ukryta jest bezużyteczna: stos warstw liniowych to wciąż jedna funkcja liniowa, więc granica pozostaje prosta.
Co oznaczają małe obrazki na diagramie sieci?
Każdy z nich pokazuje wyjście neuronu dla każdego punktu płaszczyzny: niebieski oznacza wysoką wartość, pomarańczowy niską. Neurony wejściowe pokazują x, y i pozostałe wejścia, pierwsza warstwa ukryta pokazuje miękkie półpłaszczyzny, a głębsze neurony – bardziej złożone kształty zbudowane z nich. Połączenia są niebieskie dla wag dodatnich i pomarańczowe dla ujemnych, tym grubsze, im większa waga.
Czy cokolwiek jest wysyłane na serwer?
Nie. Dane, sieć i trening działają w całości w twojej przeglądarce, w zwykłym JavaScripcie, bez żadnej biblioteki uczenia maszynowego. Twoje ustawienia i punkty, które wklikasz, pozostają w pamięci lokalnej tej przeglądarki.
Chcesz wypróbować?
Otwórz PictorX w swojej przeglądarce — do uruchomienia nie jest wymagana żadna instalacja ani karta kredytowa.
Przejdź do edytora