- Klasa +1
- Klasa −1
- Źle sklasyfikowany
- Granica decyzyjna
- Wektor wag w
- Prosta z kieszeni
| Waga | Przed | Zmiana | Po |
|---|
- Błędy na epokę
- Błędy kieszeni
Wizualizator perceptronu
Perceptron to najprostsza ucząca się maszyna, jaka istnieje: pojedynczy sztuczny neuron, który sumuje ważone wejścia i odpowiada tak albo nie. Przy dwóch wejściach jego odpowiedź zmienia się wzdłuż prostej, a uczenie się oznacza przesuwanie tej prostej, aż każdy punkt znajdzie się po swojej stronie. Dodaj na płaszczyźnie punkty dwóch klas albo wybierz bramkę logiczną, potem przechodź regułę Rosenblatta przykład po przykładzie, oglądaj każdą wagę przed aktualizacją i po niej i patrz, jak prosta obraca się i wsuwa na miejsce – albo bez końca zawodzi na XOR. Wybierz zbiór danych albo klikaj, by dodawać punkty na płaszczyźnie: kliknięcie dodaje punkt klasy wybranej w polu „Klik dodaje”, Shift+klik lub prawy przycisk – punkt drugiej klasy, a kliknięcie punktu usuwa go. Potem trenuj neuron. Krok pokazuje jeden przykład: przerywany okrąg go zaznacza, a tabela pokazuje wagi przed aktualizacją w ← w + η·(y − ŷ)·x i po niej. Epoka wykonuje jedno przejście przez wszystkie punkty, a Odtwórz działa w wybranym tempie, aż przejście obejdzie się bez błędu albo zostanie osiągnięty limit epok. Prosta leży tam, gdzie w₁x + w₂y + b = 0, strzałka to wektor wag, a czerwony okrąg oznacza punkt po złej stronie.
Jak to działa
- Wybierz zbiór danych, od bramek logicznych AND, OR, NAND i XOR po losowe punkty z marginesem albo dwie nakładające się chmury, lub dodaj własne punkty na płaszczyźnie.
- Naciśnij Krok, aby pokazać neuronowi jeden przykład i zobaczyć aktualizację każdej wagi, albo Epoka lub Odtwórz, aby trenować na wszystkich punktach.
- Obserwuj granicę decyzyjną, wektor wag i błędy na epokę, aż przejście obejdzie się bez błędu, i wypróbuj XOR, aby zobaczyć, jak pojedynczy perceptron zawodzi.
Jeden neuron, jedna prosta
Perceptron z wejściami x i y oblicza w₁x + w₂y + b i odpowiada +1, gdy suma jest dodatnia, i −1, gdy jest ujemna. Suma jest równa zeru dokładnie na prostej w₁x + w₂y + b = 0, więc neuron dzieli płaszczyznę na dwie półpłaszczyzny, po jednej dla każdej klasy. Wektor wag (w₁, w₂) jest prostopadły do tej prostej i wskazuje stronę +1, a obciążenie b odsuwa prostą od początku układu. Gdy traktuje się obciążenie jak wagę w₀ wejścia zawsze równego 1, jedna reguła trenuje wszystkie trzy liczby.
Reguła uczenia
Podczas treningu neuron widzi po jednym punkcie naraz. Jeśli odpowie dobrze, nic się nie zmienia. Jeśli się pomyli, każda waga zmienia się o η·(y − ŷ) razy swoje wejście, gdzie y to prawdziwa klasa, ŷ odpowiedź, a η współczynnik uczenia. To przesuwa prostą tak, by punkt trafił na właściwą stronę. Jedno przejście przez wszystkie punkty to epoka. Jeśli punkty da się rozdzielić prostą, twierdzenie o zbieżności perceptronu gwarantuje, że ta prosta reguła znajdzie taką prostą po skończonej liczbie błędów; XOR pokazuje, co się dzieje, gdy takiej prostej nie ma.
Często zadawane pytania
Dlaczego perceptron nie może nauczyć się XOR?
XOR jest prawdziwy dla (0, 1) i (1, 0), a fałszywy dla (0, 0) i (1, 1). Dwa prawdziwe punkty leżą na jednej przekątnej kwadratu, a dwa fałszywe na drugiej, i żadna prosta nie umieści jednej przekątnej po jednej stronie, a drugiej po drugiej. Pojedynczy perceptron rysuje tylko proste, więc przy XOR myli się epoka po epoce i nigdy nie osiąga zbieżności. Rozwiązuje to druga warstwa neuronów albo dodatkowe wejście, takie jak x·y.
Czy perceptron zawsze jest zbieżny?
Jest zbieżny zawsze, gdy prosta może rozdzielić obie klasy: twierdzenie o zbieżności perceptronu ogranicza liczbę aktualizacji, do co najwyżej (R/γ)² dla reguły w jej klasycznej postaci, gdzie R to długość najdłuższego wektora wejściowego, a γ margines najlepszej rozdzielającej prostej. Mały margines może oznaczać wiele epok. Gdy rozdzielająca prosta nie istnieje, perceptron nigdy nie jest zbieżny – dlatego aplikacja zatrzymuje się na limicie epok i sprawdza, czy punkty są rozdzielne.
Co robi współczynnik uczenia?
Określa wielkość każdej aktualizacji. Przy starcie od zerowych wag tylko mnoży wszystkie wagi przez ten sam czynnik i nigdy nie zmienia ani prostej, ani liczby błędów – to ciekawa własność perceptronu. Przy losowych wagach początkowych ma znaczenie: mały współczynnik dłużej trzyma prostą blisko punktu startu, duży pozwala zdominować wynik pierwszym błędom.
Czym jest algorytm kieszeniowy?
To niewielka modyfikacja, opublikowana przez Stephena Gallanta w 1990 roku, dla danych, których żadna prosta nie rozdziela. Perceptron działa jak zwykle, ale po każdej aktualizacji liczy się błędy nowych wag na wszystkich punktach, a najlepsze dotąd wagi trafiają do kieszeni (ang. pocket). Przerywana prosta z kieszeni jest odpowiedzią, gdy trening się kończy, zamiast prostej, którą przypadkiem zostawiła ostatnia aktualizacja.
Czy coś jest wysyłane na serwer?
Nie. Punkty, trening i rysowanie działają w Twojej przeglądarce, a Twoje punkty i wagi zostają w jej pamięci lokalnej.
Chcesz wypróbować?
Otwórz PictorX w swojej przeglądarce — do uruchomienia nie jest wymagana żadna instalacja ani karta kredytowa.
Przejdź do edytora