Эпоха
Ошибок за последнюю эпоху
Веса w₁ · w₂ · b
Сошёлся
  • Класс +1
  • Класс −1
  • Ошибочно классифицирована
  • Граница решений
  • Вектор весов w

Клик добавляет

Подробнее о перцептроне

Визуализатор перцептрона

Перцептрон — самая простая обучающаяся машина на свете: один искусственный нейрон, который складывает взвешенные входы и отвечает «да» или «нет». При двух входах его ответ меняется вдоль прямой, а учиться значит сдвигать эту прямую, пока каждая точка не окажется на своей стороне. Поставьте на плоскости точки двух классов или выберите логический вентиль, затем проходите правило Розенблатта пример за примером, смотрите каждый вес до и после обновления и наблюдайте, как прямая поворачивается и встаёт на место — или бесконечно терпит неудачу на XOR. Выберите набор данных или ставьте точки на плоскости щелчком: щелчок добавляет точку класса, выбранного в поле «Клик добавляет», Shift-щелчок или правый щелчок — точку другого класса, а щелчок по точке удаляет её. Затем обучите нейрон. «Шаг» показывает один пример: его отмечает пунктирное кольцо, а таблица показывает веса до и после обновления w ← w + η·(y − ŷ)·x. «Эпоха» выполняет один проход по всем точкам, а «Пуск» продолжает с выбранной скоростью, пока проход не обойдётся без ошибок или не будет достигнут предел эпох. Прямая — это место, где w₁x + w₂y + b = 0, стрелка — вектор весов, а красное кольцо отмечает точку не на той стороне.

Как это работает

  1. Выберите набор данных — от логических вентилей AND, OR, NAND и XOR до случайных точек с зазором или двух перекрывающихся облаков — или поставьте свои точки на плоскости.
  2. Нажмите «Шаг», чтобы показать нейрону один пример и увидеть обновление каждого веса, или «Эпоха» либо «Пуск», чтобы обучать его на всех точках.
  3. Следите за границей решений, вектором весов и ошибками по эпохам, пока проход не обойдётся без ошибок, и попробуйте XOR, чтобы увидеть, как одиночный перцептрон терпит неудачу.

Один нейрон — одна прямая

Перцептрон с входами x и y вычисляет w₁x + w₂y + b и отвечает +1, когда сумма положительна, и −1, когда отрицательна. Сумма равна нулю ровно на прямой w₁x + w₂y + b = 0, поэтому нейрон разрезает плоскость на две полуплоскости, по одной на класс. Вектор весов (w₁, w₂) перпендикулярен этой прямой и указывает в сторону +1, а смещение b отодвигает прямую от начала координат. Если считать смещение весом w₀ входа, который всегда равен 1, одно правило обучает все три числа.

Правило обучения

При обучении нейрон видит по одной точке за раз. Если он отвечает верно, ничего не меняется. Если ошибается, каждый вес меняется на η·(y − ŷ), умноженное на его вход, где y — истинный класс, ŷ — ответ, а η — скорость обучения. Это сдвигает прямую так, чтобы точка оказалась на правильной стороне. Один проход по всем точкам — это эпоха. Если точки можно разделить прямой, теорема о сходимости перцептрона гарантирует, что это простое правило найдёт такую прямую после конечного числа ошибок; XOR показывает, что происходит, когда такой прямой нет.

Часто задаваемые вопросы

Почему перцептрон не может выучить XOR?

XOR истинно для (0, 1) и (1, 0) и ложно для (0, 0) и (1, 1). Две истинные точки лежат на одной диагонали квадрата, две ложные — на другой, и никакая прямая не оставит одну диагональ по одну сторону, а другую — по другую. Одиночный перцептрон умеет проводить только прямые, поэтому на XOR он ошибается эпоха за эпохой и никогда не сходится. Это решает второй слой нейронов или дополнительный вход, например x·y.

Всегда ли перцептрон сходится?

Он сходится всякий раз, когда прямая может разделить два класса: теорема о сходимости перцептрона ограничивает число обновлений — для правила в классической форме не более (R/γ)², где R — длина самого длинного входного вектора, а γ — зазор лучшей разделяющей прямой. Маленький зазор может означать много эпох. Если разделяющей прямой нет, он никогда не сходится; поэтому приложение останавливается на пределе эпох и проверяет, разделимы ли точки.

Что делает скорость обучения?

Она задаёт размер каждого обновления. При старте с нулевых весов она лишь умножает все веса на один и тот же множитель и никогда не меняет ни прямую, ни число ошибок — любопытное свойство перцептрона. Со случайными начальными весами она важна: малая скорость дольше держит прямую рядом с исходным положением, большая позволяет первым ошибкам взять верх.

Что такое карманный алгоритм?

Небольшое изменение, опубликованное Стивеном Галлантом в 1990 году, для данных, которые никакая прямая не разделяет. Перцептрон работает как обычно, но после каждого обновления подсчитываются ошибки новых весов на всех точках, а лучшие на данный момент веса кладутся «в карман» (англ. pocket). Пунктирная прямая из кармана — это ответ, когда обучение останавливается, а не та прямая, которую случайно оставило последнее обновление.

Отправляется ли что-нибудь на сервер?

Нет. Точки, обучение и рисование работают в вашем браузере, а ваши точки и веса остаются в локальном хранилище этого браузера.

Готовы попробовать?

Откройте PictorX в своем браузере — установка не требуется, для запуска не требуется кредитная карта.

Перейти в редактор