Перцептрон простыми словами

В 1958 году психолог из лаборатории в Буффало, штат Нью-Йорк, показал машину, которая училась. Никто не сообщал ей правила, по которому различать два вида картинок: ей показывали примеры, и после каждого неверного ответа она чуть-чуть подкручивала собственные ручки. Эта машина, перцептрон, — один искусственный нейрон с правилом обучения в несколько строк. Он не может выучить всё, и история того, чего он выучить не может, так же поучительна, как история того, что может.

Перцептрон, входы 1, x и y которого сходятся в один суммирующий нейрон, рядом с плоскостью, где прямая граница решений и её вектор весов отделяют синие круги от оранжевых квадратов
Перцептрон, входы 1, x и y которого сходятся в один суммирующий нейрон, рядом с плоскостью, где прямая граница решений и её вектор весов отделяют синие круги от оранжевых квадратов

Машина, которая учится

Фрэнк Розенблатт, психолог из Корнеллской авиационной лаборатории, описал перцептрон в 1958 году. Он опирался на искусственный нейрон, предложенный в 1943 году Уорреном Мак-Каллоком и Уолтером Питтсом: элемент, который складывает входы и срабатывает, когда сумма превышает порог. Мак-Каллоку и Питтсу приходилось задавать веса вручную. Новой идеей Розенблатта было правило, находящее их по примерам. Пресса пришла в восторг: в июле 1958 года New York Times сообщила, что флот ожидает, что машина однажды сможет ходить, говорить, видеть и осознавать собственное существование.

Уоррен Маккалок (слева, с бородой) и коллеги
Уоррен Маккалок (слева, с бородой) и коллеги

Mark I Perceptron

Первый перцептрон работал как программа на IBM 704, но вскоре Розенблатт добился, чтобы его построили как отдельную машину. Mark I Perceptron, законченный около 1960 года, смотрел на мир через камеру из 400 светочувствительных датчиков в сетке 20 на 20, случайным образом соединённых со слоем ассоциативных элементов. Его весами были потенциометры, которые при каждой ошибке поворачивали маленькие электромоторы. Он научился различать простые фигуры и буквы. Сегодня машина хранится в Национальном музее американской истории Смитсоновского института.

Персептрон Mark I, снятый для руководства оператора 1960 года: камера из датчиков света, соединённая с ассоциативными блоками, веса которых выставлялись моторами. Машина сейчас в Национальном музее американской истории Смитсоновского института.
Персептрон Mark I, снятый для руководства оператора 1960 года: камера из датчиков света, соединённая с ассоциативными блоками, веса которых выставлялись моторами. Машина сейчас в Национальном музее американской истории Смитсоновского института.

Один нейрон — одна прямая

Перцептрон с двумя входами x и y вычисляет w₁x + w₂y + b и отвечает +1, если сумма положительна, и −1, если отрицательна. Сумма равна нулю ровно на прямой w₁x + w₂y + b = 0, поэтому нейрон делит плоскость на две полуплоскости, по одной на каждый ответ. Вектор весов (w₁, w₂) перпендикулярен прямой и указывает в сторону +1, а смещение b отодвигает прямую от начала координат: без него любая граница проходила бы через (0, 0). При большем числе входов прямая становится плоскостью или гиперплоскостью, но идея та же. Приём, при котором смещение записывают как вес w₀ дополнительного входа, всегда равного 1, позволяет одному правилу выучить все веса.

Правило обучения

Обучение перебирает примеры по одному. Для каждого примера x с истинным классом y нейрон даёт ответ ŷ. Если ŷ равно y, ничего не происходит. Иначе каждый вес меняется на η·(y − ŷ), умноженное на его вход: w ← w + η·(y − ŷ)·x. Для точки класса +1, получившей ответ −1, к w прибавляется кратное x, что увеличивает w·x на кратное квадрата длины x и подталкивает точку к правильной стороне; для точки класса −1 происходит обратное. Скорость обучения η задаёт размер шага. Один проход по всем примерам — это эпоха, и обучение заканчивается после прохода без ошибок.

Теорема о сходимости

Если какая-нибудь прямая разделяет два класса, перцептрон гарантированно найдёт такую прямую. Альберт Новиков доказал в 1962 году: если длина каждого входа не больше R, а лучшая прямая разделяет классы с зазором γ, то классическое правило совершит не более (R/γ)² ошибок при любом порядке примеров. Доказательство сравнивает две величины: каждая ошибка выравнивает w с идеальным направлением ещё хотя бы на γ, а длина w растёт лишь как квадратный корень из числа ошибок, поэтому ошибки должны закончиться. Найденная прямая — лишь одна из многих, разделяющих точки, и не обязательно та, что оставляет самый широкий промежуток.

Минский, Пейперт и XOR

Когда никакая прямая не разделяет классы, правило никогда не успокаивается: любая прямая ошибается на какой-нибудь точке, и эта точка снова утягивает её прочь. Простейший пример — XOR, функция, истинная, когда истинен ровно один из двух её входов. В книге «Перцептроны» 1969 года Марвин Минский и Сеймур Пейперт доказали, что однослойные перцептроны не могут вычислить XOR и не могут определить, связна ли фигура, и точно разобрали, что они вычислить могут. Книгу часто винят в сокращении финансирования исследований нейронных сетей в 1970-х годах, хотя её авторы знали, что сети с бо́льшим числом слоёв способны на большее.

От перцептронов к нейронным сетям

Для двух слоёв XOR — это просто: один нейрон вычисляет OR, другой — NAND, а третий объединяет их через AND. Трудность была в обучении скрытых нейронов: жёсткий порог не подсказывает, в какую сторону повернуть вес. Замена ступеньки гладкой функцией, например сигмоидой, сделала ошибку дифференцируемой, а обратное распространение ошибки, популяризированное в 1986 году Дэвидом Румельхартом, Джеффри Хинтоном и Рональдом Уильямсом, вычисляет вклад каждого веса каждого слоя в ошибку. Такие многослойные перцептроны, ставшие глубокими и широкими, и есть сегодняшние нейронные сети. Для данных, которые один слой разделить не может, карманный алгоритм Стивена Галланта 1990 года хотя бы сохраняет лучшую прямую, встреченную при обучении.

Джеффри Хинтон, один из основателей современных нейросетей
Джеффри Хинтон, один из основателей современных нейросетей

Попробуйте сами

Откройте визуализатор перцептрона, чтобы обучить перцептрон на логических вентилях AND, OR и NAND, на случайных точках с выбранным вами зазором или на точках, которые вы поставите сами. Проходите правило обучения пример за примером и читайте каждый вес до и после обновления, смотрите, как поворачиваются прямая и вектор весов, и следите за ошибками по эпохам. Затем попробуйте XOR и перекрывающиеся облака, посмотрите, как перцептрону не удаётся сойтись, и включите карманный алгоритм.

Часто задаваемые вопросы

Перцептрон — это то же самое, что логистическая регрессия?

Оба — один нейрон с прямой границей, но учатся они по-разному. Перцептрон отвечает только «да» или «нет» и меняет веса только после ошибки. Логистическая регрессия пропускает сумму через сигмоиду, чтобы получить вероятность, и подстраивает веса после каждого примера, чтобы правильные ответы стали вероятнее; поэтому она продолжает улучшаться, даже когда все точки уже на правильной стороне, и успокаивается также на данных, которые никакая прямая не разделяет.

Зачем перцептрону смещение?

Без смещения w₁x + w₂y равно нулю в начале координат, и любая граница проходила бы через (0, 0). Вентилям AND и OR на входах 0 и 1 нужна прямая, не проходящая через начало координат: для AND, например, 4x + 2y − 5 = 0 отделяет (1, 1) от остальных трёх углов. Смещение обучается как любой другой вес — как вес входа, который всегда равен 1.

Какую прямую находит перцептрон?

Любую прямую, разделяющую точки, — в зависимости от начальных весов и порядка примеров. Он останавливается, как только ошибок не остаётся, поэтому прямая часто проходит близко к некоторым точкам. Метод опорных векторов, напротив, ищет прямую с самым широким зазором, а голосующий и усредняющий перцептроны Йоава Фройнда и Роберта Шапира объединяют прямые, увиденные при обучении, чтобы лучше обобщать.

Что такое многослойный перцептрон?

Сеть нейронов, расположенных слоями, в которой выходы каждого слоя служат входами следующего. С гладкой функцией активации вместо жёсткого порога её можно обучать обратным распространением ошибки и градиентным спуском. Одного скрытого слоя с достаточным числом нейронов хватает, чтобы приблизить любую непрерывную функцию на ограниченной области, а два скрытых нейрона уже решают XOR.

Готовы попробовать?

Откройте PictorX в своем браузере — установка не требуется, для запуска не требуется кредитная карта.

Открыть визуализатор перцептрона