Как работают нейронные сети
Системы, которые распознают лица, переводят тексты и пишут ответы, построены на удивительно простой идее: множество маленьких элементов, каждый из которых складывает числа, немного изгибает результат и передаёт его дальше. Правила никто не программирует. Сеть начинает со случайных настроек и подстраивает их крошечными шагами, пока её ответы не совпадут с показанными ей примерами. Эта статья прослеживает эту идею от одного нейрона до сети, которая выучивает спираль.
Один нейрон
Искусственный нейрон берёт несколько чисел, умножает каждое на вес, складывает их вместе со смещением и пропускает сумму через функцию активации. Уоррен Мак-Каллок и Уолтер Питтс описали такой элемент в 1943 году, а в 1958 году Фрэнк Розенблатт построил перцептрон — машину, которая сама подбирала свои веса по примерам. При двух входах x и y взвешенная сумма равна нулю вдоль прямой, поэтому один нейрон делит плоскость на две половины: одна сторона — его «да», другая — его «нет», с мягким переходом, если активация гладкая.
Функции активации
Именно функция активации делает сеть чем-то большим, чем сумма. Сигмоида сжимает любое число в интервал от 0 до 1, а tanh — от −1 до 1; обе — гладкие S-образные кривые. ReLU, выпрямленный линейный элемент (rectified linear unit), выдаёт ноль для отрицательных чисел и само число в остальных случаях; примерно с 2010 года это обычный выбор для глубоких сетей, потому что она дёшева в вычислении и не даёт градиентам затухать. Без подобного изгиба наслаивать слои было бы бессмысленно: цепочка линейных функций остаётся одной линейной функцией, и её граница остаётся прямой.
Слои
Поставьте несколько нейронов рядом — получится слой; подайте выходы одного слоя на вход следующего — получится сеть. В песочнице первый скрытый слой разрезает плоскость вдоль нескольких прямых, следующий слой объединяет эти полуплоскости в клинья и острова, а выходной нейрон взвешивает всё это в одну вероятность. В 1969 году Марвин Минский и Сеймур Пейперт показали, что перцептрон без скрытых слоёв не может выучить XOR, и это помогло на годы остановить развитие области. Двадцать лет спустя Джордж Цыбенко и другие доказали обратное для сетей с одним скрытым слоем: при достаточном числе нейронов они могут сколь угодно точно приблизить любую непрерывную функцию.
Измерение ошибки
Чтобы учиться, сети нужно число, которое говорит, насколько она ошибается: потери. Для двух классов обычно используют перекрёстную энтропию. Если сеть даёт синей точке вероятность p быть синей, эта точка стоит −log p: величина мала, когда p близко к 1, и неограниченно растёт, когда p приближается к 0. Потери — это средняя стоимость по всем точкам. У сети, которая везде отвечает «одна вторая», потери равны log 2, примерно 0,693, — это близко к значению, с которого начинается график в песочнице.
Градиентный спуск и обратное распространение ошибки
Представьте функцию потерь как рельеф над пространством всех весов. Градиентный спуск находит направление под гору — антиградиент — и делает небольшой шаг в эту сторону, снова и снова. Вычисление градиента для тысяч весов кажется дорогим, но обратное распространение ошибки делает это за один обратный проход: начиная с ошибки на выходе, цепное правило раздаёт каждому слою его долю вины, слой за слоем назад до входов. Метод описывали несколько раз, а статья Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса 1986 года сделала его стандартным способом обучения сетей. Если на каждом шаге брать не все точки, а небольшой случайный пакет (это стохастический градиентный спуск), получается быстрее и работает не хуже.
Скорость обучения
Размер шага называется скоростью обучения, и именно эта настройка чаще всего решает, получится ли обучение. Если она слишком мала, потери ползут вниз так медленно, что кажется, будто ничего не происходит. Если слишком велика, каждый шаг перескакивает через долину, в которую целился: потери скачут вверх и вниз, а в больших сетях взрываются, пока числа не переполнятся. С ReLU большой шаг может также вытолкнуть нейроны туда, где их сумма отрицательна для всех точек; тогда они выдают ноль, не получают градиента и уже не восстанавливаются. Попробуйте в песочнице спираль со скоростью 3: с tanh потери скачут, с ReLU многие нейроны гаснут, а потери застревают около 0,69. Затем попробуйте 0,001 и посмотрите, как обучение ползёт.
Переобучение
Сеть с достаточным числом весов может запомнить свои обучающие точки вместе со всем шумом и провести границу, которая извивается вокруг каждой случайной точки. Тогда она хорошо справляется с уже виденными точками и плохо — с новыми. Поэтому часть данных откладывают как тестовые и никогда не используют для обучения. Пока падают оба вида потерь, сеть изучает закономерность; когда потери на тесте поворачивают вверх, а потери на обучении продолжают падать, она начала запоминать. Помогают меньшие сети, больше данных, добавление шума или просто остановка в нужный момент.
Попробуйте сами
Откройте песочницу нейронной сети, чтобы обучить сеть до четырёх скрытых слоёв по восемь нейронов на шести наборах данных, включая точки, которые вы расставите сами. Каждый нейрон нарисован маленькой картой того, на что он реагирует, а каждый вес — синей или оранжевой связью, так что можно наблюдать, как сеть придумывает собственные признаки. Попробуйте круг без скрытых слоёв, затем добавьте x² и y² как входы; попробуйте спираль с одним слоем, затем с тремя; и добавьте шум к небольшому набору данных, чтобы сеть переобучилась.
Часто задаваемые вопросы
Так ли работают большие модели ИИ?
Строительные блоки те же: взвешенные суммы, функции активации, функция потерь и градиентный спуск с обратным распространением ошибки. У больших моделей миллиарды весов вместо нескольких десятков и слои, созданные для изображений или текста, такие как свёртки и механизм внимания; обучаются они на огромных наборах данных с более совершенными оптимизаторами. Базовый цикл, который вы видите в песочнице, остаётся прежним.
Почему обучение начинается со случайных весов?
Если бы все веса были изначально равны, каждый нейрон слоя вычислял бы одно и то же и получал бы одинаковое обновление, и нейроны навсегда остались бы одинаковыми. Небольшие случайные веса нарушают эту симметрию, и каждый нейрон может выучить свой признак. Важен и их масштаб: песочница масштабирует их по числу входов, как предложили Ксавье Глоро и Йошуа Бенджио в 2010 году.
Почему два запуска заканчиваются разными границами?
Каждый запуск начинается с других случайных весов и видит точки в другом случайном порядке, а в рельефе функции потерь много долин, которые почти одинаково хороши. Две сети могут одинаково хорошо классифицировать обучающие точки при границах разной формы и расходиться в областях, где нет данных.
Всегда ли больше слоёв лучше?
Нет. Более глубокие сети могут представлять более сложные фигуры меньшим числом нейронов, но их труднее обучать, и на небольших наборах данных они легче переобучаются. Для задач в песочнице обычно хватает одного или двух скрытых слоёв; явно выигрывает от большего числа слоёв только спираль.
Готовы попробовать?
Откройте PictorX в своем браузере — установка не требуется, для запуска не требуется кредитная карта.
Открыть песочницу нейронной сети