Эпоха
Потери на обучении
Потери на тесте
Точность
  • Обучающие точки
  • Тестовые точки
  • Граница решений
  • Потери на обучении
  • Потери на тесте

Клик добавляет
Входы

Подробнее о нейронных сетях

Песочница нейронной сети

Нейронная сеть — это набор простых элементов, сложенных слоями: каждый складывает взвешенные входы и пропускает сумму через изгиб. Сам по себе каждый элемент может провести лишь прямую линию, но вместе они способны очертить круг, спираль или что угодно другое. Выберите набор данных, постройте сеть до четырёх скрытых слоёв, нажмите «Обучить» и смотрите, как граница между синим и оранжевым эпоха за эпохой принимает форму, а каждый нейрон показывает ту часть узора, которую он научился распознавать. Выберите набор данных и сеть, затем нажмите «Обучить» и смотрите, как сеть учится отделять синие точки от оранжевых. Закрашенные точки обучают сеть; кольца — тестовые точки, на которых она никогда не обучается. Фон показывает ответ сети для каждой точки плоскости, а линия проходит там, где сеть меняет своё решение. На схеме каждый нейрон показывает, на что он реагирует, а каждая связь синяя для положительного веса и оранжевая для отрицательного и тем толще, чем больше вес. Щёлкните по плоскости, чтобы добавить точки цвета, выбранного в поле «Клик добавляет».

Как это работает

  1. Выберите набор данных — от двух облаков, которые можно разделить прямой, до спирали, которой нужно несколько слоёв, — или щёлкайте по плоскости, чтобы расставить собственные точки.
  2. Задайте число скрытых слоёв, число нейронов в слое, функцию активации, скорость обучения и входы, которые получает сеть.
  3. Нажмите «Обучить» и следите за границей, нейронами и потерями; сравнивайте потери на обучении с потерями на тесте, чтобы заметить переобучение.

Что делает сеть

Каждый нейрон умножает свои входы на веса, прибавляет смещение и пропускает сумму через функцию активации, например tanh или ReLU. Каждый нейрон первого скрытого слоя делит плоскость вдоль одной прямой, смягчённой в плавный переход. Следующий слой объединяет эти полуплоскости в клинья, полосы и пятна, а выходной нейрон превращает результат в вероятность синего цвета. Фон плоскости показывает эту вероятность в каждой точке, а тёмная линия проходит там, где она равна ровно одной второй: это граница решений.

Как она учится

Обучение начинается со случайных весов. Для небольшого пакета обучающих точек сеть сравнивает свои ответы с настоящими цветами, а обратное распространение ошибки вычисляет, от выхода назад к входам, какой вклад в ошибку внёс каждый вес. Затем каждый вес делает небольшой шаг, равный скорости обучения, в направлении, уменьшающем потери. Один проход по всем обучающим точкам называется эпохой. При слишком малой скорости обучения прогресс идёт медленно; при слишком большой потери скачут или взрываются. Тестовые точки никогда не используются для обучения, поэтому потери на тесте показывают, насколько хорошо сеть обобщает.

Часто задаваемые вопросы

Почему сеть без скрытых слоёв не может выучить круг или XOR?

Без скрытых слоёв выход — это функция одной взвешенной суммы входов, поэтому граница — прямая линия. Никакая прямая не оставит внутренность круга по одну сторону, а кольцо по другую, и не разделит две диагонали XOR. Марвин Минский и Сеймур Пейперт указали на это для однослойных перцептронов в 1969 году. Скрытый слой решает проблему, как и дополнительный вход: с x² и y² круг отделяется прямым разрезом, а с x·y — и XOR.

Что такое переобучение и как его здесь увидеть?

Сеть переобучается, когда заучивает обучающие точки наизусть, вместе с шумом, вместо закономерности, которая за ними стоит. Выберите зашумлённый набор данных с небольшим числом точек и большую сеть и обучайте долго: потери на обучении продолжают падать, а потери на тесте выходят на плато и начинают расти, и у границы вокруг отдельных точек вырастают маленькие острова. Помогают меньшее число нейронов, больше точек или более ранняя остановка.

Какую функцию активации выбрать?

Tanh даёт плавные, округлые границы и хорошо обучается на этих небольших задачах. ReLU, которая равна нулю для отрицательных сумм и самой сумме в остальных случаях, — стандартный выбор в современном глубоком обучении; она даёт границы из прямых отрезков. Сигмоида в скрытых слоях учится медленнее, потому что её наклон мал. Линейная функция делает каждый скрытый слой бессмысленным: стопка линейных слоёв всё равно остаётся одной линейной функцией, поэтому граница остаётся прямой.

Что означают маленькие картинки на схеме сети?

Каждая показывает выход нейрона для каждой точки плоскости: синий — высокий, оранжевый — низкий. Входные нейроны показывают x, y и другие входы, первый скрытый слой — мягкие полуплоскости, а более глубокие нейроны — более сложные фигуры, построенные из них. Связи синие для положительных весов и оранжевые для отрицательных и тем толще, чем больше вес.

Отправляется ли что-нибудь на сервер?

Нет. Данные, сеть и обучение работают в вашем браузере на чистом JavaScript, без какой-либо библиотеки машинного обучения. Ваши настройки и точки, которые вы добавили щелчком, остаются в локальном хранилище этого браузера.

Готовы попробовать?

Откройте PictorX в своем браузере — установка не требуется, для запуска не требуется кредитная карта.

Перейти в редактор