エポック
訓練損失
テスト損失
正解率
  • 訓練点
  • テスト点
  • 決定境界
  • 訓練損失
  • テスト損失

クリックで追加
入力

ニューラルネットワークについてもっと見る

ニューラルネットワーク・サンドボックス

ニューラルネットワークは、重み付きの入力を足し合わせ、その和を曲げて出力する単純なユニットを積み重ねたものです。1つのユニットだけでは直線しか引けませんが、組み合わせれば円でもらせんでも、どんな形でもなぞれます。データセットを選び、隠れ層が最大4つのネットワークを組み立てて「訓練」を押すと、青とオレンジの境界がエポックごとに形を整えていく様子が見られます。その間、各ニューロンは自分が検出できるようになったパターンの一部を表示します。 データセットとネットワークを選んで「訓練」を押し、ネットワークが青い点とオレンジの点を分けられるように学習していく様子を見てください。塗りつぶされた点でネットワークを訓練し、リングは訓練には一切使わないテスト点です。背景は平面上のすべての点に対するネットワークの答えを示し、線は判断が切り替わる場所です。図では各ニューロンが何に反応するかを示し、各結合は重みが正なら青、負ならオレンジで、大きいほど太く描かれます。平面をクリックすると、「クリックで追加」で選んだ色の点を追加できます。

使い方

  1. データセットを選びます。直線1本で分けられる2つの塊から、何層も必要ならせんまであります。平面をクリックして自分の点を置くこともできます。
  2. 隠れ層の数、層あたりのニューロン数、活性化関数、学習率、ネットワークに与える入力を設定します。
  3. 「訓練」を押し、境界、ニューロン、損失を観察します。訓練損失とテスト損失を比べて過学習を見つけましょう。

ネットワークがしていること

各ニューロンは入力に重みを掛け、バイアスを加え、その合計を tanh や ReLU などの活性化関数に通します。最初の隠れ層のニューロンは、それぞれ平面を1本の直線に沿って2つに分け、その境目をなだらかなグラデーションにします。次の層はそれらの半平面を組み合わせてくさび形や帯や塊を作り、出力ニューロンがその結果を「青である確率」に変えます。平面の背景はその確率をあらゆる場所で示し、濃い線は確率がちょうど2分の1になる場所、つまり決定境界です。

どのように学習するか

訓練はランダムな重みから始まります。訓練点の小さなバッチについて、ネットワークは自分の答えを本当の色と比べ、誤差逆伝播法が出力から入力へとさかのぼって、各重みが誤差にどれだけ寄与したかを求めます。続いて、すべての重みが損失を下げる方向へ、学習率の分だけ小さく動きます。すべての訓練点を1回通すことを1エポックと呼びます。学習率が小さすぎると進みが遅く、大きすぎると損失が跳ね回ったり発散したりします。テスト点は訓練には使わないので、テスト損失はネットワークがどれだけうまく汎化しているかを示します。

よくある質問

隠れ層のないネットワークが円や XOR を学習できないのはなぜですか?

隠れ層がなければ、出力は入力の1つの重み付き和の関数なので、境界は直線になります。円の内側を片側に、外側のリングをもう片側に置ける直線はなく、XOR の2本の対角線を分ける直線もありません。マービン・ミンスキー(Marvin Minsky)とシーモア・パパート(Seymour Papert)は1969年に、単層パーセプトロンについてこの点を指摘しました。隠れ層を加えれば解決しますし、入力を1つ増やしても解決します。x² と y² があれば円はまっすぐな切れ目で分けられ、x·y があれば XOR も同様です。

過学習とは何ですか?ここではどうすれば見られますか?

ネットワークが、点の背後にあるパターンではなく、ノイズも含めて訓練点そのものを丸暗記してしまうことを過学習といいます。ノイズが多く点の少ないデータセットと大きなネットワークを選び、長時間訓練してみてください。訓練損失は下がり続ける一方で、テスト損失は横ばいになってから上がり始め、境界には個々の点を囲む小さな島ができます。ニューロンを減らす、点を増やす、早めに止める、といった方法が有効です。

どの活性化関数を使えばよいですか?

Tanh はなめらかで丸みのある境界を作り、こうした小さな問題ではよく学習します。ReLU は和が負なら0、それ以外なら和そのものを出力する関数で、現代のディープラーニングの標準であり、直線をつなぎ合わせた境界を作ります。シグモイドは傾きが小さいため、隠れ層では学習が遅くなります。線形にすると隠れ層はすべて無意味になります。線形の層をいくら重ねても1つの線形関数のままなので、境界は直線のままです。

ネットワーク図の小さな絵は何を表していますか?

それぞれが、平面上のすべての点に対する1つのニューロンの出力を示しており、高いところが青、低いところがオレンジです。入力ニューロンは x、y などの入力を表示し、最初の隠れ層はなだらかな半平面を、より深いニューロンはそれらから組み立てられた、より複雑な形を表示します。結合は重みが正なら青、負ならオレンジで、重みが大きいほど太くなります。

何かがサーバーに送信されますか?

いいえ。データ、ネットワーク、訓練はすべて、機械学習ライブラリを使わない素の JavaScript でブラウザ内で動きます。設定やクリックで追加した点は、このブラウザのローカルストレージに保存されます。

試してみますか?

ブラウザで PictorX を開きます。インストール不要、始めるのにクレジットカードも不要です。

エディターへ