- クラス +1
- クラス −1
- 誤分類
- 決定境界
- 重みベクトル w
- ポケットの直線
| 重み | 前 | 変化 | 後 |
|---|
- エポックごとの誤り
- ポケットの誤り
パーセプトロン可視化
パーセプトロンは、存在する中でいちばん単純な学習機械です。重み付けした入力を足し合わせ、「はい」か「いいえ」で答える、たった 1 つの人工ニューロンです。入力が 2 つなら答えは 1 本の直線を境に切り替わり、学習とは、どの点も自分の側に来るまでその直線を動かすことです。平面に 2 つのクラスの点を置くか論理ゲートを選び、ローゼンブラットの規則をサンプルごとにたどって、更新の前と後の重みを確かめ、直線が回転して正しい位置に収まる様子、あるいは XOR でいつまでも失敗し続ける様子を見てみましょう。 データセットを選ぶか、平面をクリックして点を置きます。クリックすると「クリックで追加」で選んだクラスの点が、Shift キーを押しながらのクリックか右クリックでもう一方のクラスの点が加わり、点をクリックするとその点が消えます。次にニューロンを学習させます。「ステップ」はサンプルを 1 つ示します。点線の輪がそのサンプルを示し、表には更新 w ← w + η·(y − ŷ)·x の前と後の重みが表示されます。「エポック」はすべての点を 1 周し、「再生」は選んだ速度で、誤りのない周回が出るかエポックの上限に達するまで続けます。直線は w₁x + w₂y + b = 0 となる場所、矢印は重みベクトル、赤い輪は間違った側にある点を示します。
使い方
- 論理ゲート AND、OR、NAND、XOR から、マージン付きのランダムな点や重なり合う 2 つの雲まで、データセットを選びます。平面に自分で点を置くこともできます。
- 「ステップ」を押してニューロンにサンプルを 1 つ見せ、各重みの更新を確かめます。すべての点で学習させるには「エポック」か「再生」を押します。
- 誤りのない周回になるまで、決定境界、重みベクトル、エポックごとの誤りを観察します。XOR を試して、単一のパーセプトロンが失敗する様子も見てみましょう。
1 つのニューロン、1 本の直線
入力 x と y を持つパーセプトロンは w₁x + w₂y + b を計算し、和が正なら +1、負なら −1 と答えます。和がちょうどゼロになるのは直線 w₁x + w₂y + b = 0 の上なので、ニューロンは平面をクラスごとに 1 つずつ、2 つの半平面に分けます。重みベクトル (w₁, w₂) はこの直線に垂直で +1 の側を向き、バイアス b は直線を原点から遠ざけます。バイアスを常に 1 である入力の重み w₀ として扱えば、1 つの規則で 3 つの数をすべて学習できます。
学習規則
学習では、ニューロンに点を 1 つずつ見せます。正しく答えれば何も変わりません。間違えると、各重みは入力の η·(y − ŷ) 倍だけ変わります。ここで y は本当のクラス、ŷ は答え、η は学習率です。これにより直線が押され、その点が正しい側に来るように動きます。すべての点を 1 周することを 1 エポックと呼びます。点を直線で分けられるなら、パーセプトロンの収束定理により、この単純な規則は有限回の誤りのあとでそのような直線を必ず見つけます。XOR は、そうした直線が存在しないときに何が起こるかを示します。
よくある質問
なぜパーセプトロンは XOR を学習できないのですか?
XOR は (0, 1) と (1, 0) で真、(0, 0) と (1, 1) で偽です。真の 2 点は正方形の一方の対角線上に、偽の 2 点はもう一方の対角線上にあり、一方の対角線を片側に、もう一方を反対側に置く直線は存在しません。単一のパーセプトロンは直線しか引けないので、XOR ではエポックを重ねても誤り続け、決して収束しません。2 層目のニューロンを加えるか、x·y のような入力を追加すれば解決します。
パーセプトロンは必ず収束しますか?
直線で 2 つのクラスを分けられる場合は必ず収束します。パーセプトロンの収束定理は更新回数を制限し、古典的な形の規則では最大 (R/γ)² 回です。ここで R は最も長い入力ベクトルの長さ、γ は最良の分離直線のマージンです。マージンが小さいと多くのエポックが必要になることがあります。分離直線が存在しなければ決して収束しないため、このアプリはエポックの上限で止まり、点が分離可能かどうかを確かめます。
学習率は何をするのですか?
各更新の大きさを決めます。ゼロの重みから始めると、学習率はすべての重みを同じ倍率で掛けるだけで、直線も誤りの回数も決して変えません。これはパーセプトロンの面白い性質です。ランダムな初期重みでは影響があります。学習率が小さいと直線は長く出発点の近くにとどまり、大きいと最初の誤りが結果を左右します。
ポケットアルゴリズムとは何ですか?
どの直線でも分けられないデータのために、スティーブン・ギャラントが 1990 年に発表した小さな変更です。パーセプトロンは通常どおり動きますが、更新のたびに新しい重みがすべての点で何回誤るかを数え、それまでで最良の重みを「ポケット」にしまっておきます。学習を止めたときの答えは、最後の更新がたまたま残した直線ではなく、点線で描かれたポケットの直線です。
サーバーに何か送信されますか?
いいえ。点、学習、描画はすべてブラウザーの中で動き、点と重みはこのブラウザーのローカルストレージに保存されます。
試してみますか?
ブラウザで PictorX を開きます。インストール不要、始めるのにクレジットカードも不要です。
エディターへ