ニューラルネットワークの仕組み
顔を認識し、文章を翻訳し、答えを書くシステムは、驚くほど素朴なアイデアから作られています。たくさんの小さなユニットが、それぞれ数を足し合わせ、結果を少し曲げて、次へ渡すというものです。規則をプログラムする人はいません。ネットワークはランダムな設定から始め、見せられた例と答えが一致するまで、ほんの少しずつ設定を調整していきます。この記事では、このアイデアを1つのニューロンから、らせんを学習するネットワークまでたどります。
1つのニューロン
人工ニューロンはいくつかの数を受け取り、それぞれに重みを掛け、バイアスと一緒に足し合わせて、その合計を活性化関数に通します。ウォーレン・マカロック(Warren McCulloch)とウォルター・ピッツ(Walter Pitts)が1943年にこのようなユニットを記述し、1958年にはフランク・ローゼンブラット(Frank Rosenblatt)が、例から自分で重みを学習する機械、パーセプトロンを作りました。入力が x と y の2つなら、重み付き和は1本の直線上でゼロになるので、1つのニューロンは平面を2つに分けます。片側が「はい」、もう片側が「いいえ」で、活性化関数がなめらかなら、その間はなだらかに移り変わります。
活性化関数
ネットワークを単なる和以上のものにしているのが活性化関数です。シグモイドはどんな数も 0 から 1 の間に、tanh は −1 から 1 の間に押し込みます。どちらもなめらかなS字曲線です。ReLU(正規化線形ユニット)は、負の数には0を、それ以外にはその数自体を出力します。計算が軽く、勾配が消えていくのを防ぐため、2010年ごろから深いネットワークの定番になっています。このような曲がりがなければ、層を重ねても意味がありません。線形関数をいくつつなげても1つの線形関数のままで、その境界も直線のままです。
層
ニューロンをいくつか並べると層になり、ある層の出力を次の層に入力するとネットワークになります。サンドボックスでは、最初の隠れ層が平面を何本かの直線で切り、次の層がそれらの半平面を組み合わせてくさび形や島を作り、出力ニューロンがそのすべてを重み付けして1つの確率にまとめます。1969年、マービン・ミンスキー(Marvin Minsky)とシーモア・パパート(Seymour Papert)は、隠れ層のないパーセプトロンは XOR を学習できないことを示し、これが何年にもわたってこの分野を停滞させる一因となりました。その20年後、ジョージ・シベンコ(George Cybenko)らは、隠れ層が1つのネットワークについて逆のことを証明しました。ニューロンが十分にあれば、どんな連続関数でも好きなだけ精密に近似できるのです。
誤差を測る
学習するには、ネットワークにはどれだけ間違っているかを表す数、つまり損失が必要です。2クラスの場合、よく使われるのは交差エントロピーです。ネットワークが青い点に「青である確率 p」を与えたとすると、その点のコストは −log p です。これは p が1に近いと小さく、p が0に近づくと際限なく大きくなります。損失は点ごとのコストの平均です。どこでも2分の1と答えるネットワークの損失は log 2、約 0.693 で、サンドボックスのグラフの出発点に近い値です。
勾配降下法と誤差逆伝播法
損失を、すべての重みの上に広がる地形だと考えてみてください。勾配降下法は下り坂の方向、つまり負の勾配を見つけ、その方向に小さく一歩進むことを何度も繰り返します。何千もの重みについて勾配を計算するのは大変そうに見えますが、誤差逆伝播法は1回の逆向きの計算でそれを済ませます。出力の誤差から出発し、連鎖律によって各層に責任の取り分を割り当てながら、層ごとに入力までさかのぼるのです。この方法は何度も提案されてきましたが、デビッド・ラメルハート(David Rumelhart)、ジェフリー・ヒントン(Geoffrey Hinton)、ロナルド・ウィリアムズ(Ronald Williams)による1986年の論文によって、ネットワークを訓練する標準的な方法になりました。各ステップで全部の点ではなくランダムに選んだ小さなバッチを使う確率的勾配降下法は、より速く、同じくらいうまくいきます。
学習率
この一歩の大きさを学習率といい、訓練がうまくいくかどうかを最もよく左右する設定です。小さすぎると損失の下がり方があまりに遅く、何も起きていないように見えます。大きすぎると、一歩ごとに狙った谷を飛び越えてしまいます。損失は上下に跳ね、大きなネットワークでは数値があふれるまで爆発します。ReLU では、大きな一歩がニューロンを、すべての点で和が負になる場所へ押しやってしまうこともあります。そうなったニューロンは0を出力し、勾配を受け取れず、二度と回復しません。サンドボックスで学習率3でらせんを試してみてください。tanh では損失が跳ね回り、ReLU では多くのニューロンが真っ白になって、損失は 0.69 付近で止まります。次に 0.001 を試して、のろのろ進む様子を見てください。
過学習
重みが十分にあるネットワークは、訓練点をノイズごと丸暗記し、はぐれた点の一つ一つを回り込むようにねじれた境界を引くことができます。すると、見たことのある点ではよい成績を出しても、新しい点では悪くなります。だからこそ、データの一部をテストデータとして取り分け、訓練には決して使わないのです。両方の損失が下がっている間は、ネットワークはパターンを学んでいます。訓練損失が下がり続けているのにテスト損失が上がりに転じたら、丸暗記が始まっています。ネットワークを小さくする、データを増やす、ノイズを加える、あるいは単にちょうどよいところで止める、といった方法が有効です。
試してみよう
ニューラルネットワーク・サンドボックスを開くと、8個のニューロンからなる隠れ層を最大4つ持つネットワークを、自分でクリックして置いた点を含む6つのデータセットで訓練できます。各ニューロンはそれが何に反応するかを示す小さな地図として、各重みは青またはオレンジの結合として描かれるので、ネットワークが独自の特徴を作り出していく様子を見られます。隠れ層なしで円を試し、次に x² と y² を入力に加えてみてください。らせんを1層で、次に3層で試してみてください。小さなデータセットにノイズを加えて過学習させてみましょう。
よくある質問
大規模な AI モデルもこのように動いているのですか?
構成要素は同じです。重み付き和、活性化関数、損失、そして誤差逆伝播法を使った勾配降下法です。大規模なモデルは数十個ではなく数十億個の重みを持ち、畳み込みやアテンションのような画像やテキスト向けに作られた層を備え、より優れた最適化手法で巨大なデータセットを使って訓練されます。サンドボックスで見られる基本的なループは変わりません。
訓練がランダムな重みから始まるのはなぜですか?
すべての重みが同じ値から始まると、層の中のすべてのニューロンが同じ計算をして同じ更新を受け、いつまでも同一のままになります。小さなランダムな重みがこの対称性を崩すので、各ニューロンは異なる特徴を学習できます。その大きさも重要です。サンドボックスでは、グザヴィエ・グロロ(Xavier Glorot)とヨシュア・ベンジオ(Yoshua Bengio)が2010年に提案したように、入力の数に合わせて重みの大きさを調整しています。
2回実行すると最後の境界が違うのはなぜですか?
実行のたびに異なるランダムな重みから始まり、異なるランダムな順序で点を見るうえ、損失の地形にはほとんど同じくらい良い谷がたくさんあるからです。2つのネットワークが、形の違う境界で訓練点を同じくらいうまく分類することもあり、データのない領域では判断が食い違うことがあります。
層は多ければ多いほどよいのですか?
いいえ。深いネットワークは少ないニューロンでより複雑な形を表現できますが、訓練が難しく、小さなデータセットでは過学習しやすくなります。サンドボックスの問題では、隠れ層は1つか2つで通常は十分です。層を増やすとはっきり効果があるのはらせんです。
試してみますか?
ブラウザで PictorX を開きます。インストール不要、始めるのにクレジットカードも不要です。
ニューラルネットワーク・サンドボックスを開く