第1部 · 第1章 · 基礎の基礎 · 全3節中 第3節

非線形性と深さ

Maksim Gurchenkov

何よりもどかしいのは、解決策がすぐ目の前にあったことです。しかも私たちは、それをすでに見ています。コンピュータを思い出してください。命令ひとつでできることも、ごくわずかです。しかし命令を順に並べ、それぞれが前の命令の結果を受けて動くようにすれば、どんなことでもこなせます。どんな数学でも計算でき、どんな論理でも再現できます。一歩で天井にぶつかるなら、何歩も進めばいい。同じ発想をニューロンにも当てはめてみましょう。答えを「掛けて足す」一回から作るのではなく、そうしたステップの鎖から作るのです。一歩は行列の掛け算ひとつなので、掛け算を鎖のように並べます。ベクトルに一つ目の行列を掛け、その結果に二つ目を掛け、さらに三つ目を掛け、と続けていきます。

ところが、ただ行列をたくさん並べればいい、というわけにはいきません……。どの行列もあらかじめ決まっていて、入力として何が来るかには左右されません。そして、あらかじめ決まっているものは、あらかじめ計算しておけます。百個の行列を一度掛け合わせてしまえば、ひとつの行列になるのです。

V × M₁ × M₂ × M₃  =  V × (M₁ M₂ M₃)  =  V × M_one

この単純な式変形が、アイデアを丸ごと台無しにします。百個の行列の鎖は、ひとつの行列とまったく同じように働くのです。数学者ならこう言うでしょう。「等価である!」。ミンスキーとパパートの壁は、少しも消えていません。

その代わり、何が必要なのかははっきりしました。鎖がつぶれないようにすればいいのです。鎖がつぶれるのは、それが掛け算と足し算だけでできているからです。ならば、掛け算と掛け算のあいだに、掛け算と足し算では表せないもの、つまり非線形な何かを挟めばいい!

そしてその非線形な操作は、笑ってしまうほど小さなもので構いません。今日の標準はReLU1というルールで、「数が負なら0に置き換える」だけです。よく見てください。これは条件、つまり「もし」です。「掛けて足す」にはまったくなかったものです。でも、生きたニューロンはずっとそれを持っていました。あのしきい値、「発火するか、黙っているか」こそが自然の非線形性で、それはマカロックとピッツのモデルにもすでにありました。むき出しの掛け算を鎖のように並べたとき、私たちはそれを失っていたのです。いまはそれを元の場所に戻すだけです。どの数が0になるかは入力データによって決まり、入力によって決まるものは、あらかじめ計算しておくことができません。こうして鎖はつぶれなくなり、各ステップが答えにそれぞれ独自のものを加え始め、百個の行列はついに、百回の本物の演算になります。このような鎖、つまり行列の掛け算のあいだに非線形性を挟んだものが、ニューラルネットワークと呼ばれます。そしてその各ステップ、つまり行列と非線形性の組が「層」と呼ばれます。

非線形性がなければ層はひとつにつぶれてしまう。非線形性があってこそ深さに意味が生まれる

なぜそんなに多くの層が必要なのでしょうか。プログラムに多くの命令が必要なのと同じ理由です。次の層はどれも前の層の結果を受けて働き、複雑さが積み重なっていきます。最初の層は文字を単語にまとめ、中間の層は意味を取り出し、後半の層が答えそのものを形づくります。のちに数学者たちは、浅いネットワークで同じ仕事をするには天文学的に多くのニューロンが必要になることを厳密に証明しました2。これをもっとも美しく見せてくれるのが、3Blue1Brown3のビジュアライゼーションです。行列ひとつは、数式ひとつ。百の層は、もう百の順を追ったステップと条件からなるプログラムです。そして両者の違いは、電卓と知性の違いと同じです。

残る問いは、こうした多層のネットワークをどうやって学習させるか、でした。1986年、ラメルハート(Rumelhart)、ヒントン(Hinton)、ウィリアムズ(Williams)4が、今も使われている答えを示しました。出力での誤差を、すべての層を通して逆向きに送り、各行列を調整していくのです。この方法はbackpropagation(誤差逆伝播法)と名づけられました。そして深さが本当に威力を発揮し始めたのは2012年、ゲーム用のGPUで動くネットワークAlexNet5が、画像認識のコンテストで他を圧倒したときです。それ以来、層は数十、数百と数えられるようになりました。GPT-36は96層、Llama 3.1 405B7はすでに126層です。こうしたネットワークが「深い」と呼ばれ、分野全体がdeep learning(深層学習)と呼ばれるのは、まさにそのためです。

信号は前へ進み、誤差は後ろへ戻って重みを調整する

行列の鎖:          むき出しの掛け算は、ひとつの行列につぶれてしまう
                      ↓
非線形性:          掛け算のあいだの「もし」で、鎖はつぶれなくなる。
                    こうして行列は、層からなるニューラルネットワークになる
                      ↓
ヒントンら:        誤差が多くの層を一度に学習させる(backpropagation)
                      ↓
ReLUとGPU:         深さが機能し始め、層は数百にまで増えた

こうして、単純な0と1だけでコンピュータのあらゆる魔法を生み出せるのとまったく同じように、あいだに非線形性を挟んだ単純な行列だけで、知性という魔法を生み出せることがわかったのです。

これがすべての土台であり、とんでもなくすごいことです。 でも、これはまだ始まりにすぎません!

出典

  1. Glorot, Bordes, Bengio, “Deep Sparse Rectifier Neural Networks,” 2011. ReLUを深層ネットワークの標準にした論文。 — https://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf ↩

  2. Telgarsky, “Benefits of Depth in Neural Networks,” 2016. 深さの利点の厳密な証明。 — https://arxiv.org/abs/1602.04485 ↩

  3. 3Blue1Brown, “But what is a neural network?” ニューラルネットワークの仕組みを示す、最高のビジュアライゼーション。 — https://www.youtube.com/watch?v=aircAruvnKk ↩

  4. Rumelhart, Hinton, Williams, “Learning Representations by Back-Propagating Errors,” Nature, 1986. 多層ネットワークを学習させる方法、backpropagation。 — https://www.cs.toronto.edu/~hinton/absps/naturebp.pdf ↩

  5. Krizhevsky, Sutskever, Hinton, “ImageNet Classification with Deep CNNs” (AlexNet), 2012. ディープラーニングがGPU上で威力を発揮し始めた瞬間。 — https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf ↩

  6. Brown et al., “Language Models are Few-Shot Learners”(GPT-3の論文), 2020. — https://arxiv.org/abs/2005.14165 ↩

  7. Llama Team (Meta), “The Llama 3 Herd of Models,” 2024. — https://arxiv.org/abs/2407.21783 ↩

第4章の公開をメールで受け取る