埋め込みテーブルのベクトルは、辞書のベクトルです。「mouse」なら、どんなテキストの中でも同じです。「The cat chased the mouse」と「The laptop needs a mouse」は同じ単語で終わりますが、そこにいるmouseは別物です。辞書のベクトルしか扱えないモデルは、単語は知っていても、フレーズは理解できないでしょう。ベクトルは、自分の隣に誰がいるのかを知る必要があります。
ニューラルネットワークがフレーズ全体を読めるようになるまでには、長い時間がかかりました。テキスト用の初期のネットワークは、人が行を指でたどるように一語ずつ読み、記憶用のベクトルをひとつ持ち歩いて、新しい単語が来るたびにそこへ書き足していきました。長い文の終わりに来るころには、その記憶には文の始まりがほとんど残っていません。しかも、こうしたネットワークは学習させるのが難しいものでした。誤差逆伝播法が後ろへ送り返す誤差の信号が、フレーズの終わりから始まりへ戻る途中で消えてしまうのです。1997年、Sepp HochreiterとJürgen Schmidhuber1は、ネットワークにもっとよい記憶を与えました。彼らのLSTMは、何を長く覚えておき、何を忘れるかを自分で決める専用のセルです。これによってネットワークは、音声認識や翻訳をそれなりにこなせるようになり、2017年まで、ニューラルネットワークによるテキスト処理のほとんどすべてがLSTMに支えられていました。しかし、読み方は相変わらず順番どおりでした。10番目の単語の処理が終わるまで、11番目には手をつけられないのです。
翻訳の研究者には、さらに別の悩みがありました。2014年のニューラル機械翻訳は、こんなつくりでした。ひとつのネットワークが文を読んで1本のベクトルに圧縮し、もうひとつのネットワークがそのベクトルから訳文を展開する。短いフレーズなら、これでうまくいきました。長い文では品質が崩れました2。文全体を、ひとつの細いボトルネックに押し通さなければならなかったからです。同じ年、Dzmitry Bahdanau、Kyunghyun Cho、Yoshua Bengio3は、シンプルなことを提案しました。訳文の単語をひとつ選ぶたびに、翻訳機が原文を振り返り、今どの単語を見るべきかを自分で決めればいい。この仕組みはattention、つまり注意(アテンション)と名づけられました。2年後にはGoogle翻訳4がこの方式に切り替わり、翻訳の質は新聞で取り上げられるほど跳ね上がりました。とはいえ、アテンションはまだ順番どおりの読み取りの上に載せた追加部品で、長い文のための松葉杖にすぎませんでした。
そして2017年、おそらくAIの歴史でもっとも有名な論文が発表されました。「Attention Is All You Need」5です。Googleに所属する8人の著者には、彼らなりの悩みがありました。順番どおりの読み取りは、忘れてしまうだけでなく、分割もできなかったのです。AlexNet以来ディープラーニングのすべてを支えてきたGPUは、何千もの演算を同時に実行できるのに、ここでは一語ずつ待たされていました。解決策は大胆なもので、論文のタイトル6がそれを強調しています。アテンションさえあれば十分だ、と。順番どおりの読み取りは完全に捨てられました。各位置がほかの位置に直接アクセスし、すべてのつながりが同時に計算され、GPUの何千ものコアに振り分けられます。このアーキテクチャはTransformerと名づけられ、GPT、Claude、Gemini、Llama、DeepSeekなど、大きなモデルはすべてこの上に立っています。GPTのTはTransformerのTです。
やりとりそのものの仕組みは、おなじみの質問で見えてきます。
Which camera should I buy for a blog?
フレーズの終わりまで来ると、すでに多くのことがわかっています。話題はカメラで、それを買いたいと思っていて、ブログのために必要だ。しかし、これらの情報はばらばらの位置にあります。各位置について、そのベクトルから新しいベクトルを3つ計算します。1つ目は、その位置が何を探しているかを表します。2つ目は、その位置がほかの位置にとってどう役立つかを。3つ目は、選ばれたときに何を渡すかを。これらはquery、key、value(クエリ、キー、バリュー)と呼ばれます。日本語にすれば問い合わせ、鍵、値です。ある位置のクエリを、ほかの位置のキーと、やはり「掛けて足す」で比べ、そのスコアから割合が決まります。ここからは多めに、ここからは少なめに。そして、その割合でバリューを混ぜ合わせます。
「blog」の新しいベクトル = 0.6 × 「camera」からの情報
+ 0.3 × 「buy」からの情報
+ 0.1 × 残りからの情報
ここでの割合は説明用のものですが、演算はまさにこういうつくりです。またしても「掛けて足す」。ただし、係数はもう行列の中に前もって固定されているのではなく、テキストそのものによって決まります。
こうした混ぜ合わせひとつでは足りません。フレーズの中には、動作と対象のつながり、修飾、否定、ひとつの名前の部品どうしといった関係が同時に存在します。そのため各層では、複数のアテンションの仕組みが並行して働きます。それらはヘッドと呼ばれ、それぞれが独自のつながりを学習します。どのヘッドを文法担当に、どのヘッドをカメラの名前担当に、と割り当てた人はいません。
やりとりのあと、各ベクトルは第1章の層を通ります。行列と非線形性です。アテンションが情報を集め、層がそれを加工します。そしてまたアテンション、また層、と何十回も繰り返されます。これほどの深さの中で何も失われないように、各ステップの結果をそれまでの値に足し合わせ(これはスキップ接続7と呼ばれます)、数の大きさをそろえます8。
残る取り決めは2つです。1つ目は順序についてです。「The dog chased the cat」と「The cat chased the dog」では単語は同じですが、猫の運命は違います。順番どおりの読み取りを捨てた以上、順序は別に伝えなければなりません。各トークンのベクトルに、フレーズの中での位置を示す目印を混ぜ込むのです。2つ目は時間についてです。GPT系のモデル9では、各位置は自分自身と、それより前にあるものしか見えません。未来は閉ざされています。そのため、例の質問の前のほうにある「camera」は「blog」について何も知りませんが、「blog」はカメラについて知っていて、最後の位置はすべてを知っています。モデルが答えを書くときには、このルールはおのずと守られます。未来の単語は、まだ存在しないからです。
出力として何が得られるのでしょうか。何十もの層を通り抜けたあと、質問の最後のベクトルはもう辞書のベクトルではありません。そこには「買おうとしている、ブログ用のカメラ」が集められています。2つのmouseも、こうして分かれていきます。一方の隣には「cat」が、もう一方の隣には「laptop」があり、最初の数層を通っただけで、両者のベクトルは違うものになります。複数のトークンからなる名前も同じように組み立てられます。後ろの断片が前の断片を考慮し、それ以降の位置には、すでにまとまった名前が渡ります。それを語彙の1行にまとめ直す必要はありません。
こうした内部のベクトルが意味のあるつくりになっていることを、2024年にAnthropicが示しました。Claudeが答えにたどり着くまでに計算する数の中から、ゴールデン・ゲート・ブリッジに関係する方向が見つかり、それを人為的に強めたのです。こうして生まれたのがGolden Gate Claude10です。このモデルは、パイのレシピの話であっても、どんな会話でも橋の話に持っていきました。前の節で見た方向は、入り口の表の中だけでなく、計算の奥深くにも住んでいます。それは見つけることができ、調整することもできるのです。
仕組み全体は、3Blue1Brownが図解しています。Transformerについて11と、アテンションについて12です。
1997 Hochreiter、Schmidhuber: LSTM。ネットワークは順番に読むが、記憶を持つ
2014 Bahdanauら: アテンション。翻訳機が原文を振り返る
2016 Google翻訳: 翻訳がアテンションつきのニューラルネットワークに移行
2017 Vaswaniら: Transformer。順番どおりの読み取りを捨て、
アテンションが残り、GPUに振り分けられる
2024 Golden Gate Claude: モデル内部の方向を見つけ、強めた
これでモデルは、質問全体が集められたベクトルを手に入れました。しかし、それはまだ数で、画面に必要なのはテキストです。ベクトルから、答えの次の単語はどうやって生まれるのでしょうか?
出典
-
Hochreiter, Schmidhuber, “Long Short-Term Memory,” 1997. 制御できる記憶をもつネットワーク。2017年まで、ニューラルネットワークによるテキスト処理のほとんどすべてを支えた。 — https://www.jku.at/institut-fuer-machine-learning/forschung/publikationen/older/ ↩
-
Cho et al., “On the Properties of Neural Machine Translation: Encoder–Decoder Approaches,” 2014. 1本のベクトルを経由する翻訳は、文が長くなるほど品質が落ちる。 — https://arxiv.org/abs/1409.1259 ↩
-
Bahdanau, Cho, Bengio, “Neural Machine Translation by Jointly Learning to Align and Translate,” 2014, ICLR 2015. 逐次的な翻訳機に追加されたアテンション。 — https://arxiv.org/abs/1409.0473 ↩
-
Wu et al., “Google’s Neural Machine Translation System,” 2016. Google翻訳が、アテンションつきのニューラルネットワークに移行。 — https://arxiv.org/abs/1609.08144 ↩
-
Vaswani et al., “Attention Is All You Need,” 2017. Transformerを生み出した論文。 — https://arxiv.org/abs/1706.03762 ↩
-
Wired, “8 Google Employees Invented Modern AI. Here’s the Inside Story,” 2024. Transformerの論文がどう書かれ、タイトルがどこから来たのか。 — https://www.wired.com/story/eight-google-employees-invented-modern-ai-transformers-paper/ ↩
-
He et al., “Deep Residual Learning for Image Recognition,” 2015, CVPR 2016. 深いネットワークを学習させるためのスキップ接続。 — https://arxiv.org/abs/1512.03385 ↩
-
Ba, Kiros, Hinton, “Layer Normalization,” 2016. ネットワーク内部で数の大きさをそろえる。 — https://arxiv.org/abs/1607.06450 ↩
-
Radford et al., “Language Models are Unsupervised Multitask Learners” (GPT-2), 2019. 各位置がそれより前のテキストしか見ないモデル。 — https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf ↩
-
Anthropic, “Golden Gate Claude,” 2024. モデル内部で「ゴールデン・ゲート・ブリッジ」の方向を見つけて強めたところ、モデルはどの答えでも橋の話をするようになった。 — https://www.anthropic.com/news/golden-gate-claude ↩
-
3Blue1Brown, “Transformers, explained visually.” Transformerの図解。 — https://www.youtube.com/watch?v=wjZofJX0v4M ↩
-
3Blue1Brown, “Attention in transformers, step-by-step.” アテンションの仕組みの図解。 — https://www.youtube.com/watch?v=eMlx5fFNoYc ↩