この課題は、1951年のシャノンの実験1でおなじみです。人がテキストの冒頭を見て、次の文字を当てる。モデルはトークンで同じことをします。ただし人間の勘のかわりに、すでに書かれたものすべてから集めたベクトルを持っています。
最後の最後に、このベクトルにもう1つ行列を掛けると、語彙のトークンごとに1つずつスコアが得られます。トークンが約20万なら、数も約20万個です。これらのスコアはロジットと呼ばれます。ロジットが高いほど、そのトークンは次に来るものとしてふさわしいということです。ロジットそのものは、まだ確率ではありません。マイナスになることもあり、合計がいくつになるかも決まっていません。softmaxという関数が、それを合計100%の割合に変えます。やっていることは単純です。約2.72の数eを各スコアで累乗し、それを全体の合計で割るのです。
「Which camera should I buy for a blog?」という質問で考えてみましょう。答えは「Sony」や「Canon」で始まる必要はありません。「For」で始まっても、「It」で始まっても、逆に質問を返して始まってもいい。この3つの書き出しのロジットを2、1、0とし、簡単のため残りの語彙は無視します。
ロジット eのロジット乗 割合
For 2 7.39 67%
It 1 2.72 24%
What 0 1.00 9%
合計 11.11 100%
電卓で検算できます。ロジットの差が1あるだけで、確率では3倍近い差になります。「For a beginner…」「It depends…」「What is your budget?」は、それぞれ違う3つの答えにつながり、どの書き出しもその場にふさわしいものです。
どのトークンを選ぶべきでしょうか。いちばん素直なのは、常にいちばん確率の高いものを選ぶことです。これは試されました。2019年、Ari Holtzmanら2は、その結末を示しました。常に分布の頂点を選ぶモデルは、2、3段落もすると堂々めぐりを始め、同じフレーズを繰り返すのです。そのため、次のトークンはある程度のランダムさをもって選ばれます。確率の高いトークンほどチャンスは大きいのですが、いつも勝つとは限りません。これをサンプリングと呼びます。Holtzmanは、十分に確率の高い候補の中だけでくじを引き、残りの長い尾は切り捨てることを提案しました。この方法、nucleus samplingは今も使われています。ここでのランダムさは故障ではなく、堂々めぐりに効く薬です。そのせいで、同じ質問を2回すると、最初の1語から違う答えが返ってくることもあります。
ランダムさの度合いは、temperature、つまり温度という設定で調整します。softmaxの前に、すべてのロジットをこの値で割るのです。
温度 For It What
0.5 87% 12% 2%
1 67% 24% 9%
2 51% 31% 19%
温度が低いとトップの候補が強まり、高いとほかの候補にもチャンスが生まれます。これは多様さのつまみであって、正しさのつまみではありません。温度を低くすれば、モデルは同じ間違いを一言一句そのまま繰り返すでしょう。
選ばれたトークンは並びに書き足され、すべてが繰り返されます。モデルは、書き足された分も踏まえて次の分布を計算します。そしてまた次の分布を。カメラについての質問への答えは、答えの終わりを示す特別なトークンが出るまで続く、何百ものこうしたステップの連続です。
テキスト
↓
トークン
↓
ベクトルとモデルの層 ◀── ①
↓
ロジット
↓
確率
↓
トークンの選択 ──▶ ① 書き足して繰り返す
↓
答え
Transformer Explainer3では、この一巡りのすべてを、ブラウザの中で動く小さなモデルで見ることができます。トークン、アテンション、確率、選択。そして大きなモデルの本物のパーセンテージは、APIのlogprobsモード4で見られます。
学習済みのモデルを使うことを推論と呼びます。推論のあいだ、重みは変わりません。変わるのは入力のテキストだけです。
これはすべて「ただのオートコンプリート」に思えるかもしれません。そうでもあり、そうでもありません。仕組みは確かに単純です。しかし、教科書でも、コードでも、会話でも、カメラのレビューでも、同時に次のトークンをうまく予測するために、モデルは文法、事実、文体、そして物事どうしのつながりを学ばなければなりませんでした。次のトークンの予測は仕組みです。そこから育つふるまいは、はるかに複雑です。第1章でも同じでした。単純な演算に規模が加わると、思いがけず複雑な性質が生まれるのです。
ポイント1. 次のトークンの確率は、フレーズが正しい確率でも、会社が推薦される確率でもありません。 「I recommend X」と「I would avoid X」は、どちらもXを含んでいます。推薦かどうかを語るのは答え全体だけで、サンプリングのせいで、答えは毎回少しずつ違います。だから、モデルが会社について何を言っているかは、1つの答えではなく、たくさんの答えから判断すべきなのです。
1951 シャノン: 次の一片を当てることで、言語をつかめる
ロジットとsoftmax: ベクトルが語彙の全トークンの確率に変わる
2019 Holtzman: 常にいちばん確率の高いトークンを選んではいけない。テキストが堂々めぐりする
生成: トークンを選び、書き足し、次を計算する
一巡りが閉じました。テキストは番号になり、番号はベクトルになり、ベクトルは隣人を知り、最後のベクトルから次の単語がこぼれ落ちました。途中にあったのは数に対する単純な演算だけなのに、画面にはカメラについての筋の通ったアドバイスが出てきます。私は、これは驚くべきことだと思います。
でも、なぜこれらの行列の数は、まさにこの値なのでしょうか。なぜカメラについての質問のあとに、でたらめな記号の羅列ではなく意味の通った答えが出てくるのでしょうか。モデルは、こうしたことをどこから知ったのでしょうか?
出典
-
Claude Shannon, “Prediction and Entropy of Printed English,” 1951. 言語の規則性を測る方法としての、次の文字の予測。 — https://www.princeton.edu/~wbialek/rome/refs/shannon_51.pdf ↩
-
Holtzman et al., “The Curious Case of Neural Text Degeneration,” 2019, ICLR 2020. 次のトークンをある程度ランダムに選ぶ理由と、nucleus sampling。 — https://arxiv.org/abs/1904.09751 ↩
-
Transformer Explainer、Georgia Tech。トークンから続きの確率までをたどるインタラクティブな解説。 — https://poloclub.github.io/transformer-explainer/ ↩
-
OpenAI Cookbook, “Using logprobs.” APIで次のトークンの確率を見る方法。 — https://cookbook.openai.com/examples/using_logprobs ↩