第1部 · 第3章 · 意味はどこに宿るのか · 全3節中 第1節

言葉が座標を得る

Maksim Gurchenkov

トークンの番号は語彙の中の行番号で、それ以上のものではありません。9427は9426より大きいですが、「camera」が「coffee」より大きいわけでも小さいわけでもありません。番号からは、コーヒーがカメラよりも紅茶に近いことはわかりません。数の中に意味が現れるには、もうひとつ取り決めが必要です。そしてそれも、トークンと同じく、ニューラルネットワークよりずっと前に、まったく別の目的のために見つかっていました。

1950年代の言語学者には、彼らなりの悩みがありました。言語についての厳密な科学がほしいのに、「意味」はそこに収まらなかったのです。意味は測ることも検証することもできず、ほかの言葉を使って言葉で説明するしかありません。1954年、Zellig Harris1は、意味を迂回することを提案しました。単語が何を意味するかを問うのではなく、どこに現れるかを見るのです。どんな単語のあとに、どんな単語の前に、どんな構文の中に。意味は目に見えませんが、使われ方なら集めて比べられます。イギリスの言語学者John Firth2は1957年、同じ考えをひとつのフレーズにまとめました。以来、言語についての論文の2本に1本で引用されているフレーズです。「You shall know a word by the company it keeps」、つまり、単語はつきあう仲間を見ればわかる。

「I ordered a cup of coffee」と「I ordered a cup of tea」という二つの文では、一語だけが違います。どちらも注文し、注ぎ、飲み、客に勧めるものです。紅茶が何かをまだ知らなくても、こうした隣り合わせだけから、それがコーヒーと同じ仲間のものだと推測できます。一方「camera」は、買って、充電して、設定するものですが、カップに注いだりはしません。この方法には限界があります。「hot」と「cold」も同じ位置に現れますが、意味は正反対です。それでも手がかりは得られました。辞書をのぞかなくても、観察できるデータから単語の意味を推し量れるのです。

次の一歩を踏み出したのは、言語学者ではなく検索の人たちでした。1975年、コーネル大学で文書検索システムを作っていたGerard Saltonら3は、単語が一致するかどうかでは肝心の問いに答えられないという壁にぶつかりました。どの文書がクエリにより近いのか、という問いです。彼らは各文書を第1章のベクトルとして書き表しました。語彙の単語ひとつにつき、数がひとつ。いちばん単純な場合、それはその単語がテキストに出てきた回数です。

単語が三つしかない世界と、三つの文書を考えてみましょう。

                    coffee    tea    camera
飲み物の文章           4       3        0
別の飲み物の文章       8       6        0
撮影の文章             0       0        5

各行はベクトルで、ベクトルは矢印として描けます。1本目と2本目の矢印は同じ方向を向いています。コーヒーと紅茶の比率は同じで、2本目のテキストが倍の長さというだけです。3本目はまったく別の方向を向いています。Saltonは、テキストどうしの近さを矢印の向きで測ることを提案しました。計算は、おなじみの「掛けて足す」です。

1本目と2本目:  4·8 + 3·6 + 0·0 = 50
矢印の長さ:    5 と 10
50 / (5 × 10) = 1          →   向きが一致

1本目と3本目:  4·0 + 3·0 + 0·5 = 0
0 / (5 × 5) = 0            →   共通点なし

この数はコサイン類似度と呼ばれます。長さで割るのは、紅茶についての長い記事が、短くて的確な記事より、ただ大きいというだけでクエリに近いと判定されないようにするためです。こうして、話題の近さが向きの近さになる空間が生まれました。ニューラルネットワークがそこへ入ってくるずっと前のことです。

Saltonのベクトルには穴が残っていました。「car」についての記事が、「automobile」という単語では見つからないのです。意味は同じなのに、表の列が違います。1990年、Scott Deerwester、Susan Dumaisとその同僚たち4は、「単語×文書」の大きな表、つまり第1章のあの行列を取り、数学的に約100本の隠れた軸にまで圧縮しました。同じ環境に住む単語は、これらの軸の上で近くに並びました。ある書き手は「car」と書き、別の書き手は「automobile」と書きますが、どちらもエンジンや道路や燃料のことを書いています。同義語のペアを書き出した人は誰もいません。単語どうしのつながりが、はじめてテキストの統計から計算されたのです。まさにHarrisの言ったとおりに。

ニューラルネットワークがこの空間にやってきたのは2003年で、理由はまたしても実用的なものでした。当時の言語モデルは、2〜3語の連なりがテキストにどれくらいの頻度で出てくるかを数えていました。テキストに一度も出てこなかった連なりについて、そうしたモデルはほとんど何も言えませんでした。「a cup of cocoa」を見たことがなければ、そういう言い方はしない、というわけです。Yoshua Bengioら5は、予測を学習する過程で、単語ごとのベクトルをそのまま学習させることを提案しました。似た単語どうしが経験を共有できるようにするためです。「coffee」と「cocoa」のベクトルが近ければ、コーヒー1杯について学んだことが、ココア1杯にも引き継がれます。Deerwesterのベクトルは、ひとつの表から一度に得られました。Bengioのベクトルは、パーセプトロンの重みのように、誤差を手がかりに例をひとつずつ見ながら調整されていきます。うまくいきましたが、学習は苦しいほど遅いものでした。

2013年、GoogleのTomáš Mikolovら6は、Bengioのネットワークから、なくても済むものをすべて取り除きました。そうして生まれたword2vecは、数百万語ではなく数十億語で学習できるようになりました。課題はHarris流のままです。周囲から単語を当てるか、単語から周囲を当てる。ところが、結果は思いがけないものでした。ベクトルで算数ができることがわかったのです。

king − man + woman ≈ queen

「king」のベクトルを取り、「man」を引いて「woman」を足すと、表の中で結果にもっとも近いのは「queen」になります。君主制とは何か、性別とは何かを、ネットワークに説明した人はいません。意味どうしの関係は、予測という課題ひとつだけから、ひとりでに現れたのです。この手品はどんな4語でもうまくいくわけではありませんが、それができるということ自体が驚きです。意味は足したり引いたりできるのです。

LLMでは、これらすべてがひとつの表にまとめられていて、それは埋め込みテーブルと呼ばれます。埋め込みとは、計算のためにトークンを表すベクトルのことです。表の行数は語彙のトークン数と同じで、各行には数千個の数が並んでいます。トークンの番号は行の番号です。モデルが9427という番号に対して最初にすることは、9427行目を取り出すことです。そこから先は、番号ではなく「camera」のベクトルを相手に作業します。

9427 → 9427行目 → [ 0.3, -0.8, 0.1, 0.6, ... ]

ここでの数字は仮のものです。この表を手で埋めた人はいません。BengioやMikolovと同じ方法で、ほかの行列と一緒に学習されるのです。そして、座標にはラベルがありません。「飲み物」や「高価」を表す専用の数は存在しません。ひとつの特徴は多くの座標に薄く広がっていて、ひとつの座標は多くの特徴に関わっています。

こうした空間は、Embedding Projector7で見ることができます。何千もの単語ベクトルの雲で、マウスで回転させられます。この画面は数百の座標を3つに押しつぶすので、関係の一部は失われますが、肝心なところは見えます。近くに並ぶのは意味が近い単語であって、つづりが似た単語や番号が隣の単語ではありません。

会社の名前も、「coffee」とまったく同じ仕組みです。そのベクトルは、テキストの中でその名前が登場した環境から学習されます。ただし、会社についてのすべてが入った1本の矢印があるわけではありません。複数のトークンからなる名前は表の複数の行であり、最初のベクトルは計算の始まりにすぎません。

1954  Harris:              単語はその周囲によって比べられる
1957  Firth:               「単語はつきあう仲間でわかる」
1975  Salton:              テキストはベクトル、近さは矢印の向き
1990  Deerwesterら:        単語のつながりをテキストの統計から計算
2003  Bengio:              ニューラルネットワークが各単語のベクトルを学習
2013  Mikolov:             word2vec。同じことを数十億語で。
                            しかも意味で算数ができる
      LLM:                 埋め込みテーブル。トークン番号 = 行番号

しかし、「mouse」という単語には表の中に1行しかありません。そして、猫のそばのmouseとノートパソコンのそばのmouseは、別のものです。同じひとつのベクトルが、どちらの話なのかをどうやって知るのでしょうか?

出典

  1. Zellig Harris, “Distributional Structure,” 1954. 言語を、その要素の分布を通して研究する。 — https://corpus.bfsu.edu.cn/Zellig_Harris_Distributional_Structure_Word_1954.pdf ↩

  2. John Rupert Firth。“You shall know a word by the company it keeps,” 1957. Wikipedia。 — https://en.wikipedia.org/wiki/John_Rupert_Firth ↩

  3. Salton, Wong, Yang, “A Vector Space Model for Automatic Indexing,” 1975. ベクトルとしてのテキストと、その比較。 — https://doi.org/10.1145/361219.361220 ↩

  4. Deerwester et al., “Indexing by Latent Semantic Analysis,” 1990. 単語と文書の表から取り出した隠れた構造。 — https://www.microsoft.com/en-us/research/publication/indexing-by-latent-semantic-analysis/ ↩

  5. Bengio et al., “A Neural Probabilistic Language Model,” 2003. 続きの予測と一緒に学習される単語ベクトル。 — https://www.jmlr.org/papers/v3/bengio03a.html ↩

  6. Mikolov et al., “Efficient Estimation of Word Representations in Vector Space,” 2013. word2vec。 — https://arxiv.org/abs/1301.3781 ↩

  7. Embedding Projector。単語ベクトルのインタラクティブな雲。 — https://projector.tensorflow.org/ ↩

第4章の公開をメールで受け取る