本 · 第1部 · 第2章

はじめにトークンありき

コンピューターが言葉を数字に変えるまで:電信からトークンへ。そしてAIの利用コストが言語によって違う理由。

Maksim Gurchenkov

現代のコンピュータは、どれも「ただの」0と1です。LLMはどれも「ただの」行列で、そのあいだに非線形性が挟まっているだけです。そしてそのすべての上に、単純な数学的演算と、それをどう解釈するかについての私たちの取り決めがあります。0と1、行列、演算についてはすでに話しました。この章と次の章は、その取り決めについての話です。

0と1も行列も、それ自体では何も意味しません。機械が読める記録が生まれたのは、テキストをどう符号化し、どう復号するかを私たちが取り決めたときです。そして、言葉をどんな方法で数として符号化するかというこの取り決めに、人類はおよそ二百年かけてたどり着きました。始まりはAIではなく、コンピュータですらなく、電信でした。

紙片と数字で組み立てられた TOKEN という単語

この章の内容

  1. 2.1 電信からASCIIへ 読む →
  2. 2.2 ASCIIからトークンへ 読む →
  3. 2.3 語彙が制約になったとき 読む →
  4. 2.4 トークンと言語 読む →
読みはじめる
第4章の公開をメールで受け取る