BPEは並びを短くし、まれな単語をなじみのある部品から組み立てられるようにしました。しかし、語彙は前もって用意しておかなければなりません。どの組み合わせが固有の番号を得て、どれが断片の集まりのまま残るかは、そこですでに決まっています。テキストを便利に詰め込むための工夫が、モデルが合わせなければならない条件をもうひとつ増やすことになるのです。
その詰め込みを飛ばすことはできないのでしょうか。バイトならすでにあります。たった256種類で、UTF-8のどんなテキストもそれでできています。部品どうしの関係はどうせニューラルネットワークが学ぶのに、なぜまずバイトを大きな語彙にまとめる必要があるのでしょう?
2021年、GoogleのLinting Xueら1はByT5を発表しました。彼らは複雑な事前のテキスト分割をなくしたいと考え、Transformerに少し手を加えるだけで、バイトを直接扱うように学習させられることを示しました。彼らの実験では、このアプローチは十分に競争力があり、テキストのノイズに強く、単語のつづりに敏感なタスクでも役に立ちました。
これはGPT-2のバイトレベルBPEとは違います。あちらでは、バイトはまずより大きな単位に結合されます。こちらでは、バイトそのものがモデルに入力されます。
バイトレベルBPE: テキスト → UTF-8のバイト → トークンに結合 → モデル
バイトモデル: テキスト → UTF-8のバイト → モデル
大きな語彙は消えましたが、長さという昔からの問題が戻ってきました。大きな断片ひとつのかわりに、小さな断片をいくつも処理しなければなりません。同じテキストでも、ステップ数が増えます。そのため、品質の問題にコストの問題が加わります。こうしたモデルを学習させ、そこから答えを得るには、どれだけの計算が必要なのか?
一方、語彙にはもうひとつ厄介な問題が見つかりました。2023年、Jessica RumbelowとMatthew Watkins2は、特定のトークンでGPTモデルが起こす奇妙な不具合を報告しました。そのひとつは、SolidGoldMagikarpというハンドルネームの文字列に対応するトークンでした。モデルは、それをそのまま繰り返してほしいという依頼にさえ応えられないことがありました。説明のひとつとして議論されたのは、語彙を組み立てたデータと、モデル自体を学習させたデータのずれです。語彙に場所はあったのに、それを使った有益な処理は育たなかったのです。固有の番号があるからといって、モデルがその中身をよく知っているとは限りません。
2024年12月、Metaとワシントン大学のArtidoro Pagnoniら3は、Byte Latent Transformer(BLT)を提案しました。彼らが取り組んだのは、長いバイト列の計算コストです。バイトは可変長の区間にまとめられ、モデルの主要部分は、その区間の表現を相手に処理を行いました。境界は、続きを予測するのがどれだけ難しいかで選ばれました。予測しやすい部分は大きくまとめ、難しい部分は細かく分けて扱えるのです。
結合は戻ってきましたが、その仕組みは変わりました。BPEは、あらかじめ用意された語彙の中から合う断片を探します。BLTには、そうした必須の断片のリストがありません。まとめ方は、目の前のテキストの予測しやすさで決まります。こうして、計算を均等ではなく配分する方法が生まれました。作業が必要なところに、より多くの作業を割くのです。調べられた条件では、これによって品質と、より節約的な処理を両立できました。
2026年9月、Kalyani Marathe、Pagnoniらの研究者4は、次の課題に取り組みました。小さなバイトモデルに、大きなトークンモデルから学ばせることです。こうした学習は蒸留と呼ばれます。教師モデルはどの続きがありそうだと考えているかを伝え、生徒モデルはその評価を再現するように学びます。しかし、教師が評価するのは大きなトークンで、生徒が扱うのは個々のバイトです。トークンの確率をバイトの確率に換算する方法が必要でした。
End-Of-Tokenという方式では、著者たちは教師の各トークンの終わりに特別な目印を加えました。これで換算のときに、教師の断片がどこで終わるのかがわかるようになり、その確率を正確に保てるようになりました。小さなバイトの語彙は保たれましたが、教師のトークンの境界は依然として学習の中に残っていました。
計算予算が小さいうちは、トークンモデルが優勢でした。バイトモデルは出だしこそ劣るものの、計算を増やすにつれて改善を続けました。テストの平均正答率で最大4ポイントという優位は、予測でした。測定した曲線を、実際に行った実験の範囲の外まで延ばして得たものです。バイトモデルの生成は、依然として高くつきました。トレードオフは動きましたが、消えてはいません。
2021 Xueら: ByT5は単語の部品の語彙なしにバイトを処理する
2023 Rumbelow、Watkins: 語彙にトークンがあっても、うまく扱えるとは限らない
2024 Pagnoniら: BLTはテキストの予測しやすさでバイトをまとめる
2026 Maratheら: トークンモデルが評価の換算を通じてバイトモデルを教える
「トークンなし」のモデルにも、離散的な入力単位は残ります。それがバイトそのものであることもあります。変わるのは、断片の大きさと、その用意のしかたです。では、ある会社の名前をモデルがいくつの断片に切ったかを見て、モデルがその会社をどれだけ知っているかについて、そもそも何がわかるのでしょうか?
出典
-
Xue et al., “ByT5: Towards a Token-Free Future with Pre-Trained Byte-to-Byte Models,” プレプリント2021年、TACL 2022. Transformerがバイトを直接扱う方法と、その計算上のトレードオフ。 — https://arxiv.org/abs/2105.13626 ↩
-
Rumbelow, Watkins, “SolidGoldMagikarp (plus, Prompt Generation),” 2023. 特定のトークンで起きる奇妙な不具合の観察。考えられる説明を、まれな名前すべてに当てはめるべきではない。 — https://www.lesswrong.com/posts/aPeJE8bSo6rAFoLqg/solidgoldmagikarp-plus-prompt-generation ↩
-
Pagnoni et al., “Byte Latent Transformer: Patches Scale Better Than Tokens,” 2024. バイトの動的なグループ化と、計算の配分。 — https://arxiv.org/abs/2412.09871 ↩
-
Marathe et al., “Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models,” 2026. バイトモデルへの蒸留、測定された関係、スケーリングの予測。 — https://arxiv.org/abs/2609.12303 ↩