BPE сократил последовательности и позволил собирать редкие слова из знакомых частей. Но словарь приходится подготовить заранее. В нём уже решено, какие сочетания получат отдельный номер, а какие останутся набором кусочков. Удобная упаковка текста становится ещё одним условием, под которое должна подстроиться модель.
Можно ли пропустить упаковку? Байты у нас уже есть, их всего 256, и любой текст в UTF-8 из них складывается. Зачем сначала объединять их в большой словарь, если отношения между частями всё равно предстоит изучать нейросети?
В 2021 году Линьтин Сюэ и коллеги из Google1 представили ByT5. Они хотели избавиться от сложной предварительной нарезки текста и показали, что трансформер можно с небольшими изменениями научить работать прямо с байтами. В их экспериментах такой подход был конкурентоспособен, лучше переносил шум в тексте и помогал в задачах, чувствительных к написанию слов.
Это отличается от байтового BPE в GPT-2. Там байты сначала склеиваются в более крупные единицы. Здесь они сами поступают на вход модели:
байтовый BPE: текст → байты UTF-8 → склейка в токены → модель
байтовая модель: текст → байты UTF-8 → модель
Большой словарь исчез, но старая проблема длины вернулась. Вместо одного крупного фрагмента приходится обрабатывать несколько маленьких. На том же тексте получается больше шагов. Поэтому к вопросу о качестве добавляется вопрос о стоимости: сколько вычислений потребуется, чтобы обучить такую модель и получить от неё ответ?
У словаря тем временем обнаружилась и другая неприятность. В 2023 году Джессика Рамбелоу и Мэттью Уоткинс2 описали необычные сбои GPT-моделей на отдельных токенах. Один из них соответствовал строке с ником SolidGoldMagikarp. Модели могли не справиться даже с просьбой повторить её. Среди объяснений обсуждалось расхождение между данными, на которых собирали словарь, и данными, на которых учили саму модель. Место в словаре нашлось, а полезная работа с ним не сложилась. Отдельный номер ещё не означает, что модель хорошо знает его содержимое.
В декабре 2024 года Артидоро Паньони и коллеги из Meta* и Вашингтонского университета3 предложили Byte Latent Transformer, BLT. Они взялись за вычислительную цену длинных байтовых последовательностей. Байты объединялись в участки переменной длины, а основная часть модели работала уже с представлениями этих участков. Границы выбирались по тому, насколько трудно предсказать продолжение: предсказуемые отрезки можно объединять крупнее, сложные разбирать подробнее.
Склейка вернулась, но её устройство изменилось. BPE ищет в заранее подготовленном словаре подходящие фрагменты. У BLT нет такого перечня обязательных кусочков: группировка зависит от предсказуемости текущего текста. Получился способ распределять вычисления неравномерно, тратить больше работы там, где она нужнее. В исследованных условиях это позволяло сочетать качество с более экономной обработкой.
В сентябре 2026 года Кальяни Маратхе, Паньони и коллеги4 поставили следующую задачу: научить небольшую байтовую модель у большой токенной. Такое обучение называют дистилляцией. Учитель сообщает, какие продолжения считает вероятными, ученик учится воспроизводить его оценки. Но учитель оценивает крупные токены, а ученик отдельные байты. Потребовался способ пересчитать вероятности токенов в вероятности байтов.
В варианте End-Of-Token авторы добавили служебную метку конца каждого токена учителя. Теперь при пересчёте было известно, где кончается кусочек учителя, и его вероятности удавалось сохранить точно. Маленький байтовый словарь сохранился, но границы токенов учителя всё ещё присутствовали в обучении.
При небольшом вычислительном бюджете токенные модели были впереди. Байтовые начинали хуже, но продолжали улучшаться с ростом затрат. Преимущество до четырёх процентных пунктов в средней точности на тестах было прогнозом: его получили, продлив измеренные кривые за пределы проведённых экспериментов. Генерация у байтовых моделей оставалась дорогой. Компромисс сдвинулся, но не исчез.
2021 Сюэ и коллеги: ByT5 обрабатывает байты без словаря частей слов
2023 Рамбелоу, Уоткинс: токен в словаре ещё не гарантирует нормальную работу с ним
2024 Паньони и коллеги: BLT группирует байты по предсказуемости текста
2026 Маратхе и коллеги: токенная модель учит байтовую через пересчёт оценок
Даже у модели «без токенов» остаются дискретные единицы входа: ими могут быть сами байты. Меняется размер кусочков и способ их подготовки. Что тогда вообще можно узнать о знакомстве модели с компанией, посмотрев, на сколько кусочков она разрезала её имя?
Источники
-
Xue et al., «ByT5: Towards a Token-Free Future with Pre-Trained Byte-to-Byte Models», препринт 2021, TACL 2022 – работа трансформера непосредственно с байтами и её вычислительные компромиссы. – https://arxiv.org/abs/2105.13626 ↩
-
Rumbelow, Watkins, «SolidGoldMagikarp (plus, Prompt Generation)», 2023 – наблюдения необычных сбоев на отдельных токенах; возможные объяснения не следует переносить на все редкие имена. – https://www.lesswrong.com/posts/aPeJE8bSo6rAFoLqg/solidgoldmagikarp-plus-prompt-generation ↩
-
Pagnoni et al., «Byte Latent Transformer: Patches Scale Better Than Tokens», 2024 – динамическая группировка байтов и распределение вычислений. – https://arxiv.org/abs/2412.09871 ↩
-
Marathe et al., «Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models», 2026 – дистилляция в байтовые модели, измеренные зависимости и прогнозы масштабирования. – https://arxiv.org/abs/2609.12303 ↩