Часть I · Глава 3 · Где живёт смысл · Раздел 3 из 3

Один токен за другим

Максим Гурченков

Задача знакома по опыту Шеннона 1951 года1: человек видел начало текста и угадывал следующую букву. Модель делает то же самое с токенами. Только вместо человеческого чутья у неё вектор, собранный из всего, что уже написано.

В самом конце этот вектор умножают ещё на одну матрицу, и получается по одной оценке на каждый токен словаря: около двухсот тысяч токенов, около двухсот тысяч чисел. Эти оценки называют логитами. Чем выше логит, тем лучше токен подходит на роль следующего. Сами логиты ещё не вероятности: они бывают отрицательными и в сумме дают что угодно. Функция softmax превращает их в доли с суммой 100%. Делает она простую вещь: возводит число e, примерно 2,72, в степень каждой оценки и делит на общую сумму.

Возьмём вопрос «Which camera should I buy for a blog?». Ответ не обязан начинаться с «Sony» или «Canon». Он может начаться с «For», с «It» или со встречного вопроса. Пусть у этих трёх начал логиты 2, 1 и 0, а остальной словарь для простоты отбросим:

          логит    e в этой степени    доля
For         2           7.39            67%
It          1           2.72            24%
What        0           1.00             9%
                 сумма 11.11           100%

Пересчитать можно на калькуляторе. Разница в одну единицу логита превращается в разницу почти втрое по вероятности. «For a beginner…», «It depends…» и «What is your budget?» ведут к трём разным ответам, и каждое начало уместно.

Какой токен взять? Самое очевидное: всегда самый вероятный. Пробовали. В 2019 году Ари Хольцман с коллегами2 показали, чем это кончается: модель, которая всегда берёт вершину распределения, через пару абзацев зацикливается и повторяет одну и ту же фразу. Поэтому следующий токен выбирают с долей случайности: у вероятного токена больше шансов, но выигрывает он не всегда. Это называется сэмплированием. Хольцман предложил тянуть жребий только среди достаточно вероятных кандидатов, отсекая длинный хвост остальных, и этот способ, nucleus sampling, используется до сих пор. Случайность здесь не поломка, а лекарство от зацикливания. Из-за неё один и тот же вопрос, заданный дважды, может получить разные ответы уже с первого слова.

Долей случайности управляет настройка temperature, температура. Перед softmax все логиты делят на неё:

температура     For     It     What
    0.5         87%    12%      2%
    1           67%    24%      9%
    2           51%    31%     19%

Низкая температура усиливает лидера, высокая даёт шанс остальным. Это регулятор разнообразия, а не правдивости: при низкой температуре модель повторит одну и ту же ошибку слово в слово.

Выбранный токен дописывают к последовательности, и всё повторяется: модель считает следующее распределение уже с учётом дописанного. Потом ещё одно. Ответ на вопрос о камере это сотни таких шагов подряд, пока не выпадет служебный токен конца ответа.

Текст
  ↓
Токены
  ↓
Векторы и слои модели  ◀── ①
  ↓
Логиты
  ↓
Вероятности
  ↓
Выбор токена  ──▶ ① дописали, повторяем
  ↓
Ответ

В Transformer Explainer3 весь этот круг виден на маленькой работающей модели прямо в браузере: токены, внимание, вероятности, выбор. А настоящие проценты больших моделей показывает режим logprobs4 в их API.

Применение уже обученной модели называют инференсом. Веса при нём не меняются: меняется только текст на входе.

Кажется, что всё это «просто автодополнение». И да, и нет. Механика действительно простая. Но чтобы хорошо предсказывать следующий токен одновременно в учебниках, коде, диалогах и обзорах камер, модели пришлось выучить грамматику, факты, стили и связи между вещами. Предсказание следующего токена это механика. Поведение, которое из неё вырастает, намного сложнее. В первой главе было то же самое: простые операции плюс масштаб дают неожиданно сложные свойства.

Вывод 1. Вероятность следующего токена это не вероятность того, что фраза верна, и не вероятность того, что компанию порекомендуют. «I recommend X» и «I would avoid X» оба содержат X. О рекомендации говорит только целый ответ, а из-за сэмплирования он каждый раз немного другой. Поэтому судить о том, что модель говорит о компании, можно по многим ответам, а не по одному.

1951  Шеннон:            язык можно ухватить, угадывая следующий кусочек
      Логиты и softmax:  вектор превращается в вероятности всех токенов словаря
2019  Хольцман:          всегда брать самый вероятный токен нельзя: текст зацикливается
      Генерация:         выбрали токен, дописали, посчитали следующий

Круг замкнулся. Текст стал номерами, номера векторами, векторы узнали своих соседей, и из последнего вектора выпало следующее слово. По дороге не было ничего, кроме простых операций над числами, а на экране связный совет про камеру. По-моему, это поразительно.

Но почему числа в этих матрицах именно такие? Почему после вопроса о камере получается осмысленный ответ, а не случайный набор символов? Откуда модель всё это знает?

Источники

  1. Claude Shannon, «Prediction and Entropy of Printed English», 1951 – предсказание следующей буквы как способ измерить закономерности языка. – https://www.princeton.edu/~wbialek/rome/refs/shannon_51.pdf ↩

  2. Holtzman et al., «The Curious Case of Neural Text Degeneration», 2019, ICLR 2020 – почему следующий токен выбирают с долей случайности, и nucleus sampling. – https://arxiv.org/abs/1904.09751 ↩

  3. Transformer Explainer, Georgia Tech – интерактивный проход от токенов к вероятностям продолжения. – https://poloclub.github.io/transformer-explainer/ ↩

  4. OpenAI Cookbook, «Using logprobs» – как увидеть в API вероятности следующего токена. – https://cookbook.openai.com/examples/using_logprobs ↩

Получите главу 4, как только она выйдет