Задача знакома по опыту Шеннона 1951 года1: человек видел начало текста и угадывал следующую букву. Модель делает то же самое с токенами. Только вместо человеческого чутья у неё вектор, собранный из всего, что уже написано.
В самом конце этот вектор умножают ещё на одну матрицу, и получается по одной оценке на каждый токен словаря: около двухсот тысяч токенов, около двухсот тысяч чисел. Эти оценки называют логитами. Чем выше логит, тем лучше токен подходит на роль следующего. Сами логиты ещё не вероятности: они бывают отрицательными и в сумме дают что угодно. Функция softmax превращает их в доли с суммой 100%. Делает она простую вещь: возводит число e, примерно 2,72, в степень каждой оценки и делит на общую сумму.
Возьмём вопрос «Which camera should I buy for a blog?». Ответ не обязан начинаться с «Sony» или «Canon». Он может начаться с «For», с «It» или со встречного вопроса. Пусть у этих трёх начал логиты 2, 1 и 0, а остальной словарь для простоты отбросим:
логит e в этой степени доля
For 2 7.39 67%
It 1 2.72 24%
What 0 1.00 9%
сумма 11.11 100%
Пересчитать можно на калькуляторе. Разница в одну единицу логита превращается в разницу почти втрое по вероятности. «For a beginner…», «It depends…» и «What is your budget?» ведут к трём разным ответам, и каждое начало уместно.
Какой токен взять? Самое очевидное: всегда самый вероятный. Пробовали. В 2019 году Ари Хольцман с коллегами2 показали, чем это кончается: модель, которая всегда берёт вершину распределения, через пару абзацев зацикливается и повторяет одну и ту же фразу. Поэтому следующий токен выбирают с долей случайности: у вероятного токена больше шансов, но выигрывает он не всегда. Это называется сэмплированием. Хольцман предложил тянуть жребий только среди достаточно вероятных кандидатов, отсекая длинный хвост остальных, и этот способ, nucleus sampling, используется до сих пор. Случайность здесь не поломка, а лекарство от зацикливания. Из-за неё один и тот же вопрос, заданный дважды, может получить разные ответы уже с первого слова.
Долей случайности управляет настройка temperature, температура. Перед softmax все логиты делят на неё:
температура For It What
0.5 87% 12% 2%
1 67% 24% 9%
2 51% 31% 19%
Низкая температура усиливает лидера, высокая даёт шанс остальным. Это регулятор разнообразия, а не правдивости: при низкой температуре модель повторит одну и ту же ошибку слово в слово.
Выбранный токен дописывают к последовательности, и всё повторяется: модель считает следующее распределение уже с учётом дописанного. Потом ещё одно. Ответ на вопрос о камере это сотни таких шагов подряд, пока не выпадет служебный токен конца ответа.
Текст
↓
Токены
↓
Векторы и слои модели ◀── ①
↓
Логиты
↓
Вероятности
↓
Выбор токена ──▶ ① дописали, повторяем
↓
Ответ
В Transformer Explainer3 весь этот круг виден на маленькой работающей модели прямо в браузере: токены, внимание, вероятности, выбор. А настоящие проценты больших моделей показывает режим logprobs4 в их API.
Применение уже обученной модели называют инференсом. Веса при нём не меняются: меняется только текст на входе.
Кажется, что всё это «просто автодополнение». И да, и нет. Механика действительно простая. Но чтобы хорошо предсказывать следующий токен одновременно в учебниках, коде, диалогах и обзорах камер, модели пришлось выучить грамматику, факты, стили и связи между вещами. Предсказание следующего токена это механика. Поведение, которое из неё вырастает, намного сложнее. В первой главе было то же самое: простые операции плюс масштаб дают неожиданно сложные свойства.
Вывод 1. Вероятность следующего токена это не вероятность того, что фраза верна, и не вероятность того, что компанию порекомендуют. «I recommend X» и «I would avoid X» оба содержат X. О рекомендации говорит только целый ответ, а из-за сэмплирования он каждый раз немного другой. Поэтому судить о том, что модель говорит о компании, можно по многим ответам, а не по одному.
1951 Шеннон: язык можно ухватить, угадывая следующий кусочек
Логиты и softmax: вектор превращается в вероятности всех токенов словаря
2019 Хольцман: всегда брать самый вероятный токен нельзя: текст зацикливается
Генерация: выбрали токен, дописали, посчитали следующий
Круг замкнулся. Текст стал номерами, номера векторами, векторы узнали своих соседей, и из последнего вектора выпало следующее слово. По дороге не было ничего, кроме простых операций над числами, а на экране связный совет про камеру. По-моему, это поразительно.
Но почему числа в этих матрицах именно такие? Почему после вопроса о камере получается осмысленный ответ, а не случайный набор символов? Откуда модель всё это знает?
Источники
-
Claude Shannon, «Prediction and Entropy of Printed English», 1951 – предсказание следующей буквы как способ измерить закономерности языка. – https://www.princeton.edu/~wbialek/rome/refs/shannon_51.pdf ↩
-
Holtzman et al., «The Curious Case of Neural Text Degeneration», 2019, ICLR 2020 – почему следующий токен выбирают с долей случайности, и nucleus sampling. – https://arxiv.org/abs/1904.09751 ↩
-
Transformer Explainer, Georgia Tech – интерактивный проход от токенов к вероятностям продолжения. – https://poloclub.github.io/transformer-explainer/ ↩
-
OpenAI Cookbook, «Using logprobs» – как увидеть в API вероятности следующего токена. – https://cookbook.openai.com/examples/using_logprobs ↩