Номер токена это номер строки в словаре, и больше ничего. 9427 больше, чем 9426, но «camera» не больше и не меньше «coffee». Из номеров нельзя узнать, что кофе ближе к чаю, чем к фотоаппарату. Чтобы в числах появился смысл, нужна ещё одна договорённость. И нашли её, как и токены, задолго до нейросетей и совсем не для них.
У лингвистов 1950-х была своя беда: они хотели точной науки о языке, а «смысл» в неё не помещался. Его нельзя ни измерить, ни проверить, только описать словами через другие слова. В 1954 году Зеллиг Харрис1 предложил обойти смысл стороной: не спрашивать, что слово означает, а смотреть, где оно встречается. После каких слов, перед какими, в каких конструкциях. Значение не видно, зато употребления можно собрать и сравнить. Британский лингвист Джон Фёрс2 в 1957 году упаковал ту же мысль в фразу, которую с тех пор цитируют в каждой второй работе про язык: «You shall know a word by the company it keeps» – слово узнаёшь по компании, в которой оно ходит.
В предложениях «I ordered a cup of coffee» и «I ordered a cup of tea» меняется одно слово. Обе вещи заказывают, наливают, пьют, предлагают гостям. Ещё не зная, что такое чай, по одним этим соседствам можно догадаться, что он из того же круга вещей, что и кофе. А «camera» покупают, заряжают и настраивают, но в чашку не наливают. У способа есть предел: «hot» и «cold» тоже стоят на одних и тех же местах, а значат противоположное. Но зацепка появилась: о значении слова можно судить по наблюдаемым данным, не заглядывая в толковый словарь.
Следующий шаг сделали не лингвисты, а поисковики. В 1975 году Джерард Салтон с коллегами3 строил в Корнелле поисковую систему по документам и упёрся в то, что совпадение слов не отвечает на главный вопрос: какой документ ближе к запросу? Они записали каждый документ вектором из первой главы: по числу на каждое слово словаря. В самом простом случае это число раз, которое слово встретилось в тексте.
Возьмём мир, в котором всего три слова, и три документа:
coffee tea camera
текст о напитках 4 3 0
другой о напитках 8 6 0
текст о съёмке 0 0 5
Каждая строка это вектор, а вектор можно нарисовать стрелкой. Первая и вторая стрелки смотрят в одну сторону: соотношение кофе и чая у них одинаковое, просто второй текст вдвое длиннее. Третья смотрит совсем в другую. Салтон предложил мерить близость текстов по направлению стрелок, и считается это знакомой операцией «перемножить и сложить»:
первый и второй: 4·8 + 3·6 + 0·0 = 50
длины стрелок: 5 и 10
50 / (5 × 10) = 1 → направления совпали
первый и третий: 4·0 + 3·0 + 0·5 = 0
0 / (5 × 5) = 0 → ничего общего
Это число называют косинусной близостью. Делить на длины нужно, чтобы длинная статья о чае не оказалась ближе к запросу, чем короткая и точная, только из-за своего размера. Так появилось пространство, в котором близость по теме это близость направлений. Задолго до того, как в него въехали нейросети.
У векторов Салтона оставалась дыра: статья про «car» не находилась по слову «automobile». Значения те же, а столбцы в таблице разные. В 1990 году Скотт Дирвестер, Сьюзен Дюмэ и их коллеги4 взяли большую таблицу «слова × документы», ту самую матрицу из первой главы, и математически сжали её до сотни скрытых осей. Слова, которые живут в одних и тех же окружениях, оказались на этих осях рядом: один автор пишет «car», другой «automobile», но оба про двигатели, дороги и топливо. Пары синонимов никто не выписывал. Связь между словами впервые вычислили из статистики текстов, ровно по Харрису.
Нейросети пришли в это пространство в 2003 году, и причина опять была практическая. Языковые модели того времени считали, как часто в текстах встречаются цепочки из двух-трёх слов подряд. Про цепочку, которой в текстах не было, такая модель почти ничего не могла сказать: «a cup of cocoa» она не видела, значит, так не говорят. Йошуа Бенджио с коллегами5 предложили выучивать для каждого слова вектор прямо в ходе обучения предсказанию, чтобы похожие слова делились опытом: если у «coffee» и «cocoa» векторы близки, выученное про чашку кофе переносится на чашку какао. У Дирвестера векторы получались из одной таблицы разом. У Бенджио они подбираются по ошибкам, пример за примером, как веса перцептрона. Работало, но училось мучительно медленно.
В 2013 году Томаш Миколов с коллегами из Google6 выкинули из сети Бенджио всё, без чего можно обойтись, и получившийся word2vec стал учиться на миллиардах слов вместо миллионов. Задача осталась харрисовской: по окружению угадать слово или по слову окружение. А результат вышел неожиданным. С векторами оказалось можно делать арифметику:
king − man + woman ≈ queen
Берём вектор «king», вычитаем «man», прибавляем «woman», и ближайшим к результату в таблице оказывается «queen». Никто не объяснял сети, что такое монархия и пол. Отношения между значениями проявились сами, из одной только задачи предсказания. Фокус выходит не с любой четвёркой слов, но сама возможность поразительна: смысл можно складывать и вычитать.
В LLM всё это собрано в одну таблицу, и называется она таблицей эмбеддингов. Эмбеддинг это вектор, которым токен представлен для вычислений. Строк в таблице столько же, сколько токенов в словаре, а в каждой строке несколько тысяч чисел. Номер токена это номер строки: первое, что модель делает с номером 9427, это берёт строку 9427 и дальше работает уже не с номером, а с вектором «camera».
9427 → строка 9427 → [ 0.3, -0.8, 0.1, 0.6, ... ]
Числа здесь условные. Таблицу никто не заполнял вручную: она выучивается вместе с остальными матрицами, тем же способом, что у Бенджио и Миколова. И подписей у координат нет. Отдельного числа для «напиток» или «дорогой» не существует: один признак размазан по многим координатам, а одна координата участвует во многих признаках.
Увидеть такое пространство можно в Embedding Projector7: облако из тысяч слов-векторов, которое крутится мышкой. Картинка сплющивает сотни координат до трёх и часть отношений теряет, но главное видно: рядом оказываются слова с близкими значениями, а не с похожими буквами или соседними номерами.
С именем компании всё устроено так же, как с «coffee»: его векторы выучиваются из окружений, в которых оно встречалось в текстах. Но одной стрелки, в которой лежит всё о компании, нет. Имя из нескольких токенов это несколько строк таблицы, а исходные векторы это только начало вычисления.
1954 Харрис: слова можно сравнивать по их окружениям
1957 Фёрс: «слово узнаёшь по его компании»
1975 Салтон: тексты – векторы, близость – направление стрелок
1990 Дирвестер и коллеги: связь слов вычислена из статистики текстов
2003 Бенджио: нейросеть выучивает вектор каждого слова
2013 Миколов: word2vec – то же на миллиардах слов,
и со смыслом можно делать арифметику
LLM: таблица эмбеддингов, номер токена = номер строки
Но у слова «mouse» в таблице одна строка. А мышь возле кота и мышь возле ноутбука это разные мыши. Как один и тот же вектор узнаёт, о какой из них речь?
Источники
-
Zellig Harris, «Distributional Structure», 1954 – исследование языка через распределение его элементов. – https://corpus.bfsu.edu.cn/Zellig_Harris_Distributional_Structure_Word_1954.pdf ↩
-
John Rupert Firth – «You shall know a word by the company it keeps», 1957. Wikipedia. – https://en.wikipedia.org/wiki/John_Rupert_Firth ↩
-
Salton, Wong, Yang, «A Vector Space Model for Automatic Indexing», 1975 – тексты как векторы и их сравнение. – https://doi.org/10.1145/361219.361220 ↩
-
Deerwester et al., «Indexing by Latent Semantic Analysis», 1990 – скрытая структура из таблицы слов и документов. – https://www.microsoft.com/en-us/research/publication/indexing-by-latent-semantic-analysis/ ↩
-
Bengio et al., «A Neural Probabilistic Language Model», 2003 – векторы слов, выученные вместе с предсказанием продолжения. – https://www.jmlr.org/papers/v3/bengio03a.html ↩
-
Mikolov et al., «Efficient Estimation of Word Representations in Vector Space», 2013 – word2vec. – https://arxiv.org/abs/1301.3781 ↩
-
Embedding Projector – интерактивное облако векторов слов. – https://projector.tensorflow.org/ ↩