Вектор из таблицы эмбеддингов словарный. Он один и тот же для «mouse» в любом тексте. «The cat chased the mouse» и «The laptop needs a mouse» кончаются одним словом, но мыши в них разные. Модель, которая работает только со словарными векторами, знала бы слова, но не понимала бы фраз. Вектору нужно узнать, кто стоит рядом.
Читать фразу целиком нейросети учились долго. Первые сети для текста читали его слово за словом, как человек ведёт пальцем по строке, и несли с собой один вектор-память, в который дописывали каждое новое слово. К концу длинного предложения от его начала в этой памяти почти ничего не оставалось. И учить такую сеть было трудно: сигнал об ошибке, который backpropagation катит назад, на пути от конца фразы к началу затухал. В 1997 году Зепп Хохрайтер и Юрген Шмидхубер1 дали сети память получше. Их LSTM это отдельная ячейка, которая сама решает, что запомнить надолго, а что забыть. С ней сети стали прилично распознавать речь и переводить, и до 2017 года почти вся работа нейросетей с текстом держалась на LSTM. Но читала она по-прежнему по порядку: пока не обработано десятое слово, за одиннадцатое не взяться.
У переводчиков к этому добавилась своя беда. Нейросетевой переводчик 2014 года был устроен так: одна сеть читает предложение и сжимает его в один вектор, вторая разворачивает из этого вектора перевод. На коротких фразах это работало. На длинных качество валилось2: всё предложение приходилось проталкивать через одно узкое горлышко. В том же году Дмитрий Бахданау, Кёнхён Чо и Йошуа Бенджио3 предложили простую вещь: пусть переводчик, выбирая каждое слово перевода, заглядывает обратно в оригинал и сам решает, на какие слова смотреть сейчас. Механизм назвали attention, вниманием. Через два года на такую систему перешёл Google Translate4, и качество перевода скакнуло так, что об этом писали газеты. Но attention пока оставался надстройкой над чтением по порядку, костылём для длинных предложений.
А в 2017 году вышла, пожалуй, самая известная работа в истории AI: статья Attention Is All You Need5. У восьми её авторов из Google была своя беда. Чтение по порядку не только забывало, оно ещё и не делилось на части. GPU, на которых со времён AlexNet держалось всё глубокое обучение, умеют выполнять тысячи операций разом, а тут им приходилось ждать слово за словом. Решение было дерзким, и название статьи6 это подчёркивает: внимания достаточно. Чтение по порядку выкинули совсем. Каждая позиция обращается к остальным напрямую, все связи вычисляются одновременно и раскладываются по тысячам ядер GPU. Архитектуру назвали трансформер, и на ней стоят все большие модели: GPT, Claude, Gemini, Llama, DeepSeek. Буква T в GPT это Transformer.
Как устроен сам обмен, видно на знакомом вопросе:
Which camera should I buy for a blog?
К концу фразы известно уже многое: речь о камере, её хотят купить, она нужна для блога. Но эти сведения лежат в разных позициях. Для каждой позиции из её вектора вычисляют три новых. Первый описывает, что эта позиция ищет. Второй – чем она может быть полезна другим. Третий – что она передаст, если её выберут. Их называют query, key и value: запрос, ключ и значение. Запрос одной позиции сравнивают с ключами остальных всё тем же «перемножить и сложить», и из оценок получаются доли: отсюда взять больше, отсюда меньше. Потом значения смешивают в этих долях:
новый вектор «blog» = 0.6 × сведения от «camera»
+ 0.3 × сведения от «buy»
+ 0.1 × сведения от остальных
Доли здесь учебные, но операция устроена именно так. Снова «перемножить и сложить», только коэффициенты теперь не зашиты в матрицу заранее, а зависят от самого текста.
Одной такой смеси мало: во фразе одновременно есть связь действия с предметом, уточнения, отрицания, части одного имени. Поэтому в каждом слое параллельно работают несколько механизмов внимания. Их называют головами, и каждая выучивает свои связи. Никто не назначал одну голову отвечать за грамматику, а другую за названия камер.
После обмена каждый вектор проходит через слой из первой главы: матрица плюс нелинейность. Внимание собрало сведения, слой их переработал. Потом снова внимание, снова слой, и так десятки раз подряд. Чтобы в такой глубине ничего не потерялось, результат каждого шага прибавляют к тому, что уже было (это называют обходными связями7), а масштаб чисел выравнивают8.
Остаются две договорённости. Первая про порядок. В «The dog chased the cat» и «The cat chased the dog» слова одни и те же, а участь кота разная. Раз чтение по порядку выкинули, порядок приходится сообщать отдельно: к вектору каждого токена подмешивают метку его места во фразе. Вторая про время. В моделях семейства GPT9 каждая позиция видит только себя и то, что стоит раньше. Будущее от неё закрыто. Поэтому раннее «camera» в нашем вопросе ничего не знает про «blog», зато «blog» знает про камеру, а последняя позиция знает про всё. Когда модель пишет ответ, это правило выполняется само: будущих слов ещё просто нет.
Что получается на выходе? Пройдя десятки слоёв, вектор в конце вопроса уже не словарный. В нём собрано «камера для блога, которую собираются купить». Так расходятся и две мыши: у одной в соседях «cat», у другой «laptop», и после первых же слоёв их векторы разные. Так же собирается имя из нескольких токенов: поздний кусочек учитывает ранние, и следующим позициям достаётся уже целое имя. Склеивать его обратно в одну строку словаря не нужно.
Что эти внутренние векторы устроены осмысленно, в 2024 году показали в Anthropic. Среди чисел, которые Claude вычисляет по дороге к ответу, нашли направление, связанное с мостом Золотые Ворота, и искусственно его усилили. Получился Golden Gate Claude10: модель сворачивала на мост в любом разговоре, хоть про рецепт пирога. Направления из прошлой подглавы живут не только в таблице на входе, но и в глубине вычислений. Их можно найти, и их можно подкрутить.
Весь механизм в картинках разобран у 3Blue1Brown: про трансформер11 и про attention12.
1997 Хохрайтер и Шмидхубер: LSTM – сеть читает по порядку, но с памятью
2014 Бахданау и коллеги: attention – переводчик заглядывает обратно в оригинал
2016 Google Translate: перевод переходит на нейросеть с attention
2017 Васвани и коллеги: трансформер – чтение по порядку выкинули,
остался attention, и он раскладывается по GPU
2024 Golden Gate Claude: направление внутри модели нашли и усилили
Теперь у модели есть вектор, в котором собран весь вопрос. Но это всё ещё числа, а на экране нужен текст. Как из вектора получается следующее слово ответа?
Источники
-
Hochreiter, Schmidhuber, «Long Short-Term Memory», 1997 – сеть с управляемой памятью, на которой до 2017 года держалась почти вся работа нейросетей с текстом. – https://www.jku.at/institut-fuer-machine-learning/forschung/publikationen/older/ ↩
-
Cho et al., «On the Properties of Neural Machine Translation: Encoder–Decoder Approaches», 2014 – качество перевода через один вектор падает с длиной предложения. – https://arxiv.org/abs/1409.1259 ↩
-
Bahdanau, Cho, Bengio, «Neural Machine Translation by Jointly Learning to Align and Translate», 2014, ICLR 2015 – attention как надстройка над последовательным переводчиком. – https://arxiv.org/abs/1409.0473 ↩
-
Wu et al., «Google’s Neural Machine Translation System», 2016 – перевод Google Translate на нейросеть с attention. – https://arxiv.org/abs/1609.08144 ↩
-
Vaswani et al., «Attention Is All You Need», 2017 – статья, придумавшая трансформер. – https://arxiv.org/abs/1706.03762 ↩
-
Wired, «8 Google Employees Invented Modern AI. Here’s the Inside Story», 2024 – как писали статью про трансформер и откуда взялось название. – https://www.wired.com/story/eight-google-employees-invented-modern-ai-transformers-paper/ ↩
-
He et al., «Deep Residual Learning for Image Recognition», 2015, CVPR 2016 – обходные связи для обучения глубоких сетей. – https://arxiv.org/abs/1512.03385 ↩
-
Ba, Kiros, Hinton, «Layer Normalization», 2016 – выравнивание масштаба чисел внутри сети. – https://arxiv.org/abs/1607.06450 ↩
-
Radford et al., «Language Models are Unsupervised Multitask Learners» (GPT-2), 2019 – модель, в которой каждая позиция видит только предшествующий текст. – https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf ↩
-
Anthropic, «Golden Gate Claude», 2024 – внутри модели нашли направление «мост Золотые Ворота», усилили его, и модель заговорила о мосте в каждом ответе. – https://www.anthropic.com/news/golden-gate-claude ↩
-
3Blue1Brown, «Transformers, explained visually» – трансформер в картинках. – https://www.youtube.com/watch?v=wjZofJX0v4M ↩
-
3Blue1Brown, «Attention in transformers, step-by-step» – механизм attention в картинках. – https://www.youtube.com/watch?v=eMlx5fFNoYc ↩