Книга · Часть I · Глава 2

Сначала был токен

Как компьютеры научились превращать слова в числа: от телеграфа до токенов, и почему на разных языках работа с AI стоит по-разному.

Максим Гурченков

Любой современный компьютер это “просто” нули и единицы, а любая LLM это “просто” матрицы с нелинейностью между ними. И над всем этим простые математические операции и наши договоренности, как это все интерпретировать. И так как ранее мы обсудили нули, единицы, матрицы и операции, эта и следующая главы будут про те самые договоренности.

Сами по себе ни нули и единицы, ни матрицы ничего не значат. Читаемая для машины запись появилась в тот момент, когда мы договорились, как кодировать и как декодировать текст. И к этой договорённости, каким способом кодировать слова числами, люди шли почти двести лет. Начиналось всё не с AI и даже не с компьютеров, а с телеграфа.

Слово TOKEN, собранное из обрывков бумаги и чисел

Разделы главы

  1. 2.1 От телеграфа до ASCII Читать →
  2. 2.2 От ASCII до токена Читать →
  3. 2.3 Когда словарь стал ограничением Читать →
  4. 2.4 Токены и языки Читать →
Начать читать
Получите главу 4, как только она выйдет