Промпт🔤Токен🔤 Базовая единица промпта Я давал понятие токена в 🔥Основных понятиях и терминах. Разберем подробнее Токен — минимальная единица текста, с которой оперирует языковая модель. В отличие от привычных для человека слов, токен может быть как целым словом, так и его частью или даже отдельным символом (например, пунктуация). Модель разбивает текст именно на токены — своеобразные «кирпичики», из которых состоят предложения, чтобы эффективнее анализировать и предсказывать продолжение текста. В среднем один токен соответствует приблизительно 3–4 символам или примерно ¾ английского слова, хотя точная длина токена зависит от конкретного текста и используемой системы токенизации. Каждый токен имеет числовой идентификатор (ID) — во время работы модель оперирует не самими словами, а их числовыми представлениями 🔥Даже если мы пишем не текст, а передаём изображение, фрагмент кода, скриншот или звук — модель всё равно приводит это к единому виду. Любой вход сначала преобразуется в код, затем в последовательность токенов. При генерации происходит обратный процесс: на выходе формируется набор токенов, который в зависимости от запроса превращается в текст, картинку, таблицу или график 🔥Токенизация — процесс разбиения исходного текста на токены. Модель не читает текст целиком: она преобразует его в последовательность токенов, а затем — в набор числовых идентификаторов для подачи на вход нейросети 😀Алгоритмы токенизации бывают разными: 😀Побуквенная токенизация 😀Простейший подход — разбить текст на отдельные символы. Модель сможет представить любое слово, ведь каждый символ из алфавита ей известен. Но последовательность получается слишком длинной, смысловые связи теряются, а обучение замедляется. Например, «hello» превратится в пять токенов h, e, l, l, o — модель видит их как отдельные элементы, не как цельное слово 😀Пословная токенизация 😀Здесь каждый токен — слово, разделённое пробелами. Метод ближе к человеческому восприятию, но требует огромного словаря. Слова, не встречавшиеся при обучении, становятся неизвестными. Например, модель может знать foot и ball, но не слово football. Добавляют сложности апострофы (let vs let's), словоформы и языки без пробелов, как китайский, где пословная токенизация вообще не работает 😀Субсловная токенизация 😀Современный компромисс: частые слова остаются цельными токенами, редкие делятся на более распространённые части. Например, annoyingly → annoying и ly. Так модель распознаёт даже незнакомые слова через знакомые фрагменты. Метод значительно уменьшает словарь (десятки тысяч токенов вместо сотен тысяч) и стал стандартом в большинстве моделей 🔥Каждый из этих подходов определяет, как модель видит язык. Для нас текст состоит из слов, для неё — из последовательностей токенов. Именно на этом уровне формируется понимание, предсказание и контекст. Токен становится не просто элементом текста, а единицей восприятия данных, через которую модель строит смысл ___ 🔥Токен — универсальная единица взаимодействия с моделью. Всё, что мы передаём ИИ, сводится к ней: язык, эмоции, изображения, даже намерения. Модель не знает формата, она видит поток токенов и выстраивает из них отражение смысла #Prompt #промптология 🔥Промптология | Сообщество