Подробное руководство по токенам LLM

Что такое токен?

Большие языковые модели (LLM), такие как ChatGPT, Claude и Gemini, не читают текст буква за буквой или слово за словом. Вместо этого они разбивают текст на части, называемые токенами. Токен может быть целым словом, слогом, отдельным символом или даже пробелом.

Как правило, для английского текста: 1 токен ≈ 4 символа или 100 токенов ≈ 75 слов. Однако форматирование, код, неанглийские языки и специальные символы могут значительно изменить это соотношение.

Входные и выходные токены

При взаимодействии с API вы оплачиваете две различные фазы:

• Входные токены (запрос): Текст, который вы отправляете ИИ. Сюда входят ваши системные инструкции, история предыдущих разговоров и текущий запрос. Обычно это значительно дешевле.
• Выходные токены (завершение): Текст, который ИИ генерирует в ответ. Поскольку для генерации текста требуется значительно больше вычислительной мощности, чем для его чтения, выходные токены обычно в 2-4 раза дороже входных.

Советы по оптимизации затрат на API

• Удалите лишнее: Удалите ненужные пробелы, конечные пробелы и избыточные инструкции из системных запросов.
• Минимизируйте историю: Если вы создаете чат-бота, не отправляйте всю историю разговоров каждый раз. Реализуйте скользящее окно или суммируйте старые сообщения.
• Выбирайте правильную модель: Не используйте GPT-4o или Claude Opus для простых задач извлечения или форматирования. Используйте меньшие, значительно более дешевые модели, такие как GPT-4o-mini или Claude Haiku.

Цены на популярные модели (за 1 миллион токенов)

Модель	Цена ввода	Цена вывода