RU ▾
Получить API-ключ

LLM Inference APIГид

Что такое инференс LLM? Токены, задержки и стоимость

Если вы спрашиваете, что такое инференс LLM, кратко: это этап, на котором обученная языковая модель читает ваш промпт и пишет ответ, по одному токену за раз. На этой странице объясняется, как это работает и сколько это стоит.

Обновлено:

Изометрическая иллюстрация токенов, входящих и выходящих из камеры обработки, представляющая инференс LLM

Ключевые моменты

  1. Инференс — это запуск готовой модели для получения результата; обучение — это более ранний и гораздо более дорогой этап, создавший модель.
  2. Запрос состоит из двух фаз: чтение промпта (префилл) и запись ответа по одному токену (декодирование).
  3. Стоимость и скорость зависят от количества токенов, поэтому длина ввода, длина вывода и контекстное окно важнее всего остального.
  4. С хостинг-API вы платите за токены и избегаете затрат на GPU; с собственным оборудованием вы платите за машину, занята она или простаивает.

Инференс за один абзац

Большая языковая модель — это файл с числами, которые называются весами. Обучение — это процесс настройки этих чисел путём показа модели огромных объёмов текста. Инференс — это всё, что происходит после этого, когда вы используете готовые веса для получения ответа. Каждое сообщение в чате, которое вы отправляете модели, каждая подсказка автозаполнения и каждый вызов API, возвращающий текст, является запросом на инференс.

Различие важно, потому что у этих двух задач разная экономика. Обучение происходит один раз (или несколько раз) и требует большого кластера. Инференс происходит каждый раз, когда кто-то отправляет промпт, поэтому это часть, которая масштабируется вместе с вашими пользователями. Когда люди говорят о стоимости запуска AI-продукта, они почти всегда имеют в виду стоимость инференса.

Модель не «ищет» ответ. Она вычисляет вероятность для каждой возможной следующего токена, выбирает один, добавляет её к тексту и повторяет. Этот цикл — весь механизм, и остальная часть этой страницы — более подробный взгляд на него.

Что происходит во время одного запроса

Возьмите один запрос чата и проследите его от вашего кода до последнего символа.

  1. Токенизация. Ваш текст разбивается на токены, которые являются фрагментами символов. Токен часто представляет собой короткое слово или часть более длинного. Общее правило для английского языка — около четырёх символов на токен, но это зависит от языка и контента, такого как код.
  2. Префилл. Модель обрабатывает все токены промпта за один проход. Это параллельная работа, которая создаёт внутреннее состояние, необходимое модели для продолжения текста.
  3. Декодирование. Модель генерирует первый выходной токен, затем второй и так далее. Каждый новый токен зависит от всех предыдущих, поэтому этот этап является последовательным. Это самая медленная часть большинства запросов.
  4. Сэмплинг. На каждом шаге у модели есть оценка для каждого токена в своём словаре. Настройки, такие как temperature и top_p, определяют, как выбирается следующий токен из этих оценок. Низкая температура почти всегда выбирает наиболее вероятный токен; более высокая позволяет больше разнообразия.
  5. Остановка. Генерация заканчивается, когда модель генерирует токен конца текста, когда она достигает последовательности stop, которую вы определили, или когда она достигает лимита токенов.

Префилл и декодирование нагружают оборудование по-разному. Префилл ограничен в основном вычислительной мощностью. Декодирование ограничено в основном тем, насколько быстро GPU может читать веса модели из памяти, потому что каждый отдельный токен должен их затронуть. Вот почему длинный ответ занимает заметно больше времени, чем длинный вопрос того же размера.

Токены, контекстное окно и KV-кэш

Всё в инференсе измеряется в токенах. Ваш промпт, системное сообщение, предыдущие реплики в разговоре и ответ — всё это считается. Контекстное окно — это максимальное количество токенов, которое модель может удерживать одновременно, промпт и завершение вместе. В этом сервисе контекстное окно составляет 100 000 токенов, а завершение может использовать всё, что оставил промпт.

Чтобы избежать пересчёта всего разговора для каждого нового токена, движки инференса сохраняют KV-кэш: промежуточные ключи и значения для уже обработанных токенов. Кэш растёт с длиной контекста и занимает память GPU. Это основная причина, по которой длинные контексты дорого обслуживать, и причина, по которой сервер может обрабатывать ограниченное количество длинных запросов одновременно.

Практическое следствие для вас как разработчика: чат, который отправляет полную историю на каждом шаге, платит за эту историю снова каждый раз. Если разговор вырастает до 20 000 токенов, каждое новое сообщение содержит эти 20 000 входных токенов. Обрезка или краткое резюмирование старых реплик — самое дешёвое ускорение и оптимизация затрат, доступная вам, и не требует изменений на стороне сервера.

Задержка: почему два показателя

Люди часто спрашивают, насколько быстра модель, но есть два отдельных измерения.

  • Время до первого токена. Сколько времени вы ждёте, пока появится любой текст. Оно включает сетевое время, очередь на сервере и префилл. Длинные промпты увеличивают его.
  • Скорость генерации. Насколько быстро токены поступают после первого. Это зависит от размера модели, оборудования и того, сколько других запросов обслуживает тот же GPU в данный момент.

Потоковая передача существует из-за этого разделения. С stream: true сервер отправляет токены по мере их генерации, так что пользователь начинает читать после первого токена, а не ждёт полного ответа. Общее время такое же, но интерфейс ощущается намного быстрее. Для чата, ролевой игры и инструментов для написания текста потоковая передача почти всегда является правильным выбором по умолчанию.

Одна деталь, которую следует помнить при планировании параллельных запросов: потоковый запрос удерживает свой слот до конца потока, а не до появления первого токена. Если ваш ключ позволяет 8 параллельных запросов, восемь одновременно идущих длинных потоков означают, что девятый должен ждать или получает ответ 429.

Стоимость инференса с реальными цифрами

Хостинг-инференс оплачивается по токенам, с отдельными ценами для ввода и вывода, потому что токены вывода требуют больше работы. Этот сервис взимает $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов из предоплаченного баланса без подписки. Вот как это работает для нескольких типичных запросов.

ЗапросВходные токеныВыходные токеныСтоимость
Короткое сообщение чата500300$0.000075 + $0.00015 = $0.000225
Чат с историей2,000500$0.0003 + $0.00025 = $0.00055
Краткое изложение длинного документа30,0001,000$0.0045 + $0.0005 = $0.005
Полный промпт на 100 000 токенов, короткий ответ100,000500$0.015 + $0.00025 = $0.01525

Математика проста: разделите количество токенов на один миллион и умножьте на цену. Для строки «чат с историей» 2 000 / 1 000 000 x $0,15 = $0,0003 и 500 / 1 000 000 x $0,50 = $0,00025, что в сумме составляет $0,00055. Тысяча таких запросов стоит $0,55.

Два момента биллинга помогают при планировании бюджета. Неудачные или отклонённые запросы не оплачиваются, а баланс не сгорает, поэтому пополнение — это не часы, которые тикают. Каждый ответ содержит заголовок X-Balance-USD, который позволяет вашему коду отслеживать оставшийся баланс без отдельного вызова.

Хостинг-инференс или ваш собственный GPU

У вас есть два способа получить инференс. Вы можете арендовать или купить GPU, установить движок обслуживания и запустить модель самостоятельно. Или вы можете вызвать API и позволить кому-то другому управлять оборудованием.

Самостоятельный запуск даёт вам полный контроль над файлами модели, настройками и путём передачи данных. Цена — это операционная работа: выбор оборудования, подходящего для весов и KV-кэша, обновление драйверов и движков, обработка пиков трафика и оплата машины в часы простоя. Хостинг-API превращает это в счёт за токены. Это обычно более быстрый путь, когда ваш трафик неравномерен или вы всё ещё тестируете идею.

Описанный здесь сервис — это размещённое текстовое API, совместимое с OpenAI. Он работает на одной модели с открытыми весами, управляемой независимым провайдером и настроенной на выдачу ответов без отказов по контенту для законного использования взрослыми. Это не официальное API от вендора какой-либо модели, оно не генерирует изображения, аудио или видео, не создаёт эмбеддинги и не дообучает модели. Если вам нужно что-то из этого, вам нужен другой инструмент. Если вам нужна генерация обычного текста с минимальным количеством отказов, быстрый старт покажет настройку, а страница с ценами перечисляет варианты пополнения.

Попробуйте вызов инференса самостоятельно

Самый быстрый способ сделать концепцию конкретной — отправить один запрос и прочитать цифры, которые он возвращает. После создания ключа эта команда curl отправляет запрос на завершение чата на эндпоинт:

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
    "max_tokens": 120
  }'

Ответ JSON включает объект usage с prompt_tokens, completion_tokens и total_tokens. Умножьте их на цены выше, и вы получите точную стоимость вызова. То же самое на Python с SDK OpenAI:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
    max_tokens=120,
)

u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Новые пользователи могут получить $0,50 пробного баланса одним нажатием на странице ключа после входа. Для этого не нужна карта, он действует 7 дней, и по указанным выше ценам его хватает примерно на две тысячи коротких сообщений в чате. Если что-то возвращает ошибку, которую вы не узнаёте, в статье по устранению неполадок перечислены обычные причины.

Вопросы и ответы

Является ли инференс тем же, что запуск модели?

Да. Запуск обученной модели на новых данных для получения результата — это инференс. Обучение, которое настраивает веса, — это другой и более ранний этап.

Почему выходные токены дороже входных?

Входные токены обрабатываются вместе за один параллельный проход, тогда как выходные токены генерируются по одному. Провайдеры закладывают более высокую цену за более медленную последовательную часть, и этот сервис стоит $0,50 против $0,15 за 1 млн токенов.

Делает ли более длинное контекстное окно запросы медленнее?

Обычно да. Более длинный промпт означает больше работы на этапе префиллинга и больший размер KV-кэша, поэтому время до появления первого токена увеличивается. Вы платите только за токены, которые фактически отправляете и получаете, а не за неиспользованную часть 100 000-токенного контекстного окна.

Нужен ли мне GPU для использования API инференса?

Нет. Поставщик управляет аппаратным обеспечением. Вы отправляете HTTPS-запросы с любого устройства, включая ноутбук или небольшой сервер.

До вашего ключа — всего одна форма

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ