RU ▾
Получить API-ключ

LLM Inference APIГид

Стоимость LLM API в месяц: четыре реалистичных сценария

Четыре ежемесячных счёта с пошаговым расчётом по $0,15 за 1 млн входных и $0,50 за 1 млн выходных токенов, плюс скрипт для оценки стоимости вашего собственного трафика.

Обновлено:

Четыре растущих стеклянных столбца, заполненных светящимися кубиками, по одному на каждый сценарий стоимости
Изометрическая иллюстрация пакетов данных, передаваемых из терминала в облачный шлюз, представляющая вызов API вывода

Ключевые моменты

  1. Направьте любой SDK OpenAI на https://api.llminferenceapi.com/v1, используйте идентификатор модели uncensored и передайте ключ как Bearer-токен.
  2. Доступны два эндпоинта: POST /v1/chat/completions и GET /v1/models.
  3. Потоковая передача, вызов функций и JSON-режим работают через стандартные поля запроса.
  4. Полный ключ позволяет 8 параллельных запросов и 300 в минуту; ответ 429 указывает, какой лимит вы исчерпали.

Четыре сценария вкратце

Если вы пытаетесь рассчитать стоимость llm api в месяц, одна средняя величина не поможет, так как счета зависят от количества отправленных запросов и их длины. Ниже приведены четыре реалистичные конфигурации с ценой $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов. В каждой указаны допущения, чтобы вы могли подставить свои данные.

СценарийЗапросов в месяцТокенов в запросе (вход / выход)Ежемесячная стоимость
Хобби-чат-бот6001 500 / 300$0,225
Сообщество Discord9 0003 000 / 400$5,85
Приложение с 1 000 пользователями40 0002 500 / 500$25,00
Пакетный конвейер200 0001 200 / 250$61,00

В остальной части статьи показаны расчёты и факторы, влияющие на каждую цифру.

Сценарий 1: хобби-бот

Вы запускаете личный бот, который отвечает примерно на 20 сообщений в день, то есть 600 в месяц. Каждое сообщение содержит короткий системный промпт и историю, около 1 500 входных токенов, а ответ в среднем составляет 300 токенов.

  • Вход: 600 x 1 500 = 0,9 млн токенов, что стоит 0,9 x $0,15 = $0,135.
  • Выход: 600 x 300 = 0,18 млн токенов, что стоит 0,18 x $0,50 = $0,09.
  • Итого: $0,225 в месяц.

Это случай, когда минимального пополнения на $20 хватает с огромным запасом. При таком расходе его хватит более чем на семь лет использования. Кредит никогда не истекает, поэтому хобби-проект может работать на одном пополнении без отсчёта времени.

Сценарий 2: бот сообщества Discord

Бот в активном сервере обрабатывает 300 запросов в день, или 9 000 в месяц. Он считывает контекст недавних сообщений в канале, поэтому каждый вызов содержит около 3 000 входных токенов, а ответ занимает около 400 токенов.

  • Вход: 9 000 x 3 000 = 27 млн токенов, то есть 27 x $0,15 = $4,05.
  • Выход: 9 000 x 400 = 3,6 млн токенов, то есть 3,6 x $0,50 = $1,80.
  • Итого: $5,85 в месяц.

Следите за входными данными. Удвоение контекста, который вы подставляете в каждый вызов, удваивает большую часть счёта, тогда как длина ответа почти не имеет значения. Многие боты экономят, отправляя последние шесть сообщений вместо последних двадцати. Также проверьте лимиты запросов: полный ключ позволяет 8 запросов одновременно и 300 в минуту, что значительно превышает эту нагрузку, но загруженный сервер всё ещё может создавать пики, когда поток сообщений резко набирает обороты. Очередь запросов в боте поможет уложиться в лимиты.

Сценарий 3: приложение с 1 000 пользователями

Допустим, каждый из 1 000 ежемесячных пользователей отправляет 40 запросов, что составляет 40 000 запросов. Запрос содержит 2 500 входных токенов (системный промпт плюс история) и возвращает 500 токенов.

  • Вход: 40 000 x 2 500 = 100 млн токенов, то есть 100 x $0,15 = $15,00.
  • Выход: 40 000 x 500 = 20 млн токенов, то есть 20 x $0,50 = $10,00.
  • Итого: $25,00 в месяц, или 2,5 цента на пользователя.

Здесь выходная часть составляет 40% счёта, хотя это лишь шестая часть токенов, так как она стоит более чем в три раза дороже за токен. Короткие ответы окупаются. Если бы вы запросили ответы по 250 токенов вместо 500, стоимость выхода упала бы до $5,00, а общая сумма — до $20,00. Пополнение на $20 хватило бы на месяц работы приложения, а пополнение на $100, которое даёт бонус +10% и обеспечивает $110 кредита, покрыло бы расходы примерно на пять месяцев.

Сценарий 4: пакетная обработка

Пакетные задачи масштабируются по количеству документов. Предположим, вы размечаете или переписываете 200 000 элементов в месяц, каждый из которых содержит 1 200 входных токенов и результат из 250 токенов.

  • Вход: 200 000 x 1 200 = 240 млн токенов, то есть 240 x $0,15 = $36,00.
  • Выход: 200 000 x 250 = 50 млн токенов, то есть 50 x $0,50 = $25,00.
  • Итого: $61,00 в месяц.

Для пакетной работы важен показатель пропускной способности, а не цена. При 8 одновременных запросах время выполнения задачи равно количеству запросов, делённому на 8, умноженному на среднюю длительность запроса. Выполните расчёты для своей задержки перед планированием графика и держите пул воркеров на уровне 8 или меньше, чтобы не получить ошибку concurrency. Неудавшиеся запросы не оплачиваются, поэтому повторная отправка не добавляет расходов.

Оцените свой месяц

Формула короткая: ежемесячная стоимость = запросы x (входные токены x $0,15 + выходные токены x $0,50) / 1 000 000. Этот скрипт выполняет расчёт и также считывает реальные количества токенов, если сначала выполните пробный прогон.

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

def monthly(requests, tokens_in, tokens_out):
    return requests * (tokens_in * 0.15 + tokens_out * 0.50) / 1_000_000

print(monthly(40_000, 2_500, 500))   # 25.0

# sample 20 real prompts, then use the measured averages
ins, outs = [], []
for p in open("prompts.txt").read().splitlines()[:20]:
    r = client.chat.completions.create(
        model="uncensored", messages=[{"role": "user", "content": p}])
    ins.append(r.usage.prompt_tokens)
    outs.append(r.usage.completion_tokens)
print(monthly(10_000, sum(ins) / len(ins), sum(outs) / len(outs)))

Пробный прогон стоит долю цента. Новые пользователи могут получить $0,50 пробного кредита на странице API-ключа, чтобы запустить его бесплатно, а на странице тарифов указаны ставки и бонусы за пополнение.

Что сильнее всего влияет на счёт

Во всех четырёх сценариях на общую сумму влияют одни и те же факторы:

  1. Размер контекста. История и вставленные документы увеличивают стоимость входных токенов. Уменьшайте их.
  2. Длина вывода. Выходные данные стоят $0,50 за 1 млн токенов, поэтому запрашивайте нужную длину и устанавливайте max_tokens, где это уместно.
  3. Повторные попытки и зацикливание. Ошибка, повторяющая вызовы, может умножить стоимость месяца за час. Ограничьте количество повторных попыток.
  4. Рост трафика. Стоимость растёт линейно с количеством запросов. Увеличение числа пользователей вдвое удваивает счёт.

Планирование бюджета

Выберите сценарий, ближайший к вашему проекту, и умножьте на коэффициент запаса два для первого месяца, так как реальный трафик редко бывает таким равномерным, как в таблице. Затем установите уведомление о низком балансе. Каждый ответ содержит заголовок X-Balance-USD, поэтому ваше приложение может отправить вам электронную почту, когда кредит упадёт ниже выбранного числа, и вы сможете пополнить баланс, прежде чем что-то остановится. Если ваш трафик вырастет в десять раз, счёт вырастет в десять раз: бот Discord при нагрузке 10x будет стоить $58,50, а приложение с 10 000 пользователей — $250,00. Ничего не меняется скачками, поэтому нет ценовых уровней, которые можно перерасти.

Финансирование

Вы платите из предоплаченного баланса без подписки, поэтому тихий месяц обходится почти в ноль. Пополнения варьируются от $20 до $500, криптовалютой (USDT на TRC20, USDC на Base), с бонусом +5% от $50, +10% от $100 и +15% от $200.

Ограничения этих оценок

Два фактора, которые сценарии упускают. Во-первых, они предполагают равномерное использование, тогда как реальные продукты имеют пики, такие как день запуска или вирусная ветка, и один пиковый день может использовать недельный бюджет. Во-вторых, они предполагают, что промпты остаются неизменными. Изменения продукта часто увеличивают системный промпт, и добавление 500 токенов к вызову, который выполняется 40 000 раз в месяц, добавляет 20 млн входных токенов, или $3,00. Пересчитывайте после каждого изменения промпта.

Это расчёты, а не обещания относительно вашего использования. Реальные промпты варьируются, и ваши количества токенов зависят от языка и контента, который вы отправляете. Это API только для текста, поэтому расходы на эмбеддинги, изображения или аудио выходят за рамки этих цифр. Сервис использует одну модель с открытыми весами от независимого провайдера, настроенную на ответы без отказов по контенту для законного использования совершеннолетними.

Определения используемых терминов см. в разделе что такое инференс LLM. Ошибки, которые незаметно увеличивают счета, перечислены в разделе распространённые ошибки API для AI-чатов. Документация описывает формат запроса.

Вопросы и ответы

Сколько стоит небольшой бот в месяц?

Бот, обрабатывающий 600 сообщений в месяц с 1500 входными и 300 выходными токенами, стоит $0,225.

Есть ли ежемесячная плата сверх стоимости токенов?

Нет. Вы платите за каждый токен из предоплаченного баланса, а баланс не сгорает.

Какова минимальная сумма пополнения?

$20, любой целой суммой до $500. Бонусы 5%, 10% и 15% начинают действовать при сумме от $50, $100 и $200 соответственно.

Платят ли за неудачные запросы?

Нет. За неудачные или отклонённые запросы плата не взимается.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.

Получить API-ключ