RU ▾
Получить API-ключ

LLM Inference APIГид

Самый дешёвый LLM Inference API: как оценить реальную стоимость

Цена за токен — это только часть истории. Вот как сравнивать API вывода по цифрам, которые определяют ваш счет, с нашими тарифами в качестве примера.

Обновлено:

Весы, на которых взвешивают кубики токенов против монет для сравнения стоимости API
Изометрическая иллюстрация пакетов данных, передаваемых из терминала в облачный шлюз, представляющая вызов API вывода

Ключевые моменты

  1. Направьте любой SDK OpenAI на https://api.llminferenceapi.com/v1, используйте идентификатор модели uncensored и передайте свой ключ в виде Bearer-токена.
  2. Доступны два эндпоинта: POST /v1/chat/completions и GET /v1/models.
  3. Потоковая передача, вызов функций и JSON-режим работают через стандартные поля запроса.
  4. Полный ключ позволяет 8 одновременных запросов и 300 в минуту; ответ 429 сообщает, какой лимит вы исчерпали.

Цена за миллион токенов — это только начало

Самый дешёвый API для LLM-инференса — это тот, у которого наименьшая стоимость для вашей нагрузки, что не всегда соответствует самой низкой цифре на странице с ценами. Два провайдера могут указывать одинаковую базовую цену, но в счёте разница будет огромной, если учесть выходные токены, длинные промпты, неудачные вызовы и минимальные пополнения.

Проведите четырехэтапную проверку перед выбором: цена входа, цена выхода, поведение модели с длинным контекстом и предоплата. В этой статье мы разберем каждый пункт, покажем наши цены как пример и оставим цифры других провайдеров на ваше усмотрение. Проверьте их текущие тарифы и подставьте цифры в те же формулы.

Входные против выходных токенов

Почти все LLM API тарифицируют входные и выходные токены отдельно, и выходные обычно дороже. Наши тарифы: $0,15 за 1M входных токенов и $0,50 за 1M выходных. Это делает выходные токены примерно в три раза дороже входных, поэтому соотношение вашего трафика влияет на итоговую стоимость.

Вот как меняется средняя цена в зависимости от соотношения входных и выходных токенов:

Соотношение входных : выходных токеновСтоимость за 1M общих токеновСредняя за 1M
1 : 10,5M x $0,15 + 0,5M x $0,50 = $0,325$0.325
3 : 10,75M x $0,15 + 0,25M x $0,50 = $0,2375$0.2375
10 : 1около 0,909M x $0,15 + 0,091M x $0,50 = $0,1818около $0,18
1 : 30,25M x $0,15 + 0,75M x $0,50 = $0,4125$0,4125

Суммаризатор много читает и мало пишет, поэтому он находится ближе к строке 10 : 1. Генератор историй много пишет по короткому промпту и находится ближе к строке 1 : 3. При сравнении двух провайдеров рассчитайте обе строки для вашего соотношения. Провайдер, который дешевле на вход, может проиграть на нагрузке, ориентированной на генерацию.

Длина контекста влияет на стоимость

Чат-приложения отправляют всю историю заново при каждом запросе. Если чат вырастает до 20 запросов, 20-й запрос содержит все 19 предыдущих сообщений в качестве входных данных. Стоимость разговора поэтому растёт быстрее, чем его длина.

Пример расчёта. Каждый ход добавляет 300 токенов пользовательского текста и 300 токенов ответа, а системный промпт занимает 500 токенов. Входные данные на шаге n: 500 + (n - 1) x 600 + 300 токенов. За 20 ходов это 20 x 800 + 600 x 190 = 130 000 входных токенов и 20 x 300 = 6 000 выходных токенов. Входные данные стоят 130 000 x $0,15 / 1M = $0,0195, выходные — 6 000 x $0,50 / 1M = $0,003. Итого за 20 ходов разговора: $0,0225.

Точная цифра менее важна, чем форма распределения: в длинных чатах доминируют входные данные. Провайдер с дешёвой ценой на входные данные поможет вам больше, чем тот, у которого дёшево только на выходные данные. Удаление старых ходов или их суммаризация снижает основные расходы. Наш контекст на 100 000 токенов (промпт плюс завершение) позволяет обрабатывать очень длинные документы, но они каждый раз стоят входных токенов.

Скрытые расходы, которые стоит проверить

  • Минимальное пополнение. У нас — $20, любой целой суммой до $500. У провайдера с низкой ценой за токен, но высоким минимальным порогом, для небольшого проекта расходы могут оказаться выше.
  • Срок действия. Истекающий кредит может быть потрачен впустую. Наш кредит не сгорает.
  • Подписки. Ежемесячная плата превращает сервис с оплатой за токены в фиксированные расходы. У нас оплата по факту.
  • Сборы за сбои. Отказанные или неудачные запросы здесь не тарифицируются. Проверьте это у любого провайдера, которого вы сравниваете.
  • Лимиты запросов. Дешёвая цена при низком лимите запросов заставляет вас покупать второй аккаунт или замедлять конвейер. Полный ключ здесь позволяет 8 параллельных запросов и 300 в минуту.
  • Комиссии и бонусы. Мы добавляем +5% кредита от $50, +10% от $100 и +15% от $200, поэтому пополнение на $200 даёт $230.

Наши тарифы с примерами расчетов

Все приведённые ниже цифры используют тарифы $0,15 за 1M входных и $0,50 за 1M выходных токенов.

НагрузкаТокеныСтоимость
Один чат-запрос: 2 000 входных, 500 выходных2 500$0,0003 + $0,00025 = $0,00055
1 000 таких шагов2,5M$0,55
Суммаризация 10 000 статей: 3 000 входных, 200 выходных на каждую32M$4,50 + $1,00 = $5,50
Генерация 5 000 историй: 300 входных, 1 500 выходных на каждую9M$0,225 + $3,75 = $3,975

Проверьте строку суммаризатора: 10 000 x 3 000 = 30M входных токенов, и 30 x $0,15 = $4,50. 10 000 x 200 = 2M выходных токенов, и 2 x $0,50 = $1,00. Итого $5,50. Для строки историй: 5 000 x 300 = 1,5M входных, что составляет $0,225, и 5 000 x 1 500 = 7,5M выходных, что составляет $3,75. Итого $3,975.

На странице с ценами указаны тарифы и бонусы, оплатить можно криптовалютой (USDT в сети TRC20, USDC в сети Base).

Измерьте реальную стоимость с помощью скрипта

Не доверяйте оценкам долго. Запустите 50 репрезентативных промптов и позвольте API отчитаться о токенах. Приведенный ниже код выводит оценку стоимости из поля usage.

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50   # dollars per 1M tokens

def cost(u):
    return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000

total = 0.0
for p in open("prompts.txt"):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": p.strip()}],
    )
    total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))

Умножьте среднее значение на ожидаемое количество запросов в месяц. Сделайте то же самое с каждым рассматриваемым провайдером и сохраняйте качество в уравнении, прочитав выборку ответов. Более дешевая модель, которой для одной задачи требуется две попытки, не является более дешевой.

Пятишаговое сравнение, которое можно завершить за час

  1. Запишите ожидаемое количество входных и выходных токенов на запрос, взяв выборку из реальных промптов.
  2. Умножьте на цену входа и выхода каждого провайдера, на запрос и в месяц.
  3. Добавьте фиксированные расходы: минимальное пополнение, подписку и любой кредит, который сгорит до того, как вы его используете.
  4. Запустите те же 20 промптов на каждой модели и оцените ответы, чтобы сравнивать стоимость хорошего ответа, а не стоимость токена.
  5. Проверьте лимиты относительно пиковой нагрузки. Если вам нужно больше 8 запросов одновременно, уточните, можно ли использовать очередь.

Результат — таблица, где каждая строка соответствует провайдеру, а столбец показывает ежемесячные метрики для вашей нагрузки. Эта таблица — реальный ответ на вопрос в заголовке, и она остаётся актуальной, пока провайдер не изменит цены, поэтому проверяйте её каждые несколько месяцев. Сравнение фреймворков поможет, если вы также запускаете модели на собственном оборудовании, а на странице распространённых ошибок чат API перечислены ошибки, которые незаметно увеличивают счета, например повторная отправка одной и той же истории дважды.

Что не может сделать дешёвый вариант

Какого бы провайдера вы ни выбрали, вы можете сократить расходы четырьмя способами. Ограничьте max_tokens там, где достаточно короткого ответа, так как вывод — более дорогая часть. Уменьшите системный промпт и уберите реплики, которые больше не нужны модели. Направляйте простые задачи, такие как классификация, на короткие промпты со строгими форматами вывода. И логируйте токены по функциям, чтобы замечать, когда один шаблон промпта незаметно удваивается в размере после редактирования. Эти привычки экономят больше, чем смена провайдера ради нескольких центов.

Этот сервис работает только с текстом. У него нет эмбеддингов, генерации изображений или аудио и нет тонкой настройки, поэтому если вам нужны эти возможности, вам придётся платить другому провайдеру. Он запускает одну модель с открытыми весами от независимого провайдера, настроенную на ответы без отказов по содержанию для законного использования взрослыми, и это не официальный API какого-либо вендора моделей. Сексуальный контент с участием несовершеннолетних всегда запрещён.

Является ли он самым дешёвым для вас, зависит от того, достаточно ли хорошо эта единственная модель справляется с вашей задачей. Протестируйте её бесплатно: новые пользователи могут получить $0,50 пробного баланса одним нажатием на странице API-ключа, без привязки карты. Затем прочтите документацию. Если вы новичок в основах, что такое инференс LLM охватывает термины, использованные выше.

Вопросы и ответы

Сколько стоит одно сообщение в чате?

Ход с 2 000 входными и 500 выходными токенами стоит $0,00055, поэтому 1 000 ходов стоят $0,55.

Есть ли ежемесячная плата?

Нет. Оплата по факту использования из предоплаченного кредита, и кредит никогда не истекает.

Считаются ли неудачные запросы?

Нет. За неудачные или отклонённые запросы плата не взимается.

Всегда ли самая низкая цена — лучшее предложение?

Нет. Доля вывода, длина контекста, минимальная сумма пополнения и качество ответа всё влияют на реальную стоимость.

Ваш ключ — в одной форме от вас

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.

Получить API-ключ