RU ▾
Получить API-ключ

LLM Inference APIГид

LLM Inference API: Потоковая передача, инструменты и JSON-режим

API для инференса LLM позволяет отправлять промпт по HTTPS и получать сгенерированный текст обратно без необходимости в GPU на вашей стороне. На этой странице показано рабочее подключение к конечной точке, совместимой с OpenAI: от первого запроса до потоковой передачи, инструментов, JSON-режима и ограничений частоты запросов.

Обновлено:

Изометрическая иллюстрация пакетов данных, передаваемых из терминала в облачный шлюз, представляющая вызов API вывода

Ключевые моменты

  1. Направьте любой SDK OpenAI на https://api.llminferenceapi.com/v1, используйте идентификатор модели uncensored и передайте ключ как токен Bearer.
  2. Доступны два эндпоинта: POST /v1/chat/completions и GET /v1/models.
  3. Потоковая передача, вызов инструментов и JSON-режим работают через стандартные поля запроса.
  4. Полный ключ позволяет выполнять 8 параллельных запросов и 300 запросов в минуту; ответ 429 сообщает вам, какой лимит вы достигли.

Что нужно перед первым вызовом

Вам нужны три вещи: базовый URL, ключ и имя модели. Базовый URL — https://api.llminferenceapi.com/v1, идентификатор модели — uncensored, а ключ берётся на странице API-ключей после регистрации через Google или по email и паролю. Новые пользователи могут получить $0,50 пробного баланса в один клик. Карта не нужна, срок — 7 дней, лимит — один на человека.

Сервис работает только с текстом. Доступны конечные точки POST /v1/chat/completions и GET /v1/models. Нет маршрута для эмбеддингов, генерации изображений или аудио и дообучения. Работает одна модель с открытыми весами от независимого провайдера, настроенная на ответы без отказов по контенту для законного использования взрослыми. Это не официальное API вендора какой-либо модели. Одно жесткое правило: контент, сексуализирующий несовершеннолетних, не разрешен.

Храните ключ в переменной окружения, а не в исходном коде. В приведенных ниже примерах он считывается из API_KEY, где это позволяет язык.

Ваш первый запрос

Начните с curl, так как он точно показывает, что передается по сети.

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "List three uses of a message queue."}
    ],
    "temperature": 0.7
  }'

Ответ — это стандартный объект завершения чата: choices[0].message.content содержит текст, а usage — подсчет токенов. Вы также можете получить список моделей через GET /v1/models, что является быстрым способом подтвердить правильность ключа и URL перед отладкой других проблем.

В Python с официальным SDK OpenAI меняется только конструктор:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)

И в Node:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llminferenceapi.com/v1",
  apiKey: process.env.API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);

Завершение может использовать всё, что осталось от окна на 100 000 токенов после вашего промпта, поэтому max_tokens необязателен. Укажите его, если нужен жесткий предел по стоимости или длине. Параметры сэмплирования, такие как temperature, top_p, stop, seed, а также штрафы за частоту и присутствие, передаются как есть.

Два параметра стоит знать с самого начала. seed делает сэмплирование воспроизводимым для тестирования, что помогает, когда вы сравниваете две версии промпта и хотите, чтобы разница была вызвана именно промптом, а не случайностью. stop принимает одну или несколько строк, которые завершают генерацию, как только модель их напишет, — дешёвый способ отрезать ответ по разделителю и не платить за токены, которые вы бы всё равно отбросили.

Потоковые ответы

При stream: true сервер отвечает через server-sent events и отправляет текст небольшими дельтами. Пользователи видят первые слова быстро, что важно в интерфейсах чата. Данные об использовании поступают в конце потока.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Два момента легко упустить. Во-первых, последний фрагмент может содержать использование и пустой список choices, поэтому проверяйте, что choices не пуст, прежде чем индексировать его. Во-вторых, потоковый запрос удерживает свой слот параллельности до конца потока. Если клиент открывает поток и никогда не читает его до конца, этот слот остается занятым, и ваши последующие запросы могут столкнуться с ошибкой concurrency. Всегда закрывайте или полностью потребляйте потоки.

Вызов функций

Вызов инструментов позволяет модели попросить ваш код выполнить функцию и использовать результат. Вы описываете функции в tools, опционально управляете выбором с помощью tool_choice, выполняете то, что запросила модель, и отправляете вывод обратно как сообщение с role: "tool".

import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its id.",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"order_id": args["order_id"], "status": "shipped"}
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(result),
        })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

Всегда парсите function.arguments защитным образом. Это JSON-строка, произведенная языковой моделью, и в редких случаях она может быть некорректной или содержать поле, которое вы не определяли. Проверьте её, прежде чем действовать на её основе, особенно если функция изменяет данные. Вызовы инструментов также работают с потоковой передачей, в этом случае tool_calls приходят фрагментами, которые нужно объединить по индексу перед парсингом.

Управление историей диалога

API не сохраняет состояние. Он не запоминает предыдущие запросы, поэтому многоходовой диалог работает только потому, что ваш код каждый раз отправляет предыдущие реплики заново. Ведите список сообщений, добавляйте новое сообщение пользователя, вызывайте эндпоинт, а затем добавляйте ответ ассистента перед следующей репликой.

history = [{"role": "system", "content": "You are a patient writing coach."}]

def chat(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=history)
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))

Поскольку каждый ход повторно отправляет историю, входные токены растут вместе с длиной чата. Окно вмещает 100 000 токенов, что более чем достаточно для большинства бесед, но стоимость растет значительно раньше, чем вы достигнете предела. Распространенный шаблон — сохранять системное сообщение и последние несколько ходов, и заменять старые ходы кратким резюме, которое сама модель пишет. Читайте usage.prompt_tokens после каждого вызова, чтобы видеть, насколько большой стала история.

JSON-режим

Когда вам нужен вывод, читаемый машиной, установите response_format в {"type": "json_object"} и скажите в промпте, что вы хотите JSON. Описание ключей, которые вы ожидаете, делает результат гораздо стабильнее.

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
        {"role": "user", "content": "Describe a short story about a lost robot."},
    ],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

JSON-режим делает вывод парсимым как JSON, но он не проверяет вашу схему. Проверяйте ключи в коде и предусмотрите запасной вариант на случай отсутствия значения. Если ответ обрезан из-за лимита токенов, JSON будет неполным, поэтому не устанавливайте max_tokens слишком низким для структурированного вывода.

Краткий чек-лист при сбоях

Большинство проблем первого дня вызваны несколькими причинами, и вы можете исключить их по порядку.

  1. Базовый URL. Он должен заканчиваться на /v1. SDK сам добавляет /chat/completions, поэтому URL с уже включенным путем не сработает.
  2. Заголовок ключа. Ключ передаётся в Authorization: Bearer, за которым следует сам ключ. Лишний пробел или перевод строки, скопированные вместе с ключом, — частая причина ошибок аутентификации.
  3. Идентификатор модели. Используйте ровно uncensored. Имена моделей других вендоров здесь не являются действительными.
  4. Размер запроса. Лимит тела составляет 8 МБ, и промпт плюс завершение должны помещаться в 100 000 токенов.
  5. Баланс. Посмотрите на заголовок X-Balance-USD в любом ответе, чтобы понять, является ли кредит проблемой.
  6. Цитируйте ID запроса. Если вы обратитесь в поддержку, включите значение X-Request-Id из неудачного ответа, чтобы запрос можно было найти.

Имейте в виду, что отказ — это не ошибка. Поскольку модель настроена на избегание отказов по контенту для законного использования взрослыми, вы увидите их меньше, чем на сервисах с фильтрами, но модель все еще может отказать или дать слабый ответ на расплывчатый промпт. Более четкое системное сообщение обычно решает эту проблему лучше, чем повышение температуры.

Лимиты, заголовки и повторные попытки

Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 параллельных запроса и 60 в минуту. Тело запроса может быть до 8 МБ. Каждый ответ содержит заголовки X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests и X-RateLimit-Limit-Concurrency, удобные для логирования и отображения баланса на экране администратора.

При превышении лимита API возвращает HTTP 429. Код ошибки rate_limited означает слишком много запросов в минуту, а concurrency — слишком много одновременно. При временной перегрузке вы также получаете 429 с заголовком Retry-After: 5. Простая обёртка для повторов покрывает все три случая:

import time
from openai import RateLimitError

def ask(messages, tries=4):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = 5 if attempt == 0 else 5 * (attempt + 1)
            retry_after = getattr(e.response, "headers", {}).get("retry-after")
            time.sleep(int(retry_after) if retry_after else wait)
    raise RuntimeError("still rate limited after retries")

Для пула воркеров ограничьте размер пула вашим лимитом параллельных запросов, а не полагайтесь на повторы. Восемь воркеров на полном ключе редко будут получать ошибку concurrency. Если вы всё же столкнётесь с неожиданными ошибками, статья по устранению неполадок разбирает распространённые причины.

Оплата

Биллинг — оплата по факту из предоплаченного баланса: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, без подписки. Неудачные или отклонённые запросы не оплачиваются, а кредит не сгорает. Запрос с 1 500 входными токенами и 400 выходными токенами стоит 1 500 / 1 000 000 x $0,15 + 400 / 1 000 000 x $0,50 = $0,000225 + $0,0002 = $0,000425.

Пополнения — любая целая сумма от $20 до $500, с бонусом 5% от $50, 10% от $100 и 15% от $200. Можно оплатить криптовалютой (USDT на TRC20, USDC на Base). Промпты не используются для обучения. На странице цен указаны детали, а быстрый старт повторяет шаги настройки в краткой форме.

Вопросы и ответы

Можно ли использовать официальную библиотеку OpenAI с этим API?

Да. Установите SDK OpenAI для Python или Node, укажите базовый URL как https://api.llminferenceapi.com/v1, передайте ключ и используйте идентификатор модели uncensored.

Поддерживает ли API вызов функций?

Да. Передайте инструменты и опционально tool_choice, затем возвращайте каждый результат как сообщение с role tool. Потоковая передача tool_calls также поддерживается.

Что означает ошибка 429?

Вы достигли лимита. Код rate_limited означает слишком много запросов в минуту, concurrency означает слишком много запросов одновременно, а заголовок Retry-After: 5 указывает на временную перегрузку. Подождите и повторите запрос.

Можно ли использовать его для эмбеддингов или изображений?

Нет. API работает только с текстом и предлагает завершения чата и список моделей.

Ваш ключ — в одной форме от вас

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и весь процесс настройки.

Получить API-ключ