API инференса: Быстрый старт

Базовый URL и аутентификация

Наш API полностью совместим с OpenAI. Чтобы перейти, обновите конфигурацию клиента, указав наш базовый URL, и укажите ваш API-ключ. Базовый URL: https://api.llminferenceapi.com/v1. Аутентификация осуществляется с помощью стандартного заголовка Authorization: Bearer. Вы получаете ключ сразу после регистрации по электронной почте и паролю — для пробного периода не требуется номер телефона или кредитная карта.

• Базовый URL: https://api.llminferenceapi.com/v1
• Заголовок: Authorization: Bearer YOUR_API_KEY
• ID модели: uncensored

Эта настройка работает с любым официальным SDK OpenAI или совместимой библиотекой клиентов. Вы сохраняете существующую структуру кода; изменяются только эндпоинт и ключ.

Первый запрос

Выполните первый вызов эндпоинта chat completions. ID модели — uncensored. Эта модель — большая языковая модель с открытыми весами, настроенная на ответы без отказов в контенте для законного использования взрослыми, а не GPT или Claude.

Copycurl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Тело запроса включает стандартный массив messages. Вы можете указать temperature, max_tokens и другие стандартные параметры. API возвращает стандартный ответ chat completion со статистикой использования токенов. Если вы получите ошибку 401, ваш ключ недействителен. Ошибка 402 означает, что ваш предоплаченный баланс исчерпан.

Интеграция Python SDK

Использование Python SDK очень просто. Инициализируйте клиент, указав наш базовый URL и API-ключ. Структура кода соответствует стандартному шаблону OpenAI. Это позволяет заменить ваш сервис на наш llm proxy без переписывания логики приложения.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Убедитесь, что передаёте аргумент model='uncensored'. Объект ответа содержит сгенерированный текст и метрики использования. Этот подход идеален для разработчиков, которым нужна готовая замена совместимому с OpenAI API. Дополнительные зависимости не требуются, достаточно стандартного SDK.

Использование Node.js SDK

Для разработчиков Node.js интеграция столь же проста. Установите baseURL и apiKey в конфигурации клиента. SDK автоматически обрабатывает HTTP-запросы к нашим эндпоинтам ai chat api.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llminferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Вызовите chat.completions.create() с ID модели uncensored. Вы можете использовать потоковую передачу ответов или обрабатывать их как полные объекты. Эта гибкость поддерживает как пакетную обработку, так и взаимодействие с пользователями в реальном времени. API поддерживает вызов функций, позволяя определять функции, которые модель может вызывать.

Потоковая передача ответов

Для взаимодействия с пользователями в реальном времени включите потоковую передачу. Установите параметр stream в значение true в вашем запросе. API возвращает поток Server-Sent Events (SSE) с частичными ответами.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Каждый чанк содержит частичный дельта-ответ. Вы можете выводить эти токены пользователю по мере их поступления, что снижает воспринимаемую задержку. Это критично для интерфейсов чата, где ожидается немедленная обратная связь. Потоковый ответ включает ту же информацию об использовании токенов, что и непотоковые запросы.

Ограничения, ошибки и контекст

Наш API устанавливает контекстное окно на 100 000 токенов как для ввода, так и для вывода в совокупности. Это поддерживает длинные документы и сложные диалоги. Лимит запросов установлен на 300 запросов в минуту на ключ. Если вы превысите этот лимит, вы получите ошибку 429. Тело запроса ограничено 8 МБ.

Распространённые ошибки: 401 (неверный ключ), 402 (недостаточно средств) и 429 (лимит запросов). Предоплаченный баланс не сгорает, поэтому вы можете пополнить его в удобное время. Предоплаченный баланс начинается от $10, с бонусами за крупные пополнения. Эта модель API ИИ с оплатой по факту гарантирует, что вы платите только за то, что используете.