API inferencyjne: Przewodnik szybkiego startu

Bazowy URL i uwierzytelnianie

Nasze API jest w pełni kompatybilne z OpenAI. Aby przełączyć się, zaktualizuj konfigurację klienta, aby wskazywała nasz bazowy URL i podaj swój klucz API. Bazowy URL to https://api.llminferenceapi.com/v1. Uwierzytelnianie obsługiwane jest przez standardowy nagłówek Authorization: Bearer. Otrzymujesz klucz natychmiast po zarejestrowaniu się podając tylko e-mail i hasło — nie jest potrzebny numer telefonu ani karta kredytowa do wersji próbnej.

• Bazowy URL: https://api.llminferenceapi.com/v1
• Nagłówek: Authorization: Bearer YOUR_API_KEY
• ID modelu: uncensored

Ta konfiguracja działa z dowolnym oficjalnym SDK OpenAI lub kompatybilną biblioteką klienta. Zachowujesz istniejącą strukturę kodu; zmienia się tylko endpoint i klucz.

Pierwsze zapytanie

Wykonaj pierwsze zapytanie do endpointu chat completions. ID modelu to uncensored. To model o otwartych wagach dużego modelu językowego, dostrojony do odpowiadania bez odmów treści dla prawnego użytku dorosłych, a nie GPT ani Claude.

Copycurl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Treść żądania zawiera standardową tablicę messages. Możesz określić temperaturę, maksymalną liczbę tokenów i inne standardowe parametry. API zwraca standardową odpowiedź chat completion ze statystykami użycia tokenów. Jeśli napotkasz błąd 401, Twój klucz jest nieprawidłowy. Błąd 402 oznacza, że Twój przedpłacony kredyt został wyczerpany.

Integracja z Python SDK

Korzystanie z Python SDK jest proste. Zainicjuj klienta podając nasz bazowy URL i swój klucz API. Struktura kodu odzwierciedla standardowy wzorzec OpenAI. Pozwala to wstawić naszą usługę proxy llm bez przepisywania logiki aplikacji.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Upewnij się, że przekazujesz argument model='uncensored'. Obiekt odpowiedzi zawiera wygenerowany tekst i metryki użycia. To podejście jest idealne dla programistów, którzy chcą gotowego rozwiązania api kompatybilnego z openai. Nie są wymagane dodatkowe zależności poza standardowym SDK.

Użycie Node.js SDK

Dla programistów Node.js integracja jest równie prosta. Ustaw baseURL i apiKey w konfiguracji klienta. SDK obsługuje żądania HTTP do naszych endpointów api czatu ai automatycznie.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llminferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Wywołaj chat.completions.create() z ID modelu uncensored. Możesz strumieniować odpowiedzi lub przetwarzać je jako kompletne obiekty. Ta elastyczność wspiera zarówno przetwarzanie wsadowe, jak i interakcje w czasie rzeczywistym. API obsługuje wywoływanie narzędzi, pozwalając zdefiniować funkcje, które model może wywołać.

Strumieniowanie odpowiedzi

Dla doświadczeń w czasie rzeczywistym włącz strumieniowanie. Ustaw parametr stream na true w swoim żądaniu. API zwraca strumień zdarzeń wysłanych przez serwer (SSE) z częściowymi odpowiedziami.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Każdy chunk zawiera częściowy deltę odpowiedzi. Możesz renderować te tokeny użytkownikowi w miarę ich przybywania, co zmniejsza postrzegane opóźnienie. Jest to kluczowe dla interfejsów czatu, gdzie oczekiwana jest natychmiastowa informacja zwrotna. Odpowiedź strumieniowana zawiera te same informacje o użyciu tokenów co zapytania niestrumieniowe.

Limity, błędy i kontekst

Nasze API narzuca okno kontekstu 100 000 tokenów dla sumy wejścia i wyjścia. Wspiera to długie dokumenty i złożone rozmowy. Limit zapytań wynosi 300 zapytań na minutę na klucz. Jeśli go przekroczysz, otrzymasz błąd 429. Treść żądania jest ograniczona do 8 MB.

Typowe błędy to 401 (nieprawidłowy klucz), 402 (niewystarczający kredyt) i 429 (limit zapytań). Kredyty nigdy nie wygasają, więc możesz je doładować, gdy chcesz. Kredyty przedpłacone zaczynają się od $10, z bonusami za większe wpłaty. Ten model ai api z płatnością za użycie zapewnia, że płacisz tylko za to, czego używasz.