LLM Inference APIPrzewodnik
LLM Inference API: strumieniowanie, narzędzia i tryb JSON
API wnioskowania LLM pozwala wysyłać prompt przez HTTPS i otrzymywać wygenerowany tekst bez GPU po Twojej stronie. Ta strona pokazuje działającą konfigurację dla endpointu kompatybilnego z OpenAI, od pierwszego zapytania po strumieniowanie, narzędzia, tryb JSON i limity.
Aktualizacja:

Kluczowe punkty
- Ustaw dowolne SDK OpenAI na https://api.llminferenceapi.com/v1, użyj ID modelu uncensored i przekaż swój klucz jako token Bearer.
- Dostępne są dwa endpointy: POST /v1/chat/completions i GET /v1/models.
- Strumieniowanie, wywoływanie narzędzi i tryb JSON działają przez standardowe pola zapytania.
- Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę; odpowiedź 429 informuje, jaki limit przekroczyłeś.
Czego potrzebujesz przed pierwszym wywołaniem
Potrzebujesz trzech rzeczy: Base URL, klucza i nazwy modelu. Base URL to https://api.llminferenceapi.com/v1, ID modelu to uncensored, a klucz pochodzi ze strony klucza API po rejestracji przez Google lub e-mail i hasło. Nowi użytkownicy mogą jednorazowo odebrać $0.50 kredytu próbnego jednym kliknięciem. Nie wymaga karty, trwa 7 dni i jest limitowany do jednej osoby.
Usługa obsługuje tylko tekst. Udostępnia POST /v1/chat/completions i GET /v1/models. Brak trasy embeddings, generowania obrazów lub audio oraz fine-tuningu. Działa na jednym modelu o otwartych wagach, obsługiwanym przez niezależnego dostawcę i dostrojonym do odpowiadania bez odmów treści dla prawnego użytku dorosłych. Nie jest oficjalnym API żadnego dostawcy modeli. Jedna ścisła zasada: treści seksualizujące nieletnich są niedozwolone.
Przechowuj klucz w zmiennej środowiskowej, a nie w kodzie źródłowym. Poniższe przykłady odczytują go z API_KEY, gdzie język na to pozwala.
Twoje pierwsze zapytanie
Zacznij od curl, ponieważ pokazuje dokładnie, co idzie przez sieć.
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "List three uses of a message queue."}
],
"temperature": 0.7
}'
Odpowiedź to zwykły obiekt uzupełnienia czatu: choices[0].message.content zawiera tekst, a usage zawiera liczbę tokenów. Możesz też wylistować modele przez GET /v1/models, co jest szybkim sposobem na potwierdzenie, że klucz i URL są poprawne przed debugowaniem czegokolwiek innego.
W Pythonie z oficjalnym SDK OpenAI zmienia się tylko konstruktor:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)
A w Node:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llminferenceapi.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);
Uzupełnienie może użyć tego, co zostało z okna 100 000 tokenów po Twoim promptcie, więc max_tokens jest opcjonalne. Ustaw je jednak, gdy chcesz mieć sztywny limit kosztów lub długości. Kontrola próbkowania, taka jak temperature, top_p, stop, seed oraz kary częstotliwości i obecności, jest przekazywana dalej.
Dwie ustawienia warto znać od początku. seed sprawia, że próbkowanie jest powtarzalne, co pomaga, gdy porównujesz dwie wersje promptu i chcesz, aby różnica wynikała z promptu, a nie z przypadku. stop przyjmuje jeden lub więcej ciągów znaków, które kończą generowanie, gdy model je wypisze — to tani sposób na odcięcie odpowiedzi po znaku rozdzielającym i uniknięcie płacenia za tokeny, które i tak odrzucisz.
Odpowiedzi strumieniowe
Przy stream: true serwer odpowiada zdarzeniami wysyłanymi przez serwer i wysyła tekst małymi fragmentami. Użytkownicy widzą pierwsze słowa szybko, co ma znaczenie w interfejsach czatu. Dane dotyczące zużycia przychodzą na końcu strumienia.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
Dwa punkty są łatwe do przeoczenia. Po pierwsze, ostatni fragment może zawierać zużycie i pustą listę choices, więc sprawdź, czy choices nie jest puste przed odwołaniem się do niej. Po drugie, zapytanie strumieniowe zajmuje slot równoległości do końca strumienia. Jeśli klient otworzy strumień i nigdy go nie odczyta do końca, slot ten pozostaje zajęty i Twoje późniejsze zapytania mogą napotkać błąd concurrency. Zawsze zamykaj lub w pełni konsumuj strumienie.
Wywoływanie narzędzi
Wywoływanie narzędzi pozwala modelowi poprosić Twój kod o uruchomienie funkcji i użycie wyniku. Opisujesz funkcje w tools, opcjonalnie kierujesz wybór za pomocą tool_choice, wykonujesz wszystko, o co prosi model, i wysyłasz wynik z powrotem jako wiadomość z role: "tool".
import json
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its id.",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
Zawsze parsuj function.arguments z zachowaniem ostrożności. To ciąg JSON wygenerowany przez model językowy, który w rzadkich przypadkach może być niepoprawny lub zawierać pole, którego nie zdefiniowałeś. Zweryfikuj go przed wykonaniem akcji, szczególnie gdy funkcja zmienia dane. Wywołania narzędzi działają również ze strumieniowaniem, w którym tool_calls przychodzą jako fragmenty, które musisz połączyć według indeksu przed parsowaniem.
Zarządzanie historią rozmowy
API jest bezstanowe. Nie pamięta wcześniejszych zapytań, więc wieloetapowy czat działa tylko dlatego, że Twój kod wysyła poprzednie tury ponownie za każdym razem. Przechowuj listę wiadomości, dodaj nową wiadomość użytkownika, wywołaj endpoint, a następnie dodaj odpowiedź asystenta przed kolejnym obrotem.
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=history)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))
Ponieważ każdy obrót ponownie wysyła historię, tokeny wejściowe rosną wraz z długością czatu. Okno kontekstu mieści 100 000 tokenów, co jest wystarczające dla większości rozmów, ale koszt rośnie znacznie wcześniej niż osiągniesz limit. Popularnym wzorcem jest utrzymanie wiadomości systemowej i ostatnich kilku obrotów oraz zastąpienie starszych obrotów krótkim podsumowaniem, które sam model pisze. Przeczytaj usage.prompt_tokens po każdym wywołaniu, aby zobaczyć, jak duża stała się historia.
Tryb JSON
Gdy potrzebujesz wyjścia czytelnego dla maszyny, ustaw response_format na {"type": "json_object"} i napisz w promptcie, że chcesz JSON. Opisanie oczekiwanych kluczy sprawia, że wynik jest znacznie stabilniejszy.
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
{"role": "user", "content": "Describe a short story about a lost robot."},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
Tryb JSON sprawia, że wynik jest parsowalny jako JSON, ale nie wymusza Twojego schematu. Sprawdź klucze w kodzie i zachuj zapasowy mechanizm na wypadek braku wartości. Jeśli odpowiedź zostanie ucięta, ponieważ osiągnęła limit tokenów, JSON będzie niekompletny, więc nie ustawiaj max_tokens zbyt nisko dla wyjścia strukturalnego.
Krótka lista kontrolna przy niepowodzeniach
Większość problemów pierwszego dnia wynika z garstki przyczyn, które możesz wykluczyć w kolejności.
- Base URL. Musi kończyć się na
/v1. SDK dopisuje/chat/completionssamo, więc URL z już dołączoną ścieżką nie zadziała. - Nagłówek klucza. Klucz idzie w
Authorization: Bearerza którym następuje klucz. Przypadkowa spacja lub znak nowej linii skopiowany z kluczem to częsta przyczyna błędów uwierzytelniania. - ID modelu. Użyj dokładnie
uncensored. Nazwy modeli innych dostawców nie są tutaj poprawne. - Rozmiar zapytania. Limit ciała to 8 MB, a prompt plus completion muszą zmieścić się w 100 000 tokenów.
- Saldo. Spójrz na nagłówek
X-Balance-USDw dowolnej odpowiedzi, aby zobaczyć, czy problemem jest kredyt. - Podaj ID zapytania. Jeśli skontaktujesz się z wsparciem, dołącz wartość
X-Request-Idz nieudanej odpowiedzi, aby zapytanie można było znaleźć.
Pamiętaj, że odrzucenie nie jest tym samym co błąd. Ponieważ model jest dostrojony do unikania odrzuceń treści dla prawidłowego użytku przez dorosłych, zobaczysz ich mniej niż w usługach filtrowanych, ale model nadal może odmówić lub dać słabą odpowiedź na niejasny prompt. Jaśniejsza wiadomość systemowa zwykle to naprawia lepiej niż wyższa temperatura.
Limity, nagłówki i ponawianie
Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 równoległe zapytania i 60 na minutę. Ciało zapytania może mieć do 8 MB. Każda odpowiedź zawiera X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency, co jest przydatne przy logowaniu i pokazywaniu salda na ekranie administracyjnym.
Gdy przekroczysz limit, API zwraca HTTP 429. Kod błędu rate_limited oznacza zbyt wiele zapytań na minutę, a concurrency oznacza zbyt wiele naraz. Przy tymczasowym przeciążeniu otrzymujesz również 429 z nagłówkiem Retry-After: 5. Prosty opakowywacz ponownych prób obejmuje wszystkie trzy przypadki:
import time
from openai import RateLimitError
def ask(messages, tries=4):
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = 5 if attempt == 0 else 5 * (attempt + 1)
retry_after = getattr(e.response, "headers", {}).get("retry-after")
time.sleep(int(retry_after) if retry_after else wait)
raise RuntimeError("still rate limited after retries")
W przypadku puli pracowników ogranicz rozmiar puli do limitu równoległości zamiast polegać na ponownych próbach. Osiem pracowników przy pełnym kluczu rzadko napotka błąd concurrency. Jeśli napotkasz nieoczekiwane błędy, artykuł rozwiązywania problemów omawia powszechne przyczyny.
Płacenie za nie
Rozliczenie jest rozliczane za zużycie z przedpłaconego kredytu: $0.15 za 1M tokenów wejściowych i $0.50 za 1M tokenów wyjściowych, bez subskrypcji. Nieudane lub odrzucone żądania nie są rozliczane, a kredyt nigdy nie wygasa. Żądanie z 1 500 tokenami wejściowymi i 400 tokenami wyjściowymi kosztuje 1 500 / 1 000 000 x $0.15 + 400 / 1 000 000 x $0.50 = $0.000225 + $0.0002 = $0.000425.
Doładowania to dowolna kwota całkowita od $20 do $500, z bonusem 5% od $50, 10% od $100 i 15% od $200. Możesz zapłacić kryptowalutami (USDT w TRC20, USDC na Base). Prompty nie są używane do trenowania. strona z cenami zawiera szczegóły, a szybki start powtarza kroki konfiguracji w krótkiej formie.
Więcej przewodników
Pytania i odpowiedzi
Czy mogę użyć oficjalnej biblioteki OpenAI z tym API?
Tak. Zainstaluj SDK OpenAI dla Python lub Node, ustaw Base URL na https://api.llminferenceapi.com/v1, przekaż swój klucz i użyj ID modelu uncensored.
Czy API obsługuje wywoływanie funkcji?
Tak. Przekaż narzędzia i opcjonalnie tool_choice, a następnie zwróć każdy wynik jako wiadomość z rolą tool. Strumieniowane tool_calls są również obsługiwane.
Co oznacza błąd 429?
Napotkałeś limit. Kod rate_limited oznacza zbyt wiele zapytań na minutę, concurrency oznacza zbyt wiele zapytań jednocześnie, a nagłówek Retry-After: 5 oznacza tymczasowe przeciążenie. Poczekaj i ponów próbę.
Czy mogę użyć go do wektorów lub obrazów?
Nie. API obsługuje tylko tekst i oferuje uzupełnienia czatu oraz listę modeli.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień adres URL. To cała konfiguracja.
Pobierz klucz API