LLM Inference APIAnleitung
Was ist LLM-Inferenz? Token, Latenz und Kosten
Wenn du fragst, was LLM-Inferenz ist, lautet die kurze Antwort: Es ist der Schritt, in dem ein trainiertes Sprachmodell deinen Prompt liest und eine Antwort schreibt, ein Token nach dem anderen. Diese Seite erklärt, wie das funktioniert und was es kostet.
Aktualisiert:

Wichtige Punkte
- Inferenz ist das Ausführen eines fertigen Modells zur Erzeugung von Ausgaben; Training ist der frühere, deutlich teurere Schritt, der das Modell erstellt hat.
- Eine Anfrage hat zwei Phasen: Lesen des Prompts (Prefill) und Schreiben der Antwort Token für Token (Decodierung).
- Kosten und Geschwindigkeit folgen den Token-Anzahlen, daher sind Eingabelänge, Ausgabelänge und Kontextfenster wichtiger als alles andere.
- Mit einer gehosteten API zahlst du pro Token und verzichtest auf GPUs; mit eigener Hardware zahlst du für die Maschine, ob sie beschäftigt ist oder nicht.
Inferenz in einem Absatz
Ein Large Language Model ist eine Datei voller Zahlen, genannt Gewichte. Training ist der Prozess, der diese Zahlen durch das Zeigen enormer Textmengen festlegt. Inferenz ist alles, was danach passiert, wenn du die fertigen Gewichte nutzt, um eine Antwort zu erhalten. Jede Chat-Nachricht, die du an ein Modell sendest, jeder Autocomplete-Vorschlag und jeder API-Aufruf, der Text zurückgibt, ist eine Inferenz-Anfrage.
Die Unterscheidung ist wichtig, weil die beiden Aufgaben unterschiedliche Wirtschaftlichkeit haben. Training passiert einmal (oder ein paar Mal) und benötigt einen großen Cluster. Inferenz passiert jedes Mal, wenn jemand einen Prompt sendet, also ist es der Teil, der mit deinen Nutzern skaliert. Wenn Leute über die Kosten des Betriebs eines KI-Produkts sprechen, meinen sie fast immer die Kosten der Inferenz.
Das Modell sucht eine Antwort nicht „heraus“. Es berechnet eine Wahrscheinlichkeit für jedes mögliche nächste Token, wählt eines aus, hängt es an den Text an und wiederholt den Vorgang. Diese Schleife ist der gesamte Mechanismus, und der Rest dieser Seite ist ein genauerer Blick darauf.
Was während einer Anfrage passiert
Nimm eine einzelne Chat-Anfrage und verfolge sie von deinem Code bis zum letzten Zeichen.
- Tokenisierung. Dein Text wird in Token aufgeteilt, das sind Zeichenblöcke. Ein Token ist oft ein kurzes Wort oder ein Teil eines längeren. Eine Faustregel für Englisch ist etwa vier Zeichen pro Token, aber das variiert je nach Sprache und Inhalt wie Code.
- Prefill. Das Modell verarbeitet alle Prompt-Token in einem Durchlauf. Dies ist parallele Arbeit und sie baut den internen Zustand auf, den das Modell benötigt, um den Text fortzusetzen.
- Decodierung. Das Modell erzeugt das erste Ausgab-Token, dann das zweite und so weiter. Jedes neue Token hängt von allen vorherigen ab, also ist diese Phase sequenziell. Sie ist der langsame Teil der meisten Anfragen.
- Sampling. In jedem Schritt hat das Modell eine Bewertung für jedes Token in seinem Vokabular. Einstellungen wie
temperatureundtop_pentscheiden, wie das nächste Token aus diesen Bewertungen ausgewählt wird. Eine niedrige Temperatur wählt fast immer das wahrscheinlichste Token aus; eine höhere erlaubt mehr Vielfalt. - Beendigung. Die Generierung endet, wenn das Modell ein End-of-Text-Token ausgibt, wenn es eine von dir definierte
stop-Folge erreicht oder wenn es das Token-Limit erreicht.
Prefill und Decodierung belasten die Hardware auf unterschiedliche Weise. Prefill ist hauptsächlich durch die Rechenleistung begrenzt. Decodierung ist hauptsächlich durch die Geschwindigkeit begrenzt, mit der die GPU die Modellgewichte aus dem Speicher lesen kann, da jedes einzelne Token sie berühren muss. Deshalb dauert eine lange Antwort sichtbar länger als eine lange Frage gleicher Größe.
Token, Kontextfenster und der KV-Cache
Alles in der Inferenz wird in Token gemessen. Dein Prompt, die Systemnachricht, frühere Gesprächsbeiträge und die Antwort zählen alle. Das Kontextfenster ist die maximale Anzahl von Token, die das Modell gleichzeitig halten kann, Prompt und Vervollständigung zusammen. Bei diesem Dienst beträgt das Kontextfenster 100.000 Token, und die Vervollständigung kann alles nutzen, was der Prompt frei lässt.
Um die Neuberechnung des gesamten Gesprächs für jedes neue Token zu vermeiden, behalten Inferenz-Engines einen KV-Cache: die Zwischenschlüssel und -werte für bereits verarbeitete Token. Der Cache wächst mit der Länge des Kontexts und belegt GPU-Speicher. Dies ist der Hauptgrund, warum lange Kontexte teuer im Betrieb sind, und der Grund, warum ein Server nur eine begrenzte Anzahl langer Anfragen gleichzeitig bearbeiten kann.
Eine praktische Konsequenz für dich als Entwickler: Ein Chat, der die vollständige Historie bei jedem Schritt erneut sendet, zahlt für diese Historie jedes Mal erneut. Wenn ein Gespräch auf 20.000 Token wächst, trägt jede neue Nachricht diese 20.000 Eingabe-Token mit sich. Das Kürzen oder Zusammenfassen alter Beiträge ist die günstigste Geschwindigkeits- und Kostenoptimierung, die dir zur Verfügung steht, und erfordert keine Änderungen auf der Serverseite.
Latenz: Warum es zwei Werte gibt
Leute fragen oft, wie schnell ein Modell ist, aber es gibt zwei separate Messwerte.
- Zeit bis zum ersten Token. Wie lange du wartest, bevor Text erscheint. Sie umfasst Netzwerkzeit, Wartezeit am Server und Prefill. Lange Prompts treiben sie nach oben.
- Generierungsgeschwindigkeit. Wie schnell Token nach dem ersten eintreffen. Sie hängt von der Modellgröße, der Hardware und davon ab, wie viele andere Anfragen die gleiche GPU zu diesem Moment bedient.
Streaming existiert wegen dieser Aufteilung. Mit stream: true sendet der Server Token, sobald sie erzeugt werden, sodass der Nutzer nach dem ersten Token mit dem Lesen beginnt, anstatt auf die vollständige Antwort zu warten. Die Gesamtzeit ist dieselbe, aber die Oberfläche fühlt sich viel schneller an. Für Chat, Roleplay und Schreib-Tools ist Streaming fast immer die richtige Standardwahl.
Ein Detail, das du bei der Planung von Parallelität beachten solltest: Eine gestreamte Anfrage belegt ihren Slot bis zum Ende des Streams, nicht bis zum ersten Token. Wenn dein Schlüssel 8 parallele Anfragen erlaubt, bedeuten acht lange Streams im Flug, dass die neunte warten muss oder eine 429-Antwort erhält.
Was Inferenz kostet, mit echten Zahlen
Gehostete Inferenz wird pro Token abgerechnet, mit separaten Preisen für Eingabe und Ausgabe, da Ausgab-Token mehr Arbeit erfordern. Dieser Dienst berechnet $0,15 pro 1M Eingabe-Token und $0,50 pro 1M Ausgab-Token, vom Prepaid-Guthaben ohne Abonnement. So funktioniert das für einige typische Anfragen.
| Anfrage | Input-Token | Output-Token | Kosten |
|---|---|---|---|
| Kurze Chat-Nachricht | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| Chat mit Historie | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| Zusammenfassung langer Dokumente | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| Vollständiger 100.000-Token-Prompt, kurze Antwort | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
Die Mathematik ist einfach: Token-Anzahl durch eine Million teilen und mit dem Preis multiplizieren. Für die Chat-mit-Historie-Zeile: 2.000 / 1.000.000 x $0,15 = $0,0003 und 500 / 1.000.000 x $0,50 = $0,00025, was zusammen $0,00055 ergibt. Tausend solche Anfragen kosten $0,55.
Zwei Abrechnungsdetails helfen bei der Budgetplanung. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet, und Guthaben verfällt nie, also ist eine Aufladung keine Uhr, die abläuft. Jede Antwort enthält einen X-Balance-USD-Header, der es deinem Code ermöglicht, das verbleibende Guthaben ohne separaten Aufruf zu überwachen.
Gehostete Inferenz oder deine eigene GPU
Du hast zwei Möglichkeiten, Inferenz zu erhalten. Du kannst GPUs mieten oder kaufen, eine Serving-Engine installieren und ein Modell selbst betreiben. Oder du rufst eine API an und lässt jemand anderen die Hardware betreiben.
Selbst zu betreiben gibt dir volle Kontrolle über die Modell-Dateien, die Einstellungen und den Datenpfad. Der Preis ist operative Arbeit: Hardware wählen, die zu den Gewichten plus dem KV-Cache passt, Treiber und Engines aktuell halten, Traffic-Spitzen bewältigen und für die Maschine in ruhigen Stunden zahlen. Eine gehostete API verwandelt das in eine Token-Abrechnung. Sie ist normalerweise der schnellere Weg, wenn dein Verkehr ungleichmäßig ist oder du noch eine Idee testest.
Der hier beschriebene Dienst ist eine gehostete, OpenAI-kompatible, Text-only-API. Sie läuft ein Open-Weight-Modell, betrieben von einem unabhängigen Anbieter und optimiert, um ohne Inhaltsfilter für legale Erwachsenennutzung zu antworten. Es ist nicht die offizielle API eines Modell-Anbieters, und sie erzeugt keine Bilder, Audio oder Video, erstellt keine Embeddings oder fine-tunt Modelle. Wenn du eines davon brauchst, brauchst du ein anderes Tool. Wenn du reine Textgenerierung mit wenigen Ablehnungen brauchst, zeigt der Quickstart die Einrichtung, und die Preisseite listet die Aufladeoptionen auf.
Probiere eine Inferenz-Anfrage selbst aus
Der schnellste Weg, das Konzept greifbar zu machen, ist es, eine Anfrage zu senden und die zurückgegebenen Zahlen zu lesen. Nach dem Erstellen eines Schlüssels sendet dieser curl-Befehl eine Chat-Vervollständigung an den Endpunkt:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
Die JSON-Antwort enthält ein usage-Objekt mit prompt_tokens, completion_tokens und total_tokens. Multipliziere diese mit den oben genannten Preisen und du hast die genauen Kosten der Anfrage. Das Gleiche in Python mit dem OpenAI SDK:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
Neue Nutzer können $0,50 Testguthaben mit einem Klick auf der Schlüssel-Seite nach der Anmeldung beanspruchen. Es benötigt keine Karte, dauert 7 Tage und deckt bei den oben genannten Preisen etwa zweitausend kurze Chat-Nachrichten ab. Wenn etwas einen Fehler zurückgibt, den du nicht erkennst, listet der Fehlerbehebungsartikel die üblichen Ursachen auf.
Weitere Anleitungen
Fragen und Antworten
Ist Inferenz dasselbe wie das Ausführen eines Modells?
Ja. Das Ausführen eines trainierten Modells mit neuen Eingaben zur Erzeugung von Ausgaben ist Inferenz. Training, bei dem die Gewichte angepasst werden, ist ein anderer und früherer Schritt.
Warum ist Ausgabe teurer als Eingabe?
Eingabe-Token werden parallel in einem einzigen Durchlauf verarbeitet, Ausgabetoken hingegen sequenziell. Anbieter berechnen den langsameren Teil höher, dieser Service berechnet $0,50 gegenüber $0,15 pro 1M Token.
Machen längere Kontextfenster Anfragen langsamer?
Normalerweise ja. Ein längerer Prompt bedeutet mehr Prefill-Arbeit und einen größeren KV-Cache, sodass die Zeit bis zum ersten Token steigt. Du zahlst nur für die Token, die du tatsächlich sendest und empfängst, nicht für den ungenutzten Teil des 100.000-Token-Fensters.
Brauche ich eine GPU, um eine Inference-API zu nutzen?
Nein. Der Anbieter betreibt die Hardware. Du sendest HTTPS-Anfragen von jedem Gerät, einschließlich eines Laptops oder eines kleinen Servers.
Dein Schlüssel ist nur ein Formular entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.
API-Schlüssel erhalten