DE ▾
API-Schlüssel erhalten

LLM Inference APIAnleitung

Vergleich LLM-Inferenz-Frameworks vs. Hosted API

Dieser Vergleich der llm-Inferenz-Frameworks deckt die Engines ab, die du selbst betreiben kannst (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang), und setzt sie einer gehosteten OpenAI-kompatiblen API gegenüber. Die richtige Wahl hängt von deiner Hardware, deinem Traffic und dem Aufwand für den Betrieb ab.

Aktualisiert:

Abbildung mehrerer Server-Türme und eines Cloud-Knotens, die Self-Hosted-Inferenz-Engines mit einer Hosted API vergleichen

Wichtige Punkte

  1. vLLM, SGLang und TensorRT-LLM sind für GPU-Server mit vielen gleichzeitigen Nutzern ausgelegt; llama.cpp und Ollama sind für einzelne Rechner, einschließlich Laptops, konzipiert.
  2. Self-Hosting gibt dir die Kontrolle über Gewichte und Datenpfade, aber du zahlst für die Hardware und die Wartung, auch im Leerlauf.
  3. Eine gehostete API kostet im Leerlauf nichts und wird pro Token abgerechnet, was zu ungleichmäßigem oder frühem Traffic passt.
  4. Die meisten dieser Tools verwenden das OpenAI-API-Format, sodass der Wechsel zwischen ihnen meist nur die Änderung einer Basis-URL erfordert.

Die beiden Fragen, die den Großteil davon bestimmen

Bevor du Engines vergleichst, beantworte zwei Fragen. Erstens: Musst du das Modell selbst wählen? Wenn du genau einen bestimmten Satz von Gewichten betreiben musst, kann dir ein gehosteter Dienst, der nur ein Modell anbietet, nicht helfen, und ein Framework ist der einzige Weg. Zweitens: Wie stabil ist dein Traffic? Eine GPU, die 24 Stunden am Tag ausgelastet ist, ist eine gute Investition. Eine GPU, die abends einen Lastspitzen abfedert und den Rest der Zeit im Leerlauf ist, ist es nicht.

Wenn die Antwort auf die erste Frage lautet „jedes fähige Modell, das normale erwachsene Anfragen nicht verweigert, ist in Ordnung“ und auf die zweite „unregelmäßig“, ist eine gehostete API wahrscheinlich die einfachere Wahl. Wenn du ein bestimmtes Fine-Tuning benötigst, einen gleichmäßigen hohen Lastbetrieb hast oder jedes Byte auf deinen eigenen Maschinen behalten musst, sieh dir die Frameworks unten an.

Die Frameworks, eines nach dem anderen

vLLM

Eine Open-Source-Serving-Engine für GPUs. Sie ist bekannt für Continuous Batching, das die GPU durch Hinzufügen neuer Anfragen zu einem laufenden Batch ausgelastet hält, und für einen paged-Ansatz zum KV-Cache, der weniger Speicher verschwendet. Sie liefert einen OpenAI-kompatiblen HTTP-Server. Sie ist die starke Standardwahl, wenn du eine Datacenter-GPU und viele gleichzeitige Nutzer hast. Das Setup umfasst CUDA-Treiber, passende Versionen und die Planung des Modell-Speichers.

SGLang

Ein weiteres Open-Source-Serving-Framework, das auf hohe Durchsatzraten bei GPU-Serving abzielt, mit Funktionen für strukturierte Ausgaben und die Wiederverwendung von Prefixes. Es fällt in dieselbe Kategorie wie vLLM, und Teams benchmarken beide oft an ihrer eigenen Workload, bevor sie sich entscheiden. Betrachte veröffentlichte Benchmarks mit Vorsicht: Die Ergebnisse ändern sich je nach Modell, Hardware, Prompt-Länge und Version.

TensorRT-LLM

NVIDIAs Bibliothek zum Kompilieren und Ausführen von Modellen auf NVIDIA GPUs. Sie kann viel Leistung aus dieser Hardware herausholen, zum Preis eines aufwändigeren Build- und Bereitstellungsprozesses und einer Bindung an den Stack eines einzelnen Anbieters. Sie macht Sinn, wenn du ein festes Modell im großen Maßstab auf NVIDIA-Karten betreibst und Ingenieure zur Wartung zur Verfügung hast.

llama.cpp

Eine C/C++-Implementierung, die quantisierte Modelle im GGUF-Format auf CPUs, Apple Silicon und vielen GPUs ausführt. Sie enthält llama-server, das einen OpenAI-ähnlichen Endpunkt bereitstellt. Quantisierung reduziert den benötigten Speicher, was jedoch mit einem gewissen Qualitätsverlust bei der Ausgabe verbunden ist, der davon abhängt, wie aggressiv sie ist. Sie ist die praktische Wahl für einen Laptop, einen Heimserver oder ein Offline-Tool.

Ollama

Ein freundlicher Wrapper zum lokalen Ausführen von Modellen: Du ziehst ein Modell nach Name und es übernimmt Downloads, Speicherung und einen lokalen Server, einschließlich eines OpenAI-kompatiblen Endpunkts. Es ist hervorragend für Experimente und die private Nutzung. Es ist auf einen Nutzer oder wenige ausgelegt, nicht auf den Betrieb einer ausgelasteten öffentlichen App.

Nebeneinander

OptionBeste ÜbereinstimmungVerwaltung durch dichKostenmodell
vLLM / SGLangViele Nutzer auf Server-GPUsTreiber, GPUs, Skalierung, UpdatesHardware, ob ausgelastet oder im Leerlauf
TensorRT-LLMFestes Modell im großen Maßstab auf NVIDIA-KartenBuilds, Bereitstellung, FeinabstimmungHardware plus Ingenieurzeit
llama.cppLaptops, kleine Server, Offline-NutzungModell-Dateien, QuantisierungsentscheidungDeine eigene Maschine
OllamaLokale Experimente, persönliche ToolsModell-Downloads, SpeicherplatzDeine eigene Maschine
Gehostete APIUngleichmäßiger oder früher Traffic, keine GPU-OperationenEin API-Schlüssel und dein CodePro Token, nichts im Ruhezustand

Die Tabelle lässt Geschwindigkeitsangaben bewusst weg. Der Durchsatz hängt vom Modell, der Quantisierung, der Prompt-Länge und der Batch-Größe ab, sodass eine Zahl aus dem Setup eines anderen selten auf deins übertragbar ist.

Was eine gehostete API aufgibt und was sie bietet

Die auf dieser Website beschriebene Hosted Option ist eine textbasierte, OpenAI-kompatible API, die ein Open-Weight-Modell betreibt, betrieben von einem unabhängigen Anbieter und darauf abgestimmt, ohne Inhaltsfilter für die rechtmäßige Nutzung durch Erwachsene zu antworten. Die Modell-ID ist uncensored. Sie unterstützt Streaming, Function Calling und JSON-Modus mit einem 100.000-Token-Kontextfenster.

Was du aufgibst, ist klar. Du kannst die Gewichte nicht auswählen oder austauschen. Du kannst kein Fine-Tuning durchführen. Es gibt keine Embeddings, keine Bild-, Audio- oder Video-Generierung, und der Service unterliegt Ratenlimits: Ein vollständiger Schlüssel erlaubt 8 gleichzeitige Anfragen und 300 Anfragen pro Minute, ein Test-Schlüssel erlaubt 2 und 60. Es ist auch nicht die offizielle API eines Modell-Anbieters.

Was du dafür bekommst, ist keine Infrastruktur. Du musst keine GPU kaufen, keine Engine updaten und hast keine Leerlaufkosten. Du zahlst $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token aus Prepaid-Guthaben, das verfällt nie, und fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Die Preisseite enthält die Aufladungsbeträge und Boni.

Kosten, die man beim Self-Hosting vergisst

Der Preis einer GPU ist nur die erste Zeile im Budget. Teams, die von einer API zu eigenen Servern wechseln, sind oft von den zweiten und dritten Zeilen überrascht.

  • Speicherreserven. Die Gewichte sind nicht das Einzige, das GPU-Speicher benötigt. Der KV-Cache wächst mit jeder parallelen Anfrage und jedem Kontext-Token, sodass eine Karte, die das Modell bequem lädt, bei 20 gleichzeitigen Nutzern mit langen Prompts trotzdem den Speicher füllen kann.
  • Leerlaufzeit. Nacht- und Wochenendstunden kosten genauso viel wie Spitzenzeiten. Autoscaling hilft, aber das Starten eines GPU-Knotens und das Laden großer Gewichte dauert Minuten, nicht Sekunden.
  • Upgrades und Fehler. Serving-Engines werden häufig veröffentlicht. Ein Treiberupdate oder eine neue Engine-Version kann das Verhalten ändern, und jemand muss es testen, bevor es in die Produktion geht.
  • Sicherheit und Umgang mit Missbrauch. Bei deiner eigenen Bereitstellung liegen Filterrichtlinie, Logging und Reaktion auf Missbrauch in deiner Verantwortung und müssen von dir gestaltet werden.

Das bedeutet nicht, dass Self-Hosting eine schlechte Idee ist. Es bedeutet nur, dass der Vergleich Personalzeit einschließen sollte, nicht nur den Stundenpreis einer Maschine.

Eine Kostenprüfung, die du mit deinen eigenen Zahlen durchführen kannst

Der ehrliche Weg zum Vergleich ist, deine tatsächliche Workload zu beziffern. Nehmen wir an, eine App verbraucht in einem Monat 100M Input-Token und 20M Output-Token.

  • Input: 100 x 0,15 $ = 15 $.
  • Output: 20 x 0,50 $ = 10 $.
  • Gesamt: 25 $ für den Monat.

Stelle nun die monatlichen Kosten deiner Alternative daneben: den Server- oder GPU-Mietpreis, den Stromverbrauch bei eigener Hardware und die Stunden, die jemand mit dem Betrieb verbringt. Prüfe selbst die aktuellen Preise für Hardware oder Cloud-GPUs, da sie sich häufig ändern. Wenn deine Alternative bei deinem Volumen günstiger ist als die API-Rechnung und du die Maschine ausgelastet halten kannst, gewinnt Self-Hosting beim Geld. Wenn die API-Rechnung niedriger ist oder deine Last sprunghaft auftritt, gewinnt die gehostete Variante.

Der umgekehrte Fall ist ebenfalls relevant. Bei 10-fachem Volumen ergeben dieselben Berechnungen 250 $ pro Monat, und eine dedizierte GPU mit einem von dir gewählten Modell kann attraktiver aussehen, insbesondere wenn du ein Modell benötigst, das dieser Dienst nicht anbietet. Führe die Berechnung erneut durch, wenn sich deine Nutzung ändert.

Derselbe Client-Code auf beiden Seiten

Eine nützliche Eigenschaft dieser Kategorie ist, dass vLLM, llama.cpp, Ollama und die meisten gehosteten Dienste das OpenAI-Anfrageformat anbieten. Der Code deiner Anwendung muss nicht wissen, welcher Dienst hinter der URL steht. Nur die Base URL, der Schlüssel und der Modellname ändern sich. Hier ist der Client für den gehosteten Endpunkt:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir short story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)

Wenn du später zu deinem eigenen Server wechselst, änderst du die Base URL und den Modellnamen und lässt den Rest unverändert. Das macht den Einstieg auf der gehosteten Seite risikofrei, damit du deine tatsächlichen Token-Volumina messen und die Hardwareentscheidung auf Basis von Daten treffen kannst. Der Quickstart behandelt Streaming, Tools und JSON-Modus, und ein Test-Schlüssel ist über die Schlüsselseite verfügbar.

Welches solltest du wählen

  • Du möchtest diese Woche Ideen ausprobieren: nutze eine gehostete API, oder Ollama, wenn du einen leistungsfähigen Computer hast und alles lokal betreiben möchtest.
  • Du benötigst ein exaktes Modell oder ein privates Fine-Tuning: vLLM oder SGLang auf gemieteten oder eigenen GPUs.
  • Du betreibst ein festes Modell im großen Maßstab auf NVIDIA-Hardware mit einem Platform-Team: TensorRT-LLM ist einen Test wert.
  • Du benötigst einen Offline-Betrieb oder ein minimales Footprint: llama.cpp mit einem quantisierten Modell.
  • Du benötigst ein Textmodell mit wenigen Ablehnungen und ohne Hardware-Aufwand: der gehostete Endpunkt hier, unter Berücksichtigung der oben genannten Limits.

Fragen und Antworten

Ist vLLM besser als llama.cpp?

Sie zielen auf unterschiedliche Setups ab. vLLM wurde für den Betrieb vieler Nutzer auf Server-GPUs entwickelt, während llama.cpp für den Betrieb quantisierter Modelle auf einer einzelnen Maschine entwickelt wurde, einschließlich CPUs und Laptops.

Kann ich das OpenAI SDK mit diesen Frameworks verwenden?

Im Allgemeinen ja. vLLM, der Server von llama.cpp und Ollama bieten alle OpenAI-kompatible Endpunkte an, ebenso wie diese gehostete API. Du änderst die Base URL, den Schlüssel und den Modellnamen.

Wann wird Self-Hosting günstiger als eine API?

Wenn die monatlichen Kosten für deine Hardware und Wartung unter den Kosten liegen, die dein Token-Volumen auf der API verursachen würden, und du die Hardware ausgelastet halten kannst. Schätze deine eigene Workload mit $0,15 und $0,50 pro 1M Token, um das herauszufinden.

Ermöglicht die gehostete API die Modellauswahl?

Nein. Es wird ein Modell unter der ID uncensored bereitgestellt. Wenn du spezifische Gewichte benötigst, musst du diese selbst ausführen.

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Base URL. Das ist die gesamte Einrichtung.

API-Schlüssel erhalten