NL ▾
API-sleutel aanvragen

LLM Inference APIGids

Vergelijking LLM-inferentiekaders vs. Hosted API

Deze vergelijking van LLM-inferentiekaders behandelt de engines die je zelf kunt draaien (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) en zet ze af tegen een gehoste OpenAI-compatibele API. De juiste keuze hangt af van je hardware, je verkeer en hoeveel operations werk je wilt doen.

Bijgewerkt:

Illustratie van meerdere servertorens en één cloudnode, die zelfgehoste inferentie-engines vergelijkt met een gehoste API

Belangrijkste punten

  1. vLLM, SGLang en TensorRT-LLM zijn gebouwd voor GPU-servers met veel gelijktijdige gebruikers; llama.cpp en Ollama zijn gebouwd voor een enkele machine, inclusief laptops.
  2. Self-hosting geeft controle over weights en het datapad, maar je betaalt voor de hardware en het onderhoud, zelfs wanneer deze inactief is.
  3. Een gehoste API kost niets bij stilstand en wordt gefactureerd per token, wat past bij ongelijkmatig of beginnend verkeer.
  4. De meeste van deze tools gebruiken het OpenAI API-formaat, dus verplaatsen tussen hen betekent meestal het wijzigen van een base URL.

De twee vragen die het meeste bepalen

Voordat je engines vergelijkt, beantwoord twee vragen. Eerst: moet je het model zelf kiezen? Als je één specifieke set weights moet draaien, kan een gehoste service die één model aanbiedt je niet helpen, en is een framework de enige weg. Ten tweede: hoe stabiel is je verkeer? Een GPU die vierentwintig uur per dag bezet is een goed geldgebruik. Een GPU die een piek 's avonds verwerkt en de rest van de tijd inactief is, is dat niet.

Als het antwoord op de eerste vraag is "elk capabel model dat gewone verzoeken van volwassenen niet weigert is prima" en het antwoord op de tweede "ongelijk", is een gehoste API waarschijnlijk de eenvoudigere keuze. Als je een specifieke fine-tune nodig hebt, een constante zware belasting hebt of elke byte op je eigen machines wilt houden, bekijk dan de frameworks hieronder.

De kaders, één voor één

vLLM

Een open-source serving engine voor GPU's. Het staat bekend om continuous batching, dat de GPU bezet houdt door nieuwe verzoeken aan een lopende batch toe te voegen, en om een gepagineerde aanpak van de KV cache die minder geheugen verspillt. Het levert een OpenAI-compatibele HTTP-server. Het is een sterke standaardkeuze als je een datacenter-class GPU hebt en veel gelijktijdige gebruikers. De setup omvat CUDA-stuurprogramma's, bijpassende versies en modelgeheugenplanning.

SGLang

Nog een open-source serving framework gericht op high-throughput GPU-serving, met functies voor gestructureerde output en prefix reuse. Het valt in dezelfde categorie als vLLM, en teams benchmarken beide vaak op hun eigen workload voordat ze er een kiezen. Behandel elke gepubliceerde benchmark met voorzichtigheid: resultaten veranderen met model, hardware, promptlengte en versie.

TensorRT-LLM

NVIDIA's bibliotheek voor het compileren en draaien van modellen op NVIDIA GPU's. Het kan veel prestaties uit die hardware halen, tegen de prijs van een zwaarder build- en deployproces en een binding aan de stack van één leverancier. Het heeft zin als je een vast model op schaal draait op NVIDIA-kaarten en engineers hebt om het te onderhouden.

llama.cpp

Een C/C++-implementatie die gekwantiseerde modellen in het GGUF-formaat draait op CPU's, Apple Silicon en veel GPU's. Het bevat llama-server, dat een OpenAI-stijl endpoint blootlegt. Kwantisatie vermindert het benodigde geheugen, tegen een bepaalde kosten in outputkwaliteit die afhangt van hoe agressief het is. Het is de praktische keuze voor een laptop, een thuisserver of een offline tool.

Ollama

Een vriendelijke wrapper voor het lokaal draaien van modellen: je haalt een model op naam en het behandelt downloads, opslag en een lokale server, inclusief een OpenAI-compatibel endpoint. Het is uitstekend voor experimenten en persoonlijk gebruik. Het is gericht op één gebruiker of een paar, niet op het bedienen van een drukke publieke app.

Naast elkaar

OptieBeste matchJe beheertKostemodel
vLLM / SGLangVeel gebruikers op server-GPU'sDrivers, GPU's, schaling, updatesHardware, of deze nu bezet is of inactief
TensorRT-LLMVast model op schaal op NVIDIA-kaartenBouwwijzen, deployment, tuningHardware plus engineeringtijd
llama.cppLaptops, kleine servers, offline gebruikModelfiles, kwantisatiekeuzeJe eigen machine
OllamaLokale experimenten, persoonlijke toolsModeldownloads, schijfruimteJe eigen machine
Gehoste APIOnregelmatig of beginnend verkeer, geen GPU opsEen API-sleutel en je codePer token, niets bij stilstand

De tabel laat bewust snelheidscijfers weg. Doorvoer hangt af van het model, de kwantisatie, de promptlengte en de batchgrootte, dus een cijfer van een andere setup is zelden van toepassing op die van jou.

Wat een gehoste API opgeeft, en wat het geeft

De gehoste optie die op deze site wordt beschreven is een tekst-only, OpenAI-compatibele API die één open-weight model draait, beheerd door een onafhankelijke provider en afgestemd op antwoorden zonder content-weigeringen voor wettelijk volwassen gebruik. De model ID is uncensored. Het ondersteunt streaming, tool calling en JSON-modus, met een contextvenster van 100.000 tokens.

Wat je opgeeft is duidelijk. Je kunt de gewichten niet kiezen of vervangen. Je kunt niet fine-tunen. Er zijn geen embeddings, geen beeld-, audio- of videogeneratie, en de service is gebonden aan rate limits: een volledige sleutel staat 8 gelijktijdige verzoeken en 300 verzoeken per minuut toe, en een proefsleutel staat 2 en 60 toe. Het is ook niet de officiële API van een modelleverancier.

Wat je terugkrijgt is nul infrastructuur. Er is geen GPU om te kopen, geen engine om bij te werken en geen inactieve kosten. Je betaalt $0,15 per 1M input tokens en $0,50 per 1M output tokens uit prepaid tegoed dat nooit vervalt, en verzoeken die falen of geweigerd worden, worden niet in rekening gebracht. De prijzenpagina heeft de opwaardeerbedragen en bonussen.

Kosten die mensen vergeten bij self-hosting

De prijs van een GPU is slechts de eerste regel van de begroting. Teams die van een API naar hun eigen servers verplaatsen, worden vaak verrast door de tweede en derde regels.

  • Geheugenruimte. De gewichten zijn niet het enige dat GPU-geheugen nodig heeft. De KV-cache groeit met elk gelijktijdig verzoek en elke token van context, dus een kaart die het model comfortabel laadt, kan nog steeds vol raken bij 20 gelijktijdige gebruikers met lange prompts.
  • Inactieve tijd. Nachtelijke en weekenduren kosten evenveel als piekuren. Autoscaling helpt, maar het starten van een GPU-knooppunt en het laden van grote gewichten duurt minuten, geen seconden.
  • Upgrades en storingen. Serving engines worden vaak uitgebracht. Een driverupdate of een nieuwe engineversie kan gedrag veranderen, en iemand moet het testen voordat de productie het ziet.
  • Veiligheid en afhandeling van misbruik. Met je eigen deployment zijn filteringbeleid, logging en respons op misbruik jouw verantwoordelijkheid om te ontwerpen en te verantwoorden.

Dit betekent niet dat self-hosting een slecht idee is. Het betekent dat de vergelijking personeelstijd moet omvatten, niet alleen de uurtariefprijs van een machine.

Een kostencheck die je op je eigen cijfers kunt uitvoeren

De eerlijke manier om te vergelijken is om de kosten van je eigen werklast te berekenen. Stel dat een app in een maand 100M input tokens en 20M output tokens gebruikt.

  • Input: 100 x $0,15 = $15.
  • Output: 20 x $0,50 = $10.
  • Totaal: $25 voor de maand.

Zet nu de maandelijkse kosten van je alternatief naast dat bedrag: de server- of GPU-huur, stroom als het je eigen hardware is, en de uren die iemand besteedt aan het draaiende houden ervan. Controleer zelf de huidige prijzen voor hardware of cloud-GPU's, omdat deze vaak veranderen. Als je alternatief goedkoper is dan de API-rekening bij jouw volume, en je kunt de machine bezet houden, wint self-hosting het op kosten. Als de API-rekening lager is, of als je belasting piekachtig is, wint de gehoste route.

Het omgekeerde geval telt ook. Bij 10 keer dat volume levert dezelfde berekening $250 per maand op, en een dedicated GPU met een model dat jij hebt gekozen kan aantrekkelijker worden, vooral als je een model nodig hebt dat deze dienst niet aanbiedt. Voer de berekening opnieuw uit als je gebruik verandert.

Zelfde clientcode aan beide kanten

Een nuttige eigenschap van deze categorie is dat vLLM, llama.cpp, Ollama en de meeste gehoste diensten allemaal het OpenAI-verzoekformaat blootleggen. De code van je applicatie hoeft niet te weten welke er achter de URL zit. Alleen de base URL, de sleutel en de modelnaam veranderen. Hier is de client voor het gehoste endpoint:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir short story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)

Als je later naar je eigen server verhuist, pas je de base URL en de modelnaam aan en laat je de rest met rust. Dit maakt het laag-risico om te beginnen met de gehoste variant, je echte tokenvolumes te meten en met data te beslissen over hardware. De quickstart behandelt streaming, tools en JSON-modus, en een proefsleutel is beschikbaar via de sleutelpagina.

Welke moet je kiezen

  • Je wilt deze week ideeën uitproberen: gebruik een gehoste API, of Ollama als je een krachtige computer hebt en alles lokaal wilt draaien.
  • Je hebt een specifiek model of een private fine-tune nodig: vLLM of SGLang op gehuurde of eigen GPU's.
  • Je draait een vast model op schaal op NVIDIA-hardware met een platformteam: TensorRT-LLM is het testen waard.
  • Je hebt offline werking of een klein footprint nodig: llama.cpp met een gekwantiseerd model.
  • Je hebt een tekstmodel nodig met weinig afwijzingen en geen hardwarewerk: het gehoste endpoint hier, met de bovenstaande limieten in gedachten.

Vragen en antwoorden

Is vLLM beter dan llama.cpp?

Ze richten zich op verschillende setup's. vLLM is gebouwd voor het serveren van veel gebruikers op server-GPU's, terwijl llama.cpp is gebouwd voor het draaien van gekwantiseerde modellen op een enkele machine, inclusief CPU's en laptops.

Kan ik de OpenAI SDK met deze frameworks gebruiken?

Over het algemeen ja. vLLM, de server van llama.cpp en Ollama bieden allemaal OpenAI-compatibele endpoints, en dat doet deze gehoste API ook. Je verandert de base URL, de sleutel en de modelnaam.

Wanneer wordt self-hosting goedkoper dan een API?

Wanneer de maandelijkse kosten van je hardware en onderhoud lager zijn dan wat je tokenvolume op de API zou kosten, en je de hardware bezet kunt houden. Prijzen je eigen werklast op $0,15 en $0,50 per 1M tokens om erachter te komen.

Laat de gehoste API me het model kiezen?

Nee. Het serveert één model onder de ID uncensored. Als je specifieke weights nodig hebt, moet je ze zelf draaien.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele installatie.

API-sleutel aanvragen