LLM Inference APIGuide
Comparaison des frameworks d'inférence LLM vs API hébergée
Cette comparaison des frameworks d'inférence LLM couvre les moteurs que vous pouvez exécuter vous-même (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) et les oppose à une API compatible OpenAI hébergée. Le bon choix dépend de votre matériel, de votre trafic et de la quantité de travail d'opérations que vous souhaitez effectuer.
Mis à jour :

Points clés
- vLLM, SGLang et TensorRT-LLM sont conçus pour les serveurs GPU avec de nombreux utilisateurs simultanés ; llama.cpp et Ollama sont conçus pour une seule machine, y compris les ordinateurs portables.
- L'auto-hébergement vous donne le contrôle des poids et du chemin des données, mais vous payez le matériel et l'entretien même en cas d'inactivité.
- Une API hébergée ne coûte rien au repos et est facturée par token, ce qui convient à un trafic irrégulier ou en phase de démarrage.
- La plupart de ces outils utilisent le format API OpenAI, donc passer de l'un à l'autre consiste généralement à changer l'URL de base.
Les deux questions qui décident de l'essentiel
Avant de comparer les moteurs, répondez à deux questions. D'abord, avez-vous besoin de choisir le modèle vous-même ? Si vous devez exécuter un ensemble de poids spécifique, un service hébergé qui propose un seul modèle ne pourra pas vous aider, et un framework est la seule solution. Ensuite, votre trafic est-il stable ? Un GPU occupé 24h/24 est un bon investissement. Un GPU qui gère un pic en soirée et reste inactif le reste du temps ne l'est pas.
Si la réponse à la première est « n'importe quel modèle capable qui ne refuse pas les demandes ordinaires des adultes convient » et que la réponse à la seconde est « irrégulière », une API hébergée est probablement le choix le plus simple. Si vous avez besoin d'un fine-tune particulier, supportez une charge lourde et constante ou devez conserver chaque octet sur vos propres machines, consultez les frameworks ci-dessous.
Les frameworks, un par un
vLLM
Un moteur de service open source pour les GPU. Il est connu pour le continuous batching, qui maintient le GPU occupé en ajoutant de nouvelles requêtes à un lot en cours, et pour une approche paginée du cache KV qui gaspille moins de mémoire. Il fournit un serveur HTTP compatible OpenAI. C'est un choix par défaut solide lorsque vous disposez d'un GPU de classe datacenter et de nombreux utilisateurs simultanés. La configuration implique des pilotes CUDA, des versions correspondantes et une planification de la mémoire du modèle.
SGLang
Un autre framework de service open-source conçu pour le service GPU à haut débit, avec des fonctionnalités pour la sortie structurée et la réutilisation des préfixes. Il se situe dans la même catégorie que vLLM, et les équipes comparent souvent les deux sur leur propre charge avant de choisir. Soyez prudent avec les benchmarks publiés : les résultats varient selon le modèle, le matériel, la longueur du prompt et la version.
TensorRT-LLM
La bibliothèque de NVIDIA pour compiler et exécuter des modèles sur les GPU NVIDIA. Elle peut extraire beaucoup de performances de ce matériel, au prix d'un processus de build et de déploiement plus lourd et d'une dépendance à l'écosystème d'un seul fournisseur. Cela a du sens lorsque vous exécutez un modèle fixe à grande échelle sur des cartes NVIDIA et que vous avez des ingénieurs pour le maintenir.
llama.cpp
Une implémentation C/C++ qui exécute des modèles quantifiés au format GGUF sur les CPU, Apple Silicon et de nombreux GPU. Elle inclut llama-server, qui expose un endpoint de style OpenAI. La quantification réduit la mémoire nécessaire, au prix d'une qualité de sortie qui dépend de l'agressivité de la méthode. C'est le choix pratique pour un ordinateur portable, un serveur domestique ou un outil hors ligne.
Ollama
Une interface conviviale pour exécuter des modèles localement : vous téléchargez un modèle par son nom et il gère les téléchargements, le stockage et un serveur local, y compris un endpoint compatible OpenAI. Il est excellent pour les expérimentations et l'usage personnel. Il s'adresse à un seul utilisateur ou à quelques-uns, pas à la mise à disposition d'une application publique chargée.
Côte à côte
| Option | Meilleure correspondance | Vous gérez | Modèle de coût |
|---|---|---|---|
| vLLM / SGLang | De nombreux utilisateurs sur des GPU de serveur | Pilotes, GPU, mise à l'échelle, mises à jour | Matériel, qu'il soit occupé ou inactif |
| TensorRT-LLM | Modèle fixe à grande échelle sur des cartes NVIDIA | Builds, déploiement, réglage | Matériel plus temps ingénieur |
| llama.cpp | Ordinateurs portables, petits serveurs, usage hors ligne | Fichiers de modèle, choix de quantification | Votre propre machine |
| Ollama | Expériences locales, outils personnels | Téléchargements de modèles, espace disque | Votre propre machine |
| API hébergée | Trafic irrégulier ou initial, pas d'opérations GPU | Une clé API et votre code | Par token, rien au repos |
Le tableau omet volontairement les chiffres de vitesse. Le débit dépend du modèle, de la quantification, de la longueur du prompt et de la taille du lot, donc un chiffre provenant de la configuration de quelqu'un d'autre s'applique rarement à la vôtre.
Ce qu'une API hébergée abandonne, et ce qu'elle apporte
L'option hébergée décrite sur ce site est une API textuelle uniquement, compatible OpenAI, exécutant un seul modèle à poids ouverts, opéré par un fournisseur indépendant et optimisé pour répondre sans refus de contenu pour un usage adulte légal. L'ID du modèle est uncensored. Il prend en charge le streaming, l'appel de fonctions et le mode JSON, avec une fenêtre de contexte de 100 000 tokens.
Ce que vous abandonnez est clair. Vous ne pouvez pas choisir ou remplacer les poids. Vous ne pouvez pas effectuer d'ajustement fin. Il n'y a pas de vecteurs d'embedding, pas de génération d'images, d'audio ou de vidéo, et le service est soumis à des limites de débit : une clé complète permet 8 requêtes simultanées et 300 requêtes par minute, et une clé d'essai permet 2 et 60. Ce n'est également pas l'API officielle d'aucun fournisseur de modèle.
En contrepartie, vous n'avez aucune infrastructure à gérer. Pas de GPU à acheter, pas de moteur à mettre à jour et aucun coût au repos. Vous payez $0,15 par 1M de tokens d'entrée et $0,50 par 1M de tokens de sortie depuis un crédit prépayé qui n'expire jamais, et les requêtes qui échouent ou sont refusées ne sont pas facturées. La page de tarification indique les montants de rechargement et les bonus.
Les coûts que l'on oublie en auto-hébergeant
Le prix d'un GPU n'est que la première ligne du budget. Les équipes qui passent d'une API à leurs propres serveurs ont tendance à être surprises par les deuxième et troisième lignes.
- Marge de mémoire. Les poids ne sont pas la seule chose qui nécessite de la mémoire GPU. Le cache KV augmente avec chaque requête simultanée et chaque token de contexte, donc une carte qui charge le modèle confortablement peut encore manquer de place à 20 utilisateurs simultanés avec des prompts longs.
- Temps inactif. Les heures de nuit et de week-end coûtent autant que les heures de pointe. L'auto-scaling aide, mais démarrer un nœud GPU et charger de gros poids prend des minutes, pas des secondes.
- Mises à jour et cassures. Les moteurs de service sortent souvent. Une mise à jour du pilote ou une nouvelle version du moteur peut changer le comportement, et quelqu'un doit le tester avant la production.
- Sécurité et gestion des abus. Avec votre propre déploiement, la politique de filtrage, la journalisation et la réponse aux abus sont à concevoir et à assumer par vous.
Cela ne signifie pas que l'auto-hébergement est une mauvaise idée. Cela signifie que la comparaison doit inclure le temps du personnel, pas seulement le prix horaire d'une machine.
Une vérification des coûts avec vos propres chiffres
La méthode honnête pour comparer est de chiffrer votre charge de travail réelle. Supposons qu'une application utilise 100M de tokens en entrée et 20M de tokens en sortie sur un mois.
- Entrée : 100 x $0,15 = $15.
- Sortie : 20 x $0,50 = $10.
- Total : $25 pour le mois.
Maintenant, placez à côté le coût mensuel de votre alternative : le serveur ou la location de GPU, l'électricité si c'est votre propre matériel, et les heures passées à le faire tourner. Vérifiez vous-même les prix actuels du matériel ou des GPU cloud, car ils changent souvent. Si votre alternative coûte moins que la facture API à votre volume, et que vous pouvez maintenir la machine en activité, l'auto-hébergement gagne sur le plan financier. Si la facture API est inférieure, ou si votre charge est irrégulière, la solution hébergée gagne.
Le cas inverse est également important. À 10 fois ce volume, les mêmes calculs donnent $250 par mois, et un GPU dédié exécutant un modèle de votre choix peut commencer à paraître plus intéressant, en particulier si vous avez besoin d'un modèle que ce service ne propose pas. Refaites le calcul lorsque votre utilisation change.
Même code client des deux côtés
Une propriété utile de cette catégorie est que vLLM, llama.cpp, Ollama et la plupart des services hébergés exposent tous le format de requête OpenAI. Le code de votre application n'a pas besoin de savoir quel service se cache derrière l'URL. Seule l'URL de base, la clé et le nom du modèle changent. Voici le client pour l'endpoint hébergé :
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
Si vous passez plus tard à votre propre serveur, vous modifiez l'URL de base et le nom du modèle et laissez le reste tel quel. Cela rend le démarrage côté hébergé à faible risque, vous permet de mesurer vos volumes réels de tokens et de prendre une décision sur le matériel en vous appuyant sur des données. Le démarrage rapide couvre le streaming, les outils et le mode JSON, et une clé d'essai est disponible depuis la page des clés.
Lequel choisir
- Vous voulez tester des idées cette semaine : utilisez une API hébergée, ou Ollama si vous disposez d'un ordinateur puissant et souhaitez tout garder en local.
- Vous avez besoin d'un modèle exact ou d'un ajustement fin privé : vLLM ou SGLang sur des GPU loués ou possédés.
- Vous faites tourner un modèle fixe à grande échelle sur du matériel NVIDIA avec une équipe plateforme : TensorRT-LLM vaut la peine d'être testé.
- Vous avez besoin d'un fonctionnement hors ligne ou d'une empreinte minimale : llama.cpp avec un modèle quantifié.
- Vous avez besoin d'un modèle textuel avec peu de refus et sans travail matériel : l'endpoint hébergé ici, en gardant à l'esprit les limites ci-dessus.
Plus de guides
Questions et réponses
vLLM est-il meilleur que llama.cpp ?
Ils ciblent des configurations différentes. vLLM est conçu pour servir de nombreux utilisateurs sur des GPU de serveur, tandis que llama.cpp est conçu pour exécuter des modèles quantifiés sur une seule machine, y compris sur des CPU et des ordinateurs portables.
Puis-je utiliser le SDK OpenAI avec ces frameworks ?
Généralement oui. vLLM, le serveur de llama.cpp et Ollama offrent tous des endpoints compatibles OpenAI, tout comme cette API hébergée. Vous modifiez l'URL de base, la clé et le nom du modèle.
À partir de quand l'auto-hébergement devient-il moins cher qu'une API ?
Lorsque le coût mensuel de votre matériel et de son entretien est inférieur à ce que vos volumes de tokens coûteraient sur l'API, et que vous pouvez maintenir le matériel en activité. Évaluez votre charge de travail à $0,15 et $0,50 par 1M de tokens pour le vérifier.
L'API hébergée me permet-elle de choisir le modèle ?
Non. Elle sert un seul modèle sous l'ID uncensored. Si vous avez besoin de poids spécifiques, vous devez les exécuter vous-même.
Votre clé est à un formulaire de vous
Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.
Obtenir une clé API