FR ▾
Obtenir une clé API

LLM Inference APIGuide

Qu’est-ce que l’inférence LLM ? Tokens, latence et coût

Si vous vous demandez ce qu’est l’inférence LLM, la réponse courte est la suivante : c’est l’étape où un modèle de langage entraîné lit votre prompt et rédige une réponse, un token à la fois. Cette page explique comment cela fonctionne et quel est le coût.

Mis à jour :

Illustration isométrique de tokens entrant et sortant d’une chambre de traitement, représentant l’inférence LLM

Points clés

  1. L’inférence consiste à exécuter un modèle fini pour produire une sortie ; l’entraînement est l’étape antérieure, beaucoup plus coûteuse, qui a créé le modèle.
  2. Une requête comporte deux phases : la lecture du prompt (prefill) et l’écriture de la réponse un token à la fois (decoding).
  3. Le coût et la vitesse dépendent des nombres de tokens, donc la longueur de l'entrée, la longueur de la sortie et la fenêtre de contexte sont plus importants que tout le reste.
  4. Avec une API hébergée, vous payez par token et évitez les GPU ; avec votre propre matériel, vous payez la machine qu’elle soit occupée ou non.

L’inférence en un paragraphe

Un grand modèle de langage est un fichier rempli de nombres, appelés poids. L’entraînement est le processus qui définit ces nombres en montrant d’énormes quantités de texte au modèle. L’inférence est tout ce qui se passe ensuite, lorsque vous utilisez les poids finis pour obtenir une réponse. Chaque message de chat que vous envoyez à un modèle, chaque suggestion de saisie automatique et chaque appel API retournant du texte est une requête d’inférence.

La distinction est importante car les deux tâches ont des structures économiques différentes. L’entraînement se produit une fois (ou quelques fois) et nécessite un grand cluster. L’inférence se produit chaque fois que quelqu’un envoie un prompt, c’est donc la partie qui s’adapte à vos utilisateurs. Lorsque les gens parlent du coût d’exécution d’un produit IA, ils parlent presque toujours du coût de l’inférence.

Le modèle ne « cherche » pas une réponse. Il calcule une probabilité pour chaque token suivant possible, en choisit un, l’ajoute au texte et répète. Cette boucle est tout le mécanisme, et le reste de cette page est un examen plus approfondi de celui-ci.

Ce qui se passe lors d’une requête

Prenons une seule requête de chat et suivez-la de votre code jusqu’au dernier caractère.

  1. Tokenisation. Votre texte est divisé en tokens, qui sont des blocs de caractères. Un token est souvent un mot court ou une partie d’un mot plus long. Une règle générale courante pour l’anglais est d’environ quatre caractères par token, mais cela varie selon la langue et le contenu tel que le code.
  2. Prefill. Le modèle traite tous les tokens du prompt en un seul passage. Il s’agit d’un travail parallèle qui construit l’état interne dont le modèle a besoin pour continuer le texte.
  3. Decoding. Le modèle produit le premier token de sortie, puis le deuxième, et ainsi de suite. Chaque nouveau token dépend de tous ceux qui l’ont précédé, donc cette phase est séquentielle. C’est la partie la plus lente de la plupart des requêtes.
  4. Échantillonnage. À chaque étape, le modèle a un score pour chaque token de son vocabulaire. Des paramètres tels que temperature et top_p décident comment le token suivant est choisi parmi ces scores. Une température faible choisit le token le plus probable presque à chaque fois ; une température plus élevée permet plus de variété.
  5. Arrêt. La génération se termine lorsque le modèle émet un token de fin de texte, lorsqu’il atteint une séquence stop que vous avez définie, ou lorsqu’il atteint la limite de tokens.

Le prefill et le decoding sollicitent le matériel différemment. Le prefill est limité principalement par le calcul brut. Le decoding est limité principalement par la rapidité avec laquelle le GPU peut lire les poids du modèle depuis la mémoire, car chaque token doit les toucher. C’est pourquoi une longue réponse prend visiblement plus de temps qu’une longue question de taille égale.

Tokens, fenêtre de contexte et cache KV

Tout dans l’inférence est mesuré en tokens. Votre prompt, le message système, les tours précédents de la conversation et la réponse comptent tous. La fenêtre de contexte est le nombre maximum de tokens que le modèle peut contenir à la fois, prompt et complétion confondus. Sur ce service, la fenêtre de contexte est de 100 000 tokens, et la complétion peut utiliser tout ce que le prompt laisse libre.

Pour éviter de recalculer toute la conversation pour chaque nouveau token, les moteurs d’inférence conservent un cache KV : les clés et valeurs intermédiaires pour les tokens déjà traités. Le cache augmente avec la longueur du contexte et prend de la mémoire GPU. C’est la principale raison pour laquelle les contextes longs sont coûteux à servir, et la raison pour laquelle un serveur ne peut gérer qu’un nombre limité de requêtes longues à la fois.

Une conséquence pratique pour vous en tant que développeur : un chat qui renvoie l’intégralité de l’historique à chaque tour paie cet historique à nouveau chaque fois. Si une conversation atteint 20 000 tokens, chaque nouveau message transporte ces 20 000 tokens d’entrée avec lui. Réduire ou résumer les anciens tours est l’optimisation de vitesse et de coût la moins chère à votre disposition, et elle ne nécessite aucun changement côté serveur.

Latence : pourquoi il y a deux chiffres

Les gens demandent souvent à quelle vitesse un modèle est rapide, mais il y a deux mesures distinctes.

  • Temps jusqu’au premier token. Combien de temps vous attendez avant qu’un texte n’apparaisse. Il inclut le temps réseau, la file d’attente au serveur et le prefill. Les prompts longs l’augmentent.
  • Vitesse de génération. À quelle vitesse les tokens arrivent après le premier. Cela dépend de la taille du modèle, du matériel et du nombre d’autres requêtes que le même GPU sert à ce moment-là.

Le streaming existe à cause de cette séparation. Avec stream: true, le serveur envoie les tokens au fur et à mesure de leur production, afin que l’utilisateur commence à lire après le premier token au lieu d’attendre la réponse complète. Le temps total est le même, mais l’interface semble beaucoup plus rapide. Pour le chat, le jeu de rôle et les outils d’écriture, le streaming est presque toujours le bon choix par défaut.

Un détail à retenir lorsque vous planifiez la concurrence : une requête en streaming occupe son emplacement jusqu’à la fin du flux, pas jusqu’à l’arrivée du premier token. Si votre clé permet 8 requêtes simultanées, huit longs flux en cours signifie que le neuvième doit attendre ou reçoit une réponse 429.

Le coût de l’inférence, avec des chiffres réels

L’inférence hébergée est facturée par token, avec des prix séparés pour l’entrée et la sortie car les tokens de sortie nécessitent plus de travail. Ce service facture 0,15 $ par 1M de tokens d’entrée et 0,50 $ par 1M de tokens de sortie, à partir de crédit prépayé sans abonnement. Voici comment cela se présente pour quelques requêtes typiques.

RequêteTokens d'entréeTokens de sortieCoût
Message de chat court500300$0.000075 + $0.00015 = $0.000225
Chat avec historique2,000500$0.0003 + $0.00025 = $0.00055
Résumé de long document30,0001,000$0.0045 + $0.0005 = $0.005
Prompt de 100 000 tokens complet, courte réponse100,000500$0.015 + $0.00025 = $0.01525

Le calcul est simple : divisez le nombre de tokens par un million et multipliez par le prix. Pour la ligne de chat avec historique, 2 000 / 1 000 000 x 0,15 $ = 0,0003 $ et 500 / 1 000 000 x 0,50 $ = 0,00025 $, ce qui donne 0,00055 $. Un millier de requêtes comme cela coûtent 0,55 $.

Deux détails de facturation aident lors de la budgétisation. Les requêtes échouées ou refusées ne sont pas facturées, et le crédit n'expire pas, donc une recharge n'est pas une horloge qui s'écoule. Chaque réponse comporte un en-tête X-Balance-USD, ce qui permet à votre code de surveiller le solde restant sans appel séparé.

Inférence hébergée ou votre propre GPU

Vous avez deux façons de lancer de l’inférence. Vous pouvez louer ou acheter des GPU, installer un moteur d’inférence et exécuter un modèle vous-même. Ou vous pouvez appeler une API et laisser quelqu’un d’autre gérer le matériel.

Le faire fonctionner vous-même vous donne un contrôle total sur les fichiers du modèle, les paramètres et le chemin des données. Le prix est le travail opérationnel : choisir du matériel adapté aux poids plus le cache KV, maintenir les pilotes et les moteurs à jour, gérer les pics de trafic et payer la machine pendant les heures creuses. Une API hébergée transforme cela en une facture par token. C'est généralement la voie plus rapide lorsque votre trafic est irrégulier ou que vous testez encore une idée.

Le service décrit ici est une API hébergée, compatible OpenAI, textuelle uniquement. Il exécute un seul modèle à poids ouverts, géré par un fournisseur indépendant et ajusté pour répondre sans refus de contenu pour une utilisation adulte légale. Ce n’est pas l’API officielle d’aucun vendeur de modèle, et il ne génère pas d’images, d’audio ou de vidéo, ne crée pas d’embeddings ou ne peaufine pas les modèles. Si vous avez besoin de l’un de ces éléments, vous avez besoin d’un outil différent. Si vous avez besoin de génération de texte simple avec peu de refus, le guide de démarrage rapide montre la configuration, et la page de tarification liste les options de rechargement.

Essayez vous-même un appel d’inférence

Le moyen le plus rapide de concrétiser le concept est d’envoyer une requête et de lire les nombres qu’elle retourne. Après avoir créé une clé, cette commande curl envoie une complétion de chat à l’endpoint :

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
    "max_tokens": 120
  }'

La réponse JSON inclut un objet usage avec prompt_tokens, completion_tokens et total_tokens. Multipliez ceux-ci par les prix ci-dessus et vous avez le coût exact de l’appel. La même chose en Python avec le SDK OpenAI :

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
    max_tokens=120,
)

u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Les nouveaux utilisateurs peuvent réclamer 0,50 $ de crédit d'essai gratuit en un seul clic sur la page de clé après la connexion. Il ne nécessite pas de carte, dure 7 jours, et aux prix ci-dessus, il couvre environ deux mille messages de chat courts. Si quelque chose renvoie une erreur que vous ne reconnaissez pas, l'article de dépannage liste les causes habituelles.

Questions et réponses

L’inférence est-elle identique à l’exécution d’un modèle ?

Oui. Exécuter un modèle entraîné sur une nouvelle entrée pour produire une sortie est l’inférence. L’entraînement, qui ajuste les poids, est une étape différente et antérieure.

Pourquoi la sortie est-elle plus coûteuse que l'entrée ?

Les tokens d'entrée sont traités ensemble en un seul passage parallèle, tandis que les tokens de sortie sont produits un par un. Les fournisseurs facturent la partie séquentielle plus lente plus cher, et ce service facture 0,50 $ contre 0,15 $ par 1M de tokens.

Une fenêtre de contexte plus longue rend-elle les requêtes plus lentes ?

Généralement oui. Un prompt plus long signifie plus de travail de préremplissage et un cache KV plus grand, donc le temps jusqu’au premier token augmente. Vous ne payez que pour les tokens que vous envoyez et recevez réellement, pas pour la partie inutilisée de la fenêtre de 100 000 tokens.

Ai-je besoin d’un GPU pour utiliser une API d’inférence ?

Non. Le fournisseur gère le matériel. Vous envoyez des requêtes HTTPS depuis n’importe quelle machine, y compris un ordinateur portable ou un petit serveur.

Votre clé est à une étape de formulaire

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Obtenir une clé API