LLM Inference APIGuida
Cos'è l'inferenza LLM? Token, latenza e costi
Se ti chiedi cos'è l'inferenza LLM, la versione breve è questa: è il passaggio in cui un modello linguistico addestrato legge il tuo prompt e scrive una risposta, un token alla volta. Questa pagina spiega come funziona e quanto costa.
Aggiornato:

Punti chiave
- L'inferenza è l'esecuzione di un modello finito per produrre output; l'addestramento è il passaggio precedente, molto più costoso, che ha creato il modello.
- Una richiesta ha due fasi: lettura del prompt (prefill) e scrittura della risposta token per token (decoding).
- Costi e velocità seguono entrambi i conteggi dei token, quindi la lunghezza dell'input, la lunghezza dell'output e la finestra di contesto contano più di qualsiasi altra cosa.
- Con un'API ospitata paghi per token ed eviti la necessità delle GPU; con il tuo hardware paghi per la macchina sia che sia occupata sia inattiva.
Inferenza in un paragrafo
Un modello linguistico di grandi dimensioni è un file pieno di numeri, chiamati pesi. L'addestramento è il processo che imposta quei numeri mostrando al modello enormi quantità di testo. L'inferenza è tutto ciò che accade dopo, quando usi i pesi finiti per ottenere una risposta. Ogni messaggio di chat che invii a un modello, ogni suggerimento di completamento automatico e ogni chiamata API che restituisce testo è una richiesta di inferenza.
La distinzione è importante perché i due lavori hanno economie diverse. L'addestramento avviene una volta (o poche volte) e richiede un grande cluster. L'inferenza avviene ogni volta che qualcuno invia un prompt, quindi è la parte che scala con i tuoi utenti. Quando le persone parlano del costo di esecuzione di un prodotto AI, intendono quasi sempre il costo dell'inferenza.
Il modello non "cerca" una risposta. Calcola una probabilità per ogni possibile token successivo, ne sceglie uno, lo aggiunge al testo e ripete. Quel ciclo è l'intero meccanismo, e il resto di questa pagina è un'analisi più approfondita.
Cosa succede durante una richiesta
Prendi una singola richiesta di chat e seguila dal tuo codice fino all'ultimo carattere.
- Tokenizzazione. Il tuo testo viene diviso in token, che sono blocchi di caratteri. Un token è spesso una parola breve o un pezzo di una parola più lunga. Una regola pratica comune per l'inglese è di circa quattro caratteri per token, ma varia a seconda della lingua e del contenuto come il codice.
- Prefill. Il modello elabora tutti i token del prompt in una passata. Questo è lavoro parallelo e costruisce lo stato interno di cui il modello ha bisogno per continuare il testo.
- Decoding. Il modello produce il primo token di output, poi il secondo, e così via. Ogni nuovo token dipende da tutti quelli precedenti, quindi questa fase è sequenziale. È la parte più lenta della maggior parte delle richieste.
- Campionamento. A ogni passaggio il modello ha un punteggio per ogni token nel suo vocabolario. Impostazioni come
temperatureetop_pdecidono come viene scelto il token successivo da quei punteggi. Una temperatura bassa sceglie il token più probabile quasi ogni volta; una più alta permette più varietà. - Fermata. La generazione termina quando il modello emette un token di fine testo, quando innesca una sequenza
stopche hai definito, o quando raggiunge il limite di token.
Prefill e decoding stressano l'hardware in modi diversi. Il prefill è limitato principalmente dal calcolo grezzo. Il decoding è limitato principalmente dalla velocità con cui la GPU può leggere i pesi del modello dalla memoria, perché ogni singolo token deve toccarli. Ecco perché una risposta lunga richiede visibilmente più tempo di una domanda lunga della stessa dimensione.
Token, finestra di contesto e cache KV
Tutto nell'inferenza è misurato in token. Il tuo prompt, il messaggio di sistema, i turni precedenti della conversazione e la risposta contano tutti. La finestra di contesto è il numero massimo di token che il modello può contenere contemporaneamente, prompt e completamento insieme. Su questo servizio la finestra di contesto è di 100.000 token, e il completamento può usare tutto ciò che il prompt lascia libero.
Per evitare di ricalcolare l'intera conversazione per ogni nuovo token, i motori di inferenza mantengono una cache KV: le chiavi e i valori intermedi per i token già elaborati. La cache cresce con la lunghezza del contesto e occupa memoria GPU. Questa è la ragione principale per cui i contesti lunghi sono costosi da servire, e il motivo per cui un server può gestire solo un numero limitato di richieste lunghe contemporaneamente.
Una conseguenza pratica per te come sviluppatore: una chat che invia di nuovo l'intera cronologia ad ogni turno paga per quella cronologia ogni volta. Se una conversazione cresce fino a 20.000 token, ogni nuovo messaggio trasporta con sé quei 20.000 token di input. Tagliare o riassumere i turni vecchi è l'ottimizzazione più economica per velocità e costi disponibile per te, e non richiede modifiche sul lato server.
Latenza: perché ci sono due numeri
Le persone spesso chiedono quanto sia veloce un modello, ma ci sono due misurazioni separate.
- Tempo al primo token. Quanto tempo aspetti prima che appaia del testo. Include il tempo di rete, la coda al server e il prefill. Prompt lunghi lo aumentano.
- Velocità di generazione. Quanto rapidamente arrivano i token dopo il primo. Dipende dalla dimensione del modello, dall'hardware e da quante altre richieste la stessa GPU sta servendo in quel momento.
Lo streaming esiste a causa di questa divisione. Con stream: true il server invia i token man mano che vengono prodotti, così l'utente inizia a leggere dopo il primo token invece di aspettare la risposta completa. Il tempo totale è lo stesso, ma l'interfaccia sembra molto più veloce. Per chat, roleplay e strumenti di scrittura, lo streaming è quasi sempre l'impostazione predefinita corretta.
Un dettaglio da ricordare quando pianifichi la concorrenza: una richiesta streaming mantiene il suo slot fino alla fine dello stream, non fino all'arrivo del primo token. Se la tua chiave permette 8 richieste concorrenti, otto stream lunghi in corso significa che il nono deve aspettare o riceve una risposta 429.
Quanto costa l'inferenza, con numeri reali
L'inferenza ospitata viene fatturata per token, con prezzi separati per input e output perché i token di output richiedono più lavoro. Questo servizio carica $0,15 per 1M di token di input e $0,50 per 1M di token di output, da credito prepagato senza abbonamento. Ecco come funziona per alcune richieste tipiche.
| Richiesta | Token in ingresso | Token in uscita | Costo |
|---|---|---|---|
| Messaggio di chat breve | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| Chat con cronologia | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| Riassunto documento lungo | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| Prompt completo da 100.000 token, risposta breve | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
La matematica è semplice: dividi il conteggio dei token per un milione e moltiplica per il prezzo. Per la riga chat-con-cronologia, 2.000 / 1.000.000 x $0,15 = $0,0003 e 500 / 1.000.000 x $0,50 = $0,00025, che si aggiungono a $0,00055. Un migliaio di richieste come quella costano $0,55.
Due dettagli di fatturazione aiutano quando fai il budget. Le richieste fallite o rifiutate non vengono addebitate, e il credito non scade, quindi una ricarica non è un timer che si esaurisce. Ogni risposta include un'intestazione X-Balance-USD, che permette al tuo codice di monitorare il saldo rimanente senza una chiamata separata.
Inferenza ospitata o la tua GPU
Hai due modi per ottenere inferenza. Puoi noleggiare o acquistare GPU, installare un motore di serving ed eseguire un modello tu stesso. Oppure puoi chiamare un'API e lasciare che qualcun altro gestisca l'hardware.
Eseguirlo tu stesso ti dà il controllo completo sui file del modello, sulle impostazioni e sul percorso dei dati. Il prezzo è lavoro operativo: scegliere l'hardware che si adatta ai pesi più la cache KV, mantenere driver e motori aggiornati, gestire i picchi di traffico e pagare per la macchina durante le ore di silenzio. Un'API ospitata trasforma questo in un conto per token. Di solito è la strada più veloce quando il tuo traffico è irregolare o stai ancora testando un'idea.
Il servizio descritto qui è un'API ospitata, compatibile con OpenAI, solo per il testo. Esegue un unico modello a pesi aperti, gestito da un provider indipendente e ottimizzato per rispondere senza blocchi sui contenuti per l'uso adulto legale. Non è l'API ufficiale di alcun fornitore di modelli e non genera immagini, audio o video, non crea embedding né effettua fine-tuning sui modelli. Se ti servono queste funzionalità, hai bisogno di un altro strumento. Se ti serve la generazione di testo puro con pochi blocchi, la guida rapida mostra la configurazione, e la pagina dei prezzi elenca le opzioni di ricarica.
Prova una chiamata di inferenza tu stesso
Il modo più veloce per rendere concreto il concetto è inviare una richiesta e leggere i numeri che restituisce. Dopo aver creato una chiave, questo comando curl invia un completamento chat all'endpoint:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
La risposta JSON include un oggetto usage con prompt_tokens, completion_tokens e total_tokens. Moltiplica questi per i prezzi sopra e avrai il costo esatto della chiamata. La stessa cosa in Python con l'SDK OpenAI:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
I nuovi utenti possono richiedere $0,50 di credito di prova con un clic sulla pagina della chiave dopo l'accesso. Non serve una carta, dura 7 giorni e, ai prezzi sopra, copre circa due mila messaggi di chat brevi. Se qualcosa restituisce un errore che non riconosci, l'articolo di risoluzione dei problemi elenca le cause comuni.
Altre guide
Domande e risposte
L'inferenza è uguale all'esecuzione di un modello?
Sì. Eseguire un modello addestrato su un input nuovo per produrre un output è l'inferenza. L'addestramento, che regola i pesi, è un passaggio diverso e precedente.
Perché l'output è più costoso dell'input?
I token di input vengono elaborati insieme in un'unica passata parallela, mentre i token di output vengono prodotti uno alla volta. I provider fatturano la parte più lenta e sequenziale a un prezzo maggiore, e questo servizio addebita $0,50 contro $0,15 per 1M di token.
Una finestra di contesto più lunga rende le richieste più lente?
Di solito sì. Un prompt più lungo significa più lavoro di prefill e una cache KV più grande, quindi il tempo al primo token aumenta. Paghi solo per i token che invii e ricevi effettivamente, non per la parte non utilizzata della finestra da 100.000 token.
Ho bisogno di una GPU per usare un'API di inferenza?
No. Il provider gestisce l'hardware. Invii richieste HTTPS da qualsiasi macchina, incluso un laptop o un piccolo server.
La tua chiave è a un modulo di distanza
Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.
Ottieni la chiave API