IT ▾
Ottieni la chiave API

LLM Inference APIGuida

LLM Inference API più economico: come valutare il costo reale

Il prezzo per token è solo una parte del quadro. Ecco come confrontare le API di inferenza sui numeri che determinano la tua fattura, con le nostre tariffe come esempio.

Aggiornato:

Una bilancia che pesa cubetti di token contro monete per confrontare il costo dell'API
Illustrazione isometrica di pacchetti di dati che fluiscono da un terminale verso un gateway cloud, che rappresenta una chiamata API di inferenza

Punti chiave

  1. Indirizza qualsiasi SDK OpenAI a https://api.llminferenceapi.com/v1, usa l'ID del modello uncensored e invia la tua chiave come token Bearer.
  2. Sono disponibili due endpoint: POST /v1/chat/completions e GET /v1/models.
  3. Streaming, chiamata di funzioni e modalità JSON funzionano tramite i campi standard della richiesta.
  4. Una chiave completa permette 8 richieste concorrenti e 300 al minuto; una risposta 429 ti dice quale limite hai raggiunto.

Il prezzo per milione di token è solo l'inizio

L'API di inferenza LLM più economica è quella con il costo più basso per il tuo carico di lavoro, che non è sempre il numero più basso in una pagina dei prezzi. Due provider possono elencare lo stesso prezzo di copertina e produrre fatture molto diverse una volta conteggiati i token di output, i prompt lunghi, le chiamate fallite e i ricarichi minimi.

Esegui un controllo in quattro parti prima di scegliere: il prezzo di input, il prezzo di output, cosa fa il modello con il contesto lungo e cosa paghi in anticipo. Questo articolo illustra ogni punto, mostra i nostri prezzi come esempio pratico e lascia a te i numeri degli altri provider. Controlla i loro prezzi attuali e inserisci le cifre nelle stesse formule.

Token di input rispetto a quelli di output

Quasi ogni API LLM fattura input e output separatamente, e l'output di solito costa di più. I nostri tassi sono $0,15 per 1M di token di input e $0,50 per 1M di token di output. Questo rende l'output un po' più di tre volte il prezzo dell'input, quindi il mix del tuo traffico cambia il risultato.

Ecco come varia il prezzo medio con il rapporto tra token di input e token di output:

Rapporto input : outputCosto per 1M di token totaliMedia per 1M
1 : 10,5M x $0,15 + 0,5M x $0,50 = $0,325$0.325
3 : 10,75M x $0,15 + 0,25M x $0,50 = $0,2375$0.2375
10 : 1circa 0,909M x $0,15 + 0,091M x $0,50 = $0,1818circa $0,18
1 : 30,25M x $0,15 + 0,75M x $0,50 = $0,4125$0.4125

Un riassuntore legge molto e scrive poco, quindi si posiziona vicino alla riga 10 : 1. Un generatore di storie scrive molto da un prompt breve e si posiziona vicino a 1 : 3. Quando confronti due provider, calcola entrambe le righe per il tuo rapporto. Un provider più economico sull'input può perdere su un carico di lavoro che richiede molta generazione.

La lunghezza del contesto cambia la fattura

Le app di chat inviano di nuovo l'intera conversazione a ogni turno. Se una chat cresce fino a 20 turni, il turno 20 trasporta tutti i 19 scambi precedenti come input. Il costo di una conversazione cresce quindi più velocemente della sua lunghezza.

Un esempio pratico. Ogni turno aggiunge 300 token di testo utente e 300 token di risposta, e il prompt di sistema è di 500 token. L'input al turno n è 500 + (n - 1) x 600 + 300 token. Sommati su 20 turni sono 20 x 800 + 600 x 190 = 130.000 token di input, più 20 x 300 = 6.000 token di output. L'input costa 130.000 x $0,15 / 1M = $0,0195 e l'output costa 6.000 x $0,50 / 1M = $0,003, quindi l'intera conversazione di 20 turni costa $0,0225.

La cifra esatta conta meno della forma: l'input domina nelle chat lunghe. Un provider con un prezzo di input basso ti aiuta di più qui rispetto a uno con un prezzo di output basso. Tagliare i turni vecchi, o riassumerli, riduce il costo maggiore. La nostra finestra di contesto è di 100.000 token, prompt più completamento, quindi documenti molto lunghi si adattano, ma costano token di input ogni volta che li invii.

Costi nascosti da verificare

  • Ricarica minima. La nostra è di $20, con qualsiasi importo intero fino a $500. Un provider con un prezzo per token basso ma una ricarica minima grande può costare di più per un piccolo progetto.
  • Scadenza. Il credito che scade è credito che puoi sprecare. Il nostro non scade mai.
  • Abbonamenti. Una quota mensile trasforma un servizio pay-per-token in un costo fisso. Il nostro è pagamento a consumo.
  • Addebiti per i fallimenti. Le richieste fallite o rifiutate non vengono addebitate qui. Verifica questo aspetto su qualsiasi provider che confronti.
  • Limiti di velocità. Un prezzo basso con un limite di richieste basso ti costringe a comprare un secondo account o a rallentare la tua pipeline. Una chiave completa qui permette 8 richieste concorrenti e 300 al minuto.
  • Commissioni di pagamento e bonus. Aggiungiamo +5% di credito da $50, +10% da $100 e +15% da $200, quindi una ricarica di $200 dà $230.

I nostri tassi con esempi pratici

Tutte le cifre qui sotto usano $0,15 per 1M di input e $0,50 per 1M di output.

Carico di lavoroTokenCosto
Un turno di chat: 2.000 input, 500 output2.500$0,0003 + $0,00025 = $0,00055
1.000 turni di questo tipo2,5M$0,55
Riassumi 10.000 articoli: 3.000 input, 200 output ciascuno32M$4,50 + $1,00 = $5,50
Genera 5.000 storie: 300 input, 1.500 output ciascuno9M$0,225 + $3,75 = $3,975

Controlla la riga del riassuntore: 10.000 x 3.000 = 30M token di input, e 30 x $0,15 = $4,50. 10.000 x 200 = 2M token di output, e 2 x $0,50 = $1,00. Il totale è $5,50. Per la riga delle storie: 5.000 x 300 = 1,5M input, che è $0,225, e 5.000 x 1.500 = 7,5M output, che è $3,75. Il totale è $3,975.

La pagina dei prezzi elenca i tassi e i bonus, e puoi pagare con cripto (USDT su TRC20, USDC su Base).

Misura il tuo costo reale con uno script

Non fidarti delle stime per molto tempo. Esegui 50 prompt rappresentativi e lascia che l'API registri i token. Il codice qui sotto stampa una stima del costo dal campo usage.

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50   # dollars per 1M tokens

def cost(u):
    return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000

total = 0.0
for p in open("prompts.txt"):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": p.strip()}],
    )
    total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))

Moltiplica la media per le tue richieste mensili previste. Fai lo stesso con ogni provider che stai valutando, e mantieni la qualità nel ciclo leggendo un campione di risposte. Un modello più economico che richiede due tentativi per attività non è più economico.

Un confronto in cinque passaggi che puoi completare in un'ora

  1. Scrivi i tuoi token di input e output previsti per richiesta, da un campione di prompt reali.
  2. Moltiplica per il prezzo di input e output di ogni provider, per richiesta e per mese.
  3. Aggiungi i costi fissi: ricarico minimo, abbonamento e qualsiasi credito che scade prima che tu lo usi.
  4. Esegui gli stessi 20 prompt su ogni modello e valuta le risposte, così confronti il costo per buona risposta, non il costo per token.
  5. Controlla i limiti contro il tuo traffico di picco. Se hai bisogno di più di 8 richieste contemporaneamente, chiedi se puoi eseguire una coda invece.

Il risultato è una tabella con una riga per provider e una cifra mensile per il tuo carico di lavoro. Quella tabella è la vera risposta alla domanda nel titolo, e resta valida finché un provider non cambia i suoi prezzi, quindi ricalcolala ogni pochi mesi. Il confronto dei framework aiuta se esegui anche modelli sulla tua hardware, e la pagina errori comuni delle API di chat elenca gli errori che aumentano silenziosamente le fatture, come l'invio della stessa cronologia due volte.

Cosa non può fare l'opzione economica

Qualunque provider tu scelga, puoi ridurre i costi in quattro modi. Limita max_tokens dove una risposta breve è sufficiente, poiché l'output è il lato più costoso. Taglia il prompt di sistema e rimuovi i turni di cui il modello non ha più bisogno. Instrada i compiti semplici, come la classificazione, a prompt brevi con formati di output rigorosi. E registra i token per funzionalità, così noti quando un modello di prompt raddoppia silenziosamente le dimensioni dopo una modifica. Queste abitudini risparmiano più del cambio di provider per pochi centesimi.

Questo servizio è solo testo. Non ha embedding, generazione di immagini o audio e nessun fine-tuning, quindi se ti servono dovrai pagare un altro fornitore per quelli. Esegue un modello a pesi aperti di un fornitore indipendente, ottimizzato per rispondere senza rifiuti sui contenuti per uso adulto legale, e non è l'API ufficiale di alcun fornitore di modelli. I contenuti sessuali che coinvolgono minorenni non sono mai consentiti.

Se è il più economico per te dipende se quel singolo modello è abbastanza buono per la tua attività. Provalo gratuitamente prima: i nuovi utenti possono richiedere $0,50 di credito di prova con un clic sulla pagina della chiave API, senza carta. Poi leggi la documentazione. Se sei nuovo alle basi, cos'è l'inferenza LLM copre i termini usati sopra.

Domande e risposte

Quanto costa un messaggio di chat?

Un turno con 2.000 token di input e 500 token di output costa $0,00055, quindi 1.000 turni costano $0,55.

C'è una tariffa mensile?

No. È pagamento a consumo da credito prepagato, e il credito non scade mai.

Le richieste fallite vengono fatturate?

No. Le richieste fallite o rifiutate non vengono addebitate.

Il prezzo più basso è sempre l'offerta migliore?

No. La quota di output, la lunghezza del contesto, il minimo di ricarica e la qualità della risposta modificano tutti il costo effettivo.

La tua chiave è a un modulo web di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.

Ottieni la chiave API