LLM Inference APIGuida
Confronto framework inferenza LLM vs API ospitata
Questo confronto copre i motori che puoi eseguire autonomamente (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) e li confronta con un'API ospitata compatibile OpenAI. La scelta giusta dipende dal tuo hardware, dal traffico e dal carico operativo che vuoi gestire.
Aggiornato:

Punti chiave
- vLLM, SGLang e TensorRT-LLM sono progettati per server GPU con molti utenti simultanei; llama.cpp e Ollama sono pensati per una singola macchina, inclusi i laptop.
- L'auto-gestione offre controllo sui pesi e sul percorso dei dati, ma paghi l'hardware e la manutenzione anche quando è inattivo.
- Un'API ospitata non ha costi inattivi e si fattura per token, ideale per traffico irregolare o iniziale.
- La maggior parte di questi strumenti usa il formato API OpenAI, quindi passare da uno all'altro richiede solitamente di cambiare l'URL base.
Le due domande che decidono quasi tutto
Prima di confrontare i motori, rispondi a due domande. Prima: devi scegliere tu il modello? Se devi eseguire un set specifico di pesi, un servizio ospitato con un solo modello non fa per te e un framework è l'unica via. Seconda: quanto è stabile il tuo traffico? Una GPU occupata 24 ore su 24 è un buon investimento. Una GPU che gestisce picchi serali e resta inattiva il resto del tempo non lo è.
Se la risposta alla prima domanda è "qualsiasi modello capace che non rifiuta richieste normali per adulti va bene" e la risposta alla seconda è "disomogenea", un'API in hosting è probabilmente la scelta più semplice. Se hai bisogno di un particolare fine-tuning, hai un carico pesante e costante o devi tenere ogni byte sulle tue macchine, guarda i framework qui sotto.
I framework, uno per uno
vLLM
Un motore di serving open-source per GPU. È noto per il continuous batching, che mantiene la GPU occupata aggiungendo nuove richieste a un batch in corso, e per un approccio a pagine della cache KV che spreca meno memoria. Include un server HTTP compatibile con OpenAI. È la scelta migliore quando hai una GPU di livello datacenter e molti utenti concorrenti. La configurazione richiede driver CUDA, versioni compatibili e pianificazione della memoria del modello.
SGLang
Un altro framework open-source per il serving di modelli ad alto throughput, con funzionalità per l'output strutturato e il riutilizzo del prefisso. Si colloca nella stessa categoria di vLLM e i team spesso confrontano entrambi sul proprio carico di lavoro prima di sceglierne uno. Tratta con cautela qualsiasi benchmark pubblicato: i risultati variano in base al modello, all'hardware, alla lunghezza del prompt e alla versione.
TensorRT-LLM
La libreria di NVIDIA per compilare ed eseguire modelli su GPU NVIDIA. Può estrarre molte prestazioni da quell'hardware, al prezzo di un processo di build e distribuzione più pesante e di un legame con lo stack di un singolo fornitore. Ha senso quando esegui un modello fisso su larga scala su schede NVIDIA e hai ingegneri per mantenerlo.
llama.cpp
Un'implementazione in C/C++ che esegue modelli quantizzati nel formato GGUF su CPU, Apple Silicon e molte GPU. Include llama-server, che espone un endpoint in stile OpenAI. La quantizzazione riduce la memoria necessaria, con un costo in qualità dell'output che dipende da quanto è aggressiva. È la scelta pratica per un laptop, un server domestico o uno strumento offline.
Ollama
Un wrapper intuitivo per eseguire modelli in locale: scarichi un modello per nome e lui gestisce download, archiviazione e un server locale, incluso un endpoint compatibile con OpenAI. È eccellente per esperimenti e uso personale. È pensato per un utente o pochi, non per servire un'app pubblica molto trafficata.
Lato a lato
| Opzione | La soluzione migliore | Gestisci tu | Modello di costo |
|---|---|---|---|
| vLLM / SGLang | Molti utenti su GPU server | Driver, GPU, scaling, aggiornamenti | Hardware, sia occupato che inattivo |
| TensorRT-LLM | Modello fisso su larga scala su schede NVIDIA | Build, deployment, tuning | Hardware più tempo ingegneristico |
| llama.cpp | Laptop, piccoli server, uso offline | File del modello, scelta della quantizzazione | La tua macchina |
| Ollama | Esperimenti locali, strumenti personali | Download modelli, spazio disco | La tua macchina |
| API Ospitata | Traffico irregolare o iniziale, nessuna operazione GPU | Una chiave API e il tuo codice | Per token, nessun costo a riposo |
La tabella omette volutamente i dati di velocità. Il throughput dipende dal modello, dalla quantizzazione, dalla lunghezza del prompt e dalla dimensione del batch, quindi un numero preso da un'altra configurazione raramente si applica alla tua.
Cosa cedi e cosa ottieni con un'API ospitata
L'opzione in hosting descritta su questo sito è un'API solo testo, compatibile con OpenAI, che esegue un modello a pesi aperti, gestita da un provider indipendente e ottimizzata per rispondere senza rifiuti di contenuti per un uso adulto lecito. L'ID del modello è uncensored. Supporta streaming, chiamata di funzioni e modalità JSON, con una finestra di contesto da 100.000 token.
Quello che cedi è chiaro. Non puoi scegliere o sostituire i pesi. Non puoi fare fine-tuning. Non ci sono embeddings, né generazione di immagini, audio o video, e il servizio è soggetto a limiti di richieste: una chiave completa permette 8 richieste concorrenti e 300 al minuto, una chiave di prova ne permette 2 e 60. Non è inoltre l'API ufficiale di alcun vendor di modelli.
Quello che ottieni in cambio è zero infrastruttura. Non devi comprare GPU, aggiornare motori o pagare costi inattivi. Paghi $0,15 per 1M di token di input e $0,50 per 1M di token di output da credito prepagato che non scade mai, e le richieste fallite o rifiutate non vengono addebitate. La pagina dei prezzi mostra gli importi di ricarica e i bonus.
Costi dimenticati nell'auto-gestione
Il prezzo di una GPU è solo la prima voce di bilancio. I team che passano da un'API ai propri server tendono a essere sorpresi dalle seconde e terze voci.
- Margine di memoria. I pesi non sono l'unica cosa che richiede memoria GPU. La cache KV cresce con ogni richiesta concorrente e ogni token di contesto, quindi una scheda che carica il modello comodamente può comunque rimanere senza spazio a 20 utenti simultanei con prompt lunghi.
- Tempo inattivo. Le ore notturne e del weekend costano quanto quelle di picco. L'autoscaling aiuta, ma avviare un nodo GPU e caricare pesi grandi richiede minuti, non secondi.
- Aggiornamenti e rotture. I motori di serving rilasciano spesso. Un aggiornamento del driver o una nuova versione del motore può cambiare il comportamento, e qualcuno deve testarlo prima che vada in produzione.
- Sicurezza e gestione degli abusi. Con la tua implementazione, la policy di filtraggio, il logging e la risposta agli abusi sono tua responsabilità progettarli e gestirli.
Niente di ciò significa che l'auto-gestione sia una cattiva idea. Significa che il confronto dovrebbe includere il tempo del personale, non solo il prezzo orario di una macchina.
Un controllo costi con i tuoi numeri
Il modo onesto per confrontare è calcolare il costo del tuo carico di lavoro effettivo. Supponiamo che un'app utilizzi 100M di token di input e 20M di token di output in un mese.
- Input: 100 x $0,15 = $15.
- Output: 20 x $0,50 = $10.
- Totale: $25 per il mese.
Ora accosta a questo il costo mensile della tua alternativa: il noleggio del server o della GPU, l'energia se usi hardware tuo, e le ore che qualcuno impiega a mantenerlo in funzione. Verifica i prezzi attuali dell'hardware o delle GPU cloud da solo, poiché cambiano spesso. Se la tua alternativa costa meno del conto API al tuo volume, e riesci a tenere la macchina occupata, il self-hosting vince sul piano economico. Se il conto API è inferiore, o se il tuo carico è discontinuo, la soluzione in hosting vince.
Il caso inverso conta altrettanto. A 10 volte quel volume, lo stesso calcolo dà $250 al mese, e una GPU dedicata che esegue un modello che hai scelto può iniziare a sembrare migliore, specialmente se hai bisogno di un modello che questo servizio non offre. Ricalcola quando il tuo utilizzo cambia.
Stesso codice client da entrambe le parti
Una proprietà utile di questa categoria è che vLLM, llama.cpp, Ollama e la maggior parte dei servizi in hosting espongono tutti il formato di richiesta OpenAI. Il codice della tua applicazione non deve sapere quale sia dietro l'URL. Cambiano solo la base URL, la chiave e il nome del modello. Ecco il client per l'endpoint in hosting:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
Se in seguito passi a un tuo server, modifichi il base URL e il nome del modello e lasci invariato il resto. Questo rende l'avvio a basso rischio, permettendoti di iniziare con la soluzione in hosting, misurare i tuoi volumi reali di token e decidere sull'hardware con dati alla mano. La guida rapida copre lo streaming, gli strumenti e la modalità JSON, e una chiave di prova è disponibile dalla pagina delle chiavi.
Quale scegliere
- Vuoi provare delle idee questa settimana: usa un'API in hosting, o Ollama se hai un computer capace e vuoi tutto in locale.
- Hai bisogno di un modello specifico o di un fine-tuning privato: vLLM o SGLang su GPU affittate o possedute.
- Esegui un modello fisso su larga scala su hardware NVIDIA con un team di piattaforma: TensorRT-LLM vale la pena provarlo.
- Hai bisogno di funzionamento offline o ingombro minimo: llama.cpp con un modello quantizzato.
- Hai bisogno di un modello di testo con pochi rifiuti e senza gestione hardware: l'endpoint in hosting qui, tenendo a mente i limiti sopra indicati.
Altre guide
Domande e risposte
vLLM è migliore di llama.cpp?
Si rivolgono a configurazioni diverse. vLLM è costruito per erogare servizi a molti utenti su GPU server, mentre llama.cpp è costruito per eseguire modelli quantizzati su una singola macchina, inclusi CPU e laptop.
Posso usare l'SDK OpenAI con questi framework?
Generalmente sì. vLLM, il server di llama.cpp e Ollama offrono tutti endpoint compatibili con OpenAI, e lo fa anche questa API in hosting. Cambi la base URL, la chiave e il nome del modello.
Quando l'auto-gestione diventa più economica di un'API?
Quando il costo mensile dell'hardware e della manutenzione è inferiore a quanto costerebbero i tuoi token sull'API, e puoi tenere l'hardware occupato. Valuta il tuo carico di lavoro a $0.15 e $0.50 per 1M di token per scoprirlo.
L'API in hosting mi permette di scegliere il modello?
No. Serve un modello sotto l'ID uncensored. Se hai bisogno di pesi specifici, devi eseguirli tu stesso.
La tua chiave è a un modulo di distanza
Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.
Ottieni la chiave API