LLM 推理框架與託管 API 比較
此 LLM 推理框架比較涵蓋你可自行執行的引擎(vLLM、llama.cpp、Ollama、TensorRT-LLM、SGLang),並將其與託管 OpenAI 相容 API 進行比較。最佳選擇取決於你的硬體、流量以及你想承擔多少維運工作。
更新日期:

重點摘要
- vLLM、SGLang 與 TensorRT-LLM 專為具有大量同時使用者的 GPU 伺服器設計;llama.cpp 與 Ollama 則專為單一機器(包括筆電)設計。
- 自託管讓你掌控權重與資料路徑,但即使閒置也需支付硬體與維護費用。
- 託管 API 閒置時無成本,並按 token 計費,適合流量不穩定或初期階段。
- 這些工具大多支援 OpenAI API 格式,因此切換通常只需變更 Base URL。
決定多數情況的兩個問題
在比較引擎之前,先回答兩個問題。第一,你是否需要自行選擇模型?若必須運行特定權重集,提供單一模型的託管服務無法協助你,框架是唯一途徑。第二,你的流量是否穩定?全天候運轉的 GPU 是物有所值的投資;若僅在晚間出現流量尖峰,其餘時間閒置,則不划算。
若第一個問題的答案是「任何能正常回應一般成人請求的合格模型皆可」,且第二個問題的答案是「流量不穩定」,則託管 API 可能是更簡單的選擇。若你需要特定的微調模型、穩定的高負載,或必須將所有資料保留在自己的機器上,請參考下方的框架。
逐一檢視框架
vLLM
適用於 GPU 的開源推理引擎。它以連續批次處理聞名,可透過將新請求加入正在執行的批次來保持 GPU 忙碌,並採用分頁式 KV cache 方法以減少記憶體浪費。它提供 OpenAI 相容的 HTTP 伺服器。當擁有資料中心等級的 GPU 與大量並行請求時,它是強而有力的預設選擇。設定過程涉及 CUDA 驅動程式、版本對應與模型記憶體規劃。
SGLang
另一個旨在提高 GPU 推理吞吐量的開源框架,具備結構化輸出與前綴重用的功能。它與 vLLM 屬於同類框架,團隊通常在選擇前會針對自身工作負載對兩者進行基準測試。請謹慎看待任何公開的基準測試結果:結果會隨模型、硬體、提示詞長度與版本而變化。
TensorRT-LLM
NVIDIA 用於在 NVIDIA GPU 上編譯與執行模型的函式庫。它能從硬體中榨取大量效能,代價是建置與部署流程較複雜,且綁定單一供應商的堆疊。當你在 NVIDIA 卡上以規模運行固定模型,且有工程師維護時,這是有意義的選擇。
llama.cpp
C/C++ 實作,可在 CPU、Apple Silicon 與許多 GPU 上運行 GGUF 格式的量化模型。它包含 llama-server,提供 OpenAI 風格的端點。量化可減少記憶體需求,但會以輸出品質為代價,具體取決於量化的激進程度。這是筆電、家用伺服器或離線工具的實用選擇。
Ollama
用於在本機運行模型的友善封裝:你只需輸入模型名稱即可拉取,它會處理下載、儲存與本機伺服器(包括 OpenAI 相容端點)。這非常適合實驗與個人使用。它針對單一使用者或少數使用者設計,而非服務繁忙的公開應用程式。
並排比較
| 選項 | 最佳選擇 | 你管理 | 計費模式 |
|---|---|---|---|
| vLLM / SGLang | 伺服器 GPU 上的大量使用者 | 驅動程式、GPU、擴展、更新 | 硬體,無論是否運作 |
| TensorRT-LLM | 在 NVIDIA 卡上以規模運行固定模型 | 建置、部署、調整 | 硬體與工程時間 |
| llama.cpp | 筆電、小型伺服器、離線使用 | 模型檔案、量化選擇 | 你自己的機器 |
| Ollama | 本機實驗、個人工具 | 模型下載、磁碟空間 | 你自己的機器 |
| 託管 API | 不穩定或初期流量,無需 GPU 營運 | API 金鑰與你的程式碼 | 按 token 計費,閒置時無成本 |
表格刻意省略速度數據。吞吐量取決於模型、量化、提示詞長度與批次大小,因此他人設定的數據通常無法直接套用於你的環境。
託管 API 讓出什麼,以及提供什麼
本網站描述的託管選項是一個僅限文字、OpenAI 相容的 API,運行單一開放權重模型,由獨立供應商營運,並針對合法成人用途的無審查回應進行調校。模型 ID 為 uncensored。它支援串流輸出、函式呼叫與 JSON 模式,並擁有 100,000-token 上下文視窗。
你讓出的是明確的:你無法選擇或更換權重,也無法微調。沒有嵌入向量、圖像、音訊或影片生成,且服務受速率限制:完整金鑰允許 8 個並行請求與每分鐘 300 個請求,試用金鑰則允許 2 個與 60 個。它也不是任何模型供應商的官方 API。
你獲得的是零基礎設施。無需購買 GPU、更新引擎或支付閒置成本。你從預付額度支付每 1M 輸入 token $0.15 與每 1M 輸出 token $0.50,該額度永不過期,失敗或被拒絕的請求不會計費。定價頁面有儲值金額與贈金資訊。
自託管時常被忽略的成本
GPU 的價格僅是預算的第一行。從 API 轉向自有伺服器的團隊,往往會對第二行與第三行感到驚訝。
- 記憶體餘裕。 權重並非唯一需要 GPU 記憶體的項目。KV cache 會隨著每個並行請求與上下文 token 而增長,因此即使能輕鬆載入模型的卡,在 20 個同時使用長提示詞的使用者時仍可能空間不足。
- 閒置時間。 夜間與週末的成本與高峰時段相同。自動擴展有幫助,但啟動 GPU 節點並載入大型權重需要數分鐘,而非數秒。
- 升級與中斷。 推理引擎發布頻繁。驅動程式更新或新版本可能改變行為,必須有人測試後才能進入生產環境。
- 安全與濫用處理。 擁有自己的部署時,過濾政策、日誌與濫用回應由你設計並負責。
這並不意味著自託管是壞主意。這表示比較應納入人力時間,而不僅是機器的每小時價格。
你可以用自己的數據進行成本檢查
誠實比較的方式是計算您實際工作負載的價格。假設一個應用程式一個月內使用了 100M 輸入 token 和 20M 輸出 token。
- 輸入:100 x $0.15 = $15。
- 輸出:20 x $0.50 = $10。
- 總計:$25(一個月)。
現在將替代方案的每月成本與此並列:伺服器或 GPU 租賃費用、自有硬體的电費,以及有人維護它所需的工時。請自行查詢硬體或雲端 GPU 的當前價格,因為它們經常變動。如果你的替代方案在該用量下的成本低於 API 帳單,且你能讓機器保持忙碌,則自託管在成本上勝出。如果 API 帳單較低,或你的負載呈尖峰狀,則託管方案勝出。
反向情況也很重要。在該用量 10 倍的情況下,相同的計算結果為每月 $250,運行你選擇的模型的專用 GPU 可能會看起來更好,特別是如果你需要該服務未提供的模型時。當你的用量發生變化時,請重新計算。
兩側使用相同的客戶端程式碼
此類別的一個有用特性是,vLLM、llama.cpp、Ollama 和大多數託管服務都提供 OpenAI 請求格式。你的應用程式程式碼不需要知道 URL 背後是哪一個。僅需更改 base URL、金鑰和模型名稱。以下是託管端點的客戶端:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
如果你稍後遷移到自己的伺服器,只需編輯 base URL 和模型名稱,其餘保持不变。這使得在託管端開始、測量實際 token 用量,並根據數據決定硬體變得風險較低。快速入門涵蓋了串流輸出、工具和 JSON 模式,並且可以從金鑰頁面獲取試用金鑰。
你應該選擇哪一個
- 你想在本週嘗試想法:使用託管 API,或者如果你有功能強大的電腦並希望所有內容都在本地運行,則使用 Ollama。
- 你需要精確的模型或私有微調:在租賃或自有 GPU 上使用 vLLM 或 SGLang。
- 你在 NVIDIA 硬體上以規模運行固定模型並擁有平台團隊:值得測試 TensorRT-LLM。
- 你需要離線操作或極小的佔用空間: llama.cpp 搭配量化模型。
- 你需要一個拒絕率低且無需硬體工作的文本模型:此處的託管端點,並考慮上述限制。
更多指南
問答
vLLM 比 llama.cpp 更好嗎?
它們針對不同的設置。vLLM 旨在為伺服器 GPU 上的許多用戶提供服務,而 llama.cpp 旨在在單台機器(包括 CPU 和筆記型電腦)上運行量化模型。
我可以將 OpenAI SDK 與這些框架一起使用嗎?
通常可以。vLLM、llama.cpp 的服務器和 Ollama 都提供 OpenAI 相容的端點,此託管 API 也是如此。你只需更改 base URL、金鑰和模型名稱。
自託管何時比 API 更便宜?
當您的硬體與維護月度成本低於 API 的 token 用量費用,且您能保持硬體持續運轉時。請以每 1M token $0.15 與 $0.50 的價格計算您自己的工作負載,即可得知。
託管 API 讓我選擇模型嗎?
不行。它提供一個模型,ID 為 uncensored。如果你需要特定的權重,你需要自己運行它們。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。
取得 API 金鑰