繁中 ▾
取得 API 金鑰

LLM Inference API指南

LLM 推理框架與託管 API 比較

此 LLM 推理框架比較涵蓋你可自行執行的引擎(vLLM、llama.cpp、Ollama、TensorRT-LLM、SGLang),並將其與託管 OpenAI 相容 API 進行比較。最佳選擇取決於你的硬體、流量以及你想承擔多少維運工作。

更新日期:

數個伺服器機櫃與一個雲端節點的插圖,比較自託管推理引擎與託管 API

重點摘要

  1. vLLM、SGLang 與 TensorRT-LLM 專為具有大量同時使用者的 GPU 伺服器設計;llama.cpp 與 Ollama 則專為單一機器(包括筆電)設計。
  2. 自託管讓你掌控權重與資料路徑,但即使閒置也需支付硬體與維護費用。
  3. 託管 API 閒置時無成本,並按 token 計費,適合流量不穩定或初期階段。
  4. 這些工具大多支援 OpenAI API 格式,因此切換通常只需變更 Base URL。

決定多數情況的兩個問題

在比較引擎之前,先回答兩個問題。第一,你是否需要自行選擇模型?若必須運行特定權重集,提供單一模型的託管服務無法協助你,框架是唯一途徑。第二,你的流量是否穩定?全天候運轉的 GPU 是物有所值的投資;若僅在晚間出現流量尖峰,其餘時間閒置,則不划算。

若第一個問題的答案是「任何能正常回應一般成人請求的合格模型皆可」,且第二個問題的答案是「流量不穩定」,則託管 API 可能是更簡單的選擇。若你需要特定的微調模型、穩定的高負載,或必須將所有資料保留在自己的機器上,請參考下方的框架。

逐一檢視框架

vLLM

適用於 GPU 的開源推理引擎。它以連續批次處理聞名,可透過將新請求加入正在執行的批次來保持 GPU 忙碌,並採用分頁式 KV cache 方法以減少記憶體浪費。它提供 OpenAI 相容的 HTTP 伺服器。當擁有資料中心等級的 GPU 與大量並行請求時,它是強而有力的預設選擇。設定過程涉及 CUDA 驅動程式、版本對應與模型記憶體規劃。

SGLang

另一個旨在提高 GPU 推理吞吐量的開源框架,具備結構化輸出與前綴重用的功能。它與 vLLM 屬於同類框架,團隊通常在選擇前會針對自身工作負載對兩者進行基準測試。請謹慎看待任何公開的基準測試結果:結果會隨模型、硬體、提示詞長度與版本而變化。

TensorRT-LLM

NVIDIA 用於在 NVIDIA GPU 上編譯與執行模型的函式庫。它能從硬體中榨取大量效能,代價是建置與部署流程較複雜,且綁定單一供應商的堆疊。當你在 NVIDIA 卡上以規模運行固定模型,且有工程師維護時,這是有意義的選擇。

llama.cpp

C/C++ 實作,可在 CPU、Apple Silicon 與許多 GPU 上運行 GGUF 格式的量化模型。它包含 llama-server,提供 OpenAI 風格的端點。量化可減少記憶體需求,但會以輸出品質為代價,具體取決於量化的激進程度。這是筆電、家用伺服器或離線工具的實用選擇。

Ollama

用於在本機運行模型的友善封裝:你只需輸入模型名稱即可拉取,它會處理下載、儲存與本機伺服器(包括 OpenAI 相容端點)。這非常適合實驗與個人使用。它針對單一使用者或少數使用者設計,而非服務繁忙的公開應用程式。

並排比較

選項最佳選擇你管理計費模式
vLLM / SGLang伺服器 GPU 上的大量使用者驅動程式、GPU、擴展、更新硬體,無論是否運作
TensorRT-LLM在 NVIDIA 卡上以規模運行固定模型建置、部署、調整硬體與工程時間
llama.cpp筆電、小型伺服器、離線使用模型檔案、量化選擇你自己的機器
Ollama本機實驗、個人工具模型下載、磁碟空間你自己的機器
託管 API不穩定或初期流量,無需 GPU 營運API 金鑰與你的程式碼按 token 計費,閒置時無成本

表格刻意省略速度數據。吞吐量取決於模型、量化、提示詞長度與批次大小,因此他人設定的數據通常無法直接套用於你的環境。

託管 API 讓出什麼,以及提供什麼

本網站描述的託管選項是一個僅限文字、OpenAI 相容的 API,運行單一開放權重模型,由獨立供應商營運,並針對合法成人用途的無審查回應進行調校。模型 ID 為 uncensored。它支援串流輸出、函式呼叫與 JSON 模式,並擁有 100,000-token 上下文視窗。

你讓出的是明確的:你無法選擇或更換權重,也無法微調。沒有嵌入向量、圖像、音訊或影片生成,且服務受速率限制:完整金鑰允許 8 個並行請求與每分鐘 300 個請求,試用金鑰則允許 2 個與 60 個。它也不是任何模型供應商的官方 API。

你獲得的是零基礎設施。無需購買 GPU、更新引擎或支付閒置成本。你從預付額度支付每 1M 輸入 token $0.15 與每 1M 輸出 token $0.50,該額度永不過期,失敗或被拒絕的請求不會計費。定價頁面有儲值金額與贈金資訊。

自託管時常被忽略的成本

GPU 的價格僅是預算的第一行。從 API 轉向自有伺服器的團隊,往往會對第二行與第三行感到驚訝。

  • 記憶體餘裕。 權重並非唯一需要 GPU 記憶體的項目。KV cache 會隨著每個並行請求與上下文 token 而增長,因此即使能輕鬆載入模型的卡,在 20 個同時使用長提示詞的使用者時仍可能空間不足。
  • 閒置時間。 夜間與週末的成本與高峰時段相同。自動擴展有幫助,但啟動 GPU 節點並載入大型權重需要數分鐘,而非數秒。
  • 升級與中斷。 推理引擎發布頻繁。驅動程式更新或新版本可能改變行為,必須有人測試後才能進入生產環境。
  • 安全與濫用處理。 擁有自己的部署時,過濾政策、日誌與濫用回應由你設計並負責。

這並不意味著自託管是壞主意。這表示比較應納入人力時間,而不僅是機器的每小時價格。

你可以用自己的數據進行成本檢查

誠實比較的方式是計算您實際工作負載的價格。假設一個應用程式一個月內使用了 100M 輸入 token 和 20M 輸出 token。

  • 輸入:100 x $0.15 = $15。
  • 輸出:20 x $0.50 = $10。
  • 總計:$25(一個月)。

現在將替代方案的每月成本與此並列:伺服器或 GPU 租賃費用、自有硬體的电費,以及有人維護它所需的工時。請自行查詢硬體或雲端 GPU 的當前價格,因為它們經常變動。如果你的替代方案在該用量下的成本低於 API 帳單,且你能讓機器保持忙碌,則自託管在成本上勝出。如果 API 帳單較低,或你的負載呈尖峰狀,則託管方案勝出。

反向情況也很重要。在該用量 10 倍的情況下,相同的計算結果為每月 $250,運行你選擇的模型的專用 GPU 可能會看起來更好,特別是如果你需要該服務未提供的模型時。當你的用量發生變化時,請重新計算。

兩側使用相同的客戶端程式碼

此類別的一個有用特性是,vLLM、llama.cpp、Ollama 和大多數託管服務都提供 OpenAI 請求格式。你的應用程式程式碼不需要知道 URL 背後是哪一個。僅需更改 base URL、金鑰和模型名稱。以下是託管端點的客戶端:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir short story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)

如果你稍後遷移到自己的伺服器,只需編輯 base URL 和模型名稱,其餘保持不变。這使得在託管端開始、測量實際 token 用量,並根據數據決定硬體變得風險較低。快速入門涵蓋了串流輸出、工具和 JSON 模式,並且可以從金鑰頁面獲取試用金鑰。

你應該選擇哪一個

  • 你想在本週嘗試想法:使用託管 API,或者如果你有功能強大的電腦並希望所有內容都在本地運行,則使用 Ollama。
  • 你需要精確的模型或私有微調:在租賃或自有 GPU 上使用 vLLM 或 SGLang。
  • 你在 NVIDIA 硬體上以規模運行固定模型並擁有平台團隊:值得測試 TensorRT-LLM。
  • 你需要離線操作或極小的佔用空間: llama.cpp 搭配量化模型。
  • 你需要一個拒絕率低且無需硬體工作的文本模型:此處的託管端點,並考慮上述限制。

問答

vLLM 比 llama.cpp 更好嗎?

它們針對不同的設置。vLLM 旨在為伺服器 GPU 上的許多用戶提供服務,而 llama.cpp 旨在在單台機器(包括 CPU 和筆記型電腦)上運行量化模型。

我可以將 OpenAI SDK 與這些框架一起使用嗎?

通常可以。vLLM、llama.cpp 的服務器和 Ollama 都提供 OpenAI 相容的端點,此託管 API 也是如此。你只需更改 base URL、金鑰和模型名稱。

自託管何時比 API 更便宜?

當您的硬體與維護月度成本低於 API 的 token 用量費用,且您能保持硬體持續運轉時。請以每 1M token $0.15 與 $0.50 的價格計算您自己的工作負載,即可得知。

託管 API 讓我選擇模型嗎?

不行。它提供一個模型,ID 為 uncensored。如果你需要特定的權重,你需要自己運行它們。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰