LLM 推理框架对比与托管 API
本 LLM 推理框架对比涵盖了你可自行运行的引擎(vLLM、llama.cpp、Ollama、TensorRT-LLM、SGLang),并将其与托管的 OpenAI 兼容 API 进行对比。最佳选择取决于你的硬件、流量规模以及你希望投入的运维工作量。
更新时间:

要点
- vLLM、SGLang 和 TensorRT-LLM 专为拥有大量并发用户的服务器 GPU 设计;llama.cpp 和 Ollama 专为单台机器(包括笔记本电脑)设计。
- 自建托管让你掌控权重和数据路径,但即使硬件闲置,你仍需支付硬件和维护费用。
- 托管 API 在空闲时零成本,按 token 计费,适合流量波动大或处于早期阶段的情况。
- 这些工具大多支持 OpenAI API 格式,因此在它们之间切换通常只需更改 Base URL。
决定大局的两个问题
在对比引擎之前,先回答两个问题。首先,你需要自行选择模型吗?如果你必须运行一组特定的权重,提供单一模型的托管服务无法帮助你,此时框架是唯一的选择。其次,你的流量是否稳定?全天候满载运行的 GPU 是物有所值的,而仅在晚间出现流量高峰其余时间闲置的 GPU 则不然。
如果第一个问题的答案是“任何能处理普通成人请求的合格模型均可”,且第二个问题的答案是“不均匀”,那么托管 API 可能是更简单的选择。如果你需要特定的微调模型、拥有稳定的高负载,或必须将所有字节保留在自己的机器上,请查看下方的框架。
逐一介绍框架
vLLM
一种面向 GPU 的开源服务引擎。它以连续批处理著称,通过将新请求加入正在运行的批次来保持 GPU 忙碌,并采用分页方法处理 KV 缓存以浪费更少的内存。它附带一个 OpenAI 兼容的 HTTP 服务器。当你拥有数据中心级 GPU 且有很多并发用户时,它是强有力的默认选择。设置涉及 CUDA 驱动、匹配版本和模型内存规划。
SGLang
另一个面向高吞吐 GPU 服务的开源服务框架,具有结构化输出和前缀重用功能。它与 vLLM 属于同一类别,团队通常会在选择前针对自身工作负载对两者进行基准测试。请谨慎对待任何发布的基准测试:结果会随模型、硬件、提示词长度和版本而变化。
TensorRT-LLM
NVIDIA 用于在 NVIDIA GPU 上编译和运行模型的库。它能从硬件中提取大量性能,但代价是构建和部署过程更复杂,且绑定到单一厂商的生态。当你以规模在 NVIDIA 显卡上运行固定模型,并有工程师维护时,这是合适的选择。
llama.cpp
一种 C/C++ 实现,可在 CPU、Apple Silicon 和许多 GPU 上运行 GGUF 格式的量化模型。它包含 llama-server,提供 OpenAI 风格的接口。量化减少了内存需求,但会以输出质量为代价,具体取决于量化激进程度的。它是笔记本电脑、家庭服务器或离线工具的实际选择。
Ollama
一个用于本地运行模型的友好包装器:你通过名称拉取模型,它负责下载、存储和本地服务器(包括 OpenAI 兼容接口)。它非常适合实验和个人使用。它面向单个用户或少数用户,而非服务于繁忙的公共应用。
并排比较
| 选项 | 最佳匹配 | 你负责管理 | 成本模型 |
|---|---|---|---|
| vLLM / SGLang | 服务器 GPU 上的大量用户 | 驱动、GPU、扩展、更新 | 硬件(无论是否忙碌) |
| TensorRT-LLM | 在 NVIDIA 显卡上大规模运行固定模型 | 构建、部署、调优 | 硬件及工程时间 |
| llama.cpp | 笔记本电脑、小型服务器、离线使用 | 模型文件、量化选择 | 你自己的机器 |
| Ollama | 本地实验、个人工具 | 模型下载、磁盘空间 | 你自己的机器 |
| 托管 API | 波动或早期流量,无需 GPU 运维 | API 密钥和你的代码 | 按 token 计费,闲置时无费用 |
表格有意省略速度数据。吞吐量取决于模型、量化、提示词长度和批次大小,因此他人设置中的数字通常无法直接迁移到你的环境。
托管 API 放弃什么,以及提供什么
本网站描述的托管选项是一个仅文本的、兼容 OpenAI 的 API,运行一个开放权重模型,由独立提供商运营,并针对合法成人用途进行调优,以无内容拒绝地回答。模型 ID 为 uncensored。它支持流式输出、函数调用和 JSON 模式,拥有 100,000-token 上下文窗口。
你放弃的是明确的:无法选择或交换权重,无法微调。没有嵌入、图像、音频或视频生成,且服务受速率限制:完整密钥允许 8 个并发请求和每分钟 300 个请求,试用密钥允许 2 个和 60 个。它也不是任何模型厂商的官方 API。
你获得的是零基础设施。无需购买 GPU,无需更新引擎,也没有空闲成本。你从预付额度中支付每 1M 输入 token $0.15 和每 1M 输出 token $0.50,该额度永不过期,失败或被拒绝的请求不收费。定价页面列出了充值金额和奖金。
人们自建时忘记的成本
GPU 的价格只是预算的第一行。从 API 迁移到自建服务器的团队往往会对第二和第三行感到惊讶。
- 内存余量。 权重并非 GPU 内存的唯一需求。KV 缓存随每个并发请求和上下文 token 的增长而增加,因此即使能轻松加载模型的显卡,在 20 个带有长提示词的并发用户下仍可能耗尽内存。
- 空闲时间。 夜间和周末时段的成本与高峰时段相同。自动扩展有帮助,但启动 GPU 节点并加载大型权重需要几分钟,而非几秒。
- 升级与故障。 推理引擎发布频繁。驱动更新或新版本可能改变行为,且有人必须在生产环境使用前进行测试。
- 安全与滥用处理。 使用你自己的部署时,过滤策略、日志记录和滥用响应由你设计并负责。
这并不意味着自建托管是个坏主意。这意味着对比应包含人力时间,而不仅仅是机器的每小时价格。
使用你自己的数据进行的成本检查
公平的比较方式是为你的实际工作负载定价。假设一个应用每月使用 100M 输入 token 和 20M 输出 token。
- 输入:100 x $0.15 = $15。
- 输出:20 x $0.50 = $10。
- 总计:$25(月度)。
现在将替代方案的月度成本与之并列:服务器或 GPU 租赁费、自有硬件的电力成本,以及有人维护其运行所花费的时间。自行查看硬件或云 GPU 的当前价格,因为它们经常变动。如果你的替代方案在同等用量下比 API 账单更便宜,且你能保持机器满载,则自托管在成本上胜出。如果 API 账单更低,或者你的负载波动较大,则托管方案胜出。
反向情况也很重要。在该用量的 10 倍下,同样的计算得出每月 $250,运行你选择的模型的专用 GPU 可能开始看起来更划算,特别是如果你需要该服务未提供的模型。当你的用量发生变化时,请重新计算。
两侧使用相同的客户端代码
此类的一个有用特性是,vLLM、llama.cpp、Ollama 和大多数托管服务都暴露 OpenAI 请求格式。你的应用代码无需知道 URL 背后是哪一个。只需更改 base URL、密钥和模型名称。以下是托管端点的客户端:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
如果你稍后迁移到自己的服务器,只需编辑 base URL 和模型名称,其余保持不变。这使得在托管端开始、测量真实的 token 用量并基于数据决定硬件变得低风险。快速入门涵盖了流式输出、工具调用和 JSON 模式,试用密钥可从密钥页面获取。
你应该选择哪一个
- 你想在本周尝试想法:使用托管 API,或者如果你有性能足够的计算机并希望一切本地化,则使用 Ollama。
- 你需要特定模型或私有微调:在租赁或自有 GPU 上运行 vLLM 或 SGLang。
- 你在 NVIDIA 硬件上以规模运行固定模型并有平台团队:值得测试 TensorRT-LLM。
- 你需要离线运行或极小占用:使用量化模型的 llama.cpp。
- 你需要一个拒绝率低且无需硬件工作的文本模型:此处的托管接口,请注意上述限制。
更多指南
问答
vLLM 比 llama.cpp 更好吗?
它们针对不同的设置。vLLM 专为在服务器 GPU 上服务大量用户而构建,而 llama.cpp 专为在单台机器(包括 CPU 和笔记本电脑)上运行量化模型而构建。
我可以使用 OpenAI SDK 配合这些框架吗?
通常可以。vLLM、llama.cpp 的服务器和 Ollama 均提供 OpenAI 兼容的接口,此托管 API 也是如此。你只需更改 Base URL、密钥和模型名称。
自托管何时比 API 更便宜?
当你的硬件和维护的月成本低于 API 上的 token 用量成本,且你能让硬件保持繁忙时。按每 1M token $0.15 和 $0.50 为你的工作负载定价,即可算出。
托管 API 允许我选择模型吗?
不可以。它提供 ID 为 uncensored 的单一模型。如果你需要特定的权重,你需要自行运行它们。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。
获取 API 密钥