什么是 LLM 推理?Token、延迟与成本
如果你想知道什么是 LLM 推理,简而言之:这是训练好的语言模型读取你的提示词并逐个 token 生成回复的步骤。本页将解释其工作原理及成本。
更新时间:

要点
- 推理是运行已完成训练的模型以生成输出;训练是创建模型时经历的、成本更高的步骤。
- 一次请求包含两个阶段:读取提示词(预填充)和逐个 token 生成答案(解码)。
- 成本和速度都遵循 token 数量,因此输入长度、输出长度和上下文窗口比任何其他因素都更重要。
- 使用托管 API 时,你按 token 付费且无需 GPU;使用自有硬件时,无论机器是否忙碌,你都需要为其付费。
一段话了解推理
大型语言模型是一个包含数字的文件,称为权重。训练是通过向模型展示海量文本来设定这些数字的过程。推理是之后的所有操作,当你使用训练好的权重来获取答案时,就会发生推理。你发送给模型的每条聊天消息、每个自动补全建议以及返回文本的每次 API 调用都是一个推理请求。
这种区分很重要,因为这两项工作的经济模型不同。训练只发生一次(或几次),需要大型集群。推理在每次有人发送提示词时都会发生,因此它是随用户规模扩展的部分。当人们谈论运行 AI 产品的成本时,他们几乎总是指推理的成本。
模型不会“查找”答案。它会为每个可能的下一个 token 计算概率,选择一个,将其附加到文本中,然后重复。这个循环就是整个机制,本页的其余部分将更详细地介绍它。
一次请求中发生了什么
以单个聊天请求为例,从你的代码一直跟踪到最后一个字符。
- 分词。 你的文本被拆分为 token,即字符块。token 通常是一个短词或长词的一部分。英语的一个经验法则是每个 token 约四个字符,但具体取决于语言和代码等内容。
- 预填充。 模型在一次传递中处理所有提示词 token。这是并行工作,它会构建模型继续生成文本所需的内部状态。
- 解码。 模型生成第一个输出 token,然后是第二个,依此类推。每个新 token 都依赖于之前的所有 token,因此这一阶段是串行的。这是大多数请求中较慢的部分。
- 采样。 在每一步中,模型都会为其词表中的每个 token 给出一个评分。
temperature和top_p等设置决定了如何从这些评分中选择下一个 token。低温度下,模型几乎每次都会选择最可能的 token;较高的温度则允许更多的多样性。 - 停止。 当模型生成文本结束 token、达到你定义的
stop序列或达到 token 限制时,生成结束。
Prefill 和解码以不同方式消耗硬件资源。Prefill 主要受限于原始计算能力。解码主要受限于 GPU 从内存中读取模型权重的速度,因为每个 token 都需要访问这些权重。这就是为什么长回答比同等长度的长问题明显更慢的原因。
Token、上下文窗口和 KV 缓存
推理中的所有操作都以 token 为单位衡量。你的提示词、系统消息、对话的先前轮次以及回复都会计入。上下文窗口 是模型同时容纳的最大 token 数,包括提示词和补全。在本服务中,上下文窗口为 100,000 token,补全可以使用提示词留下的任何剩余空间。
为了避免为每个新 token 重新计算整个对话,推理引擎会保留一个 KV 缓存:已处理 token 的中间键和值。缓存随上下文长度增长并占用 GPU 内存。这是长上下文服务成本高昂的主要原因,也是服务器一次只能处理有限数量长请求的原因。
对你作为开发者的一个实际影响是:如果在每一轮都重新发送完整历史记录的聊天,每次都会为这些历史记录付费。如果对话增长到 20,000 token,每条新消息都会携带这 20,000 个输入 token。修剪或总结旧轮次是你可用的最便宜的速度和成本优化方法,且无需在服务器端进行更改。
延迟:为什么有两个数值
人们经常询问模型有多快,但这里有两个独立的测量指标。
- 首个 token 的时间。 指在出现任何文本之前需要等待的时间。它包括网络时间、服务器排队时间和 prefill 时间。长提示词会使其增加。
- 生成速度。 第一个 token 之后 token 到达的速度。它取决于模型大小、硬件以及同一 GPU 在同一时刻正在处理的其他请求数量。
流式输出正是由于这种拆分而存在。启用 stream: true 时,服务器会随生成结果发送 token,因此用户可以在首个 token 出现后立即开始阅读,而无需等待完整回答。总耗时相同,但界面感觉快得多。对于聊天、角色扮演和写作工具,流式输出几乎总是正确的默认设置。
规划并发时需要注意的一个细节是:流式请求会占用其槽位直到流结束,而不仅仅是直到第一个 token 到达。如果你的密钥允许 8 个并发请求,八个正在进行的长流意味着第九个请求必须等待或收到 429 响应。
推理的成本,附带真实数据
托管推理按 token 计费,输入和输出因处理工作量不同而价格不同。本服务对每 1M 输入 token 收取 $0.15,对每 1M 输出 token 收取 $0.50,从预付额度中扣除,无需订阅。以下是几个典型请求的费用计算方式。
| 请求 | 输入 token | 输出 token | 成本 |
|---|---|---|---|
| 短聊天消息 | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| 带历史记录的聊天 | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| 长文档摘要 | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| 完整的 100,000 token 提示词,短回复 | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
计算很简单:将 token 数量除以一百万,然后乘以单价。对于“带历史记录的聊天”行,2,000 / 1,000,000 x $0.15 = $0.0003,500 / 1,000,000 x $0.50 = $0.00025,合计 $0.00055。一千次此类请求的费用为 $0.55。
两项计费细节有助于预算规划。失败或被拒绝的请求不收费,且额度不会过期,因此充值不会像时钟一样倒计时。每个响应都包含一个 X-Balance-USD 头部,允许你的代码在不进行单独调用的情况下监控剩余余额。
托管推理还是使用你自己的 GPU
你有两种方式获取推理能力。你可以租用或购买 GPU,安装推理引擎并自行运行模型。或者,你可以调用 API,让其他人操作硬件。
自行运行可以完全控制模型文件、设置和数据路径。代价是运营工作:选择适合权重和 KV 缓存的硬件,保持驱动和引擎更新,处理流量高峰,并在空闲时段为机器付费。托管 API 将其转化为按 token 计费。当你的流量不均匀或仍在测试想法时,这通常是更快的途径。
此处描述的服务是一个托管的、兼容 OpenAI 的、仅文本的 API。它运行一个开放权重模型,由独立供应商运营,并针对合法成人用途下的无内容审查进行优化。它不是任何模型供应商的官方 API,也不生成图像、音频或视频,不创建嵌入或微调模型。如果你需要其中任何功能,你需要不同的工具。如果你需要极少拒绝的纯文本生成,快速入门 展示了设置方法,定价页面 列出了充值选项。
亲自尝试一次推理调用
使概念具体化的最快方法是发送一个请求并读取它返回的数字。在创建密钥后,此 curl 命令向接口发送聊天补全:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
JSON 响应包含一个 usage 对象,其中有 prompt_tokens、completion_tokens 和 total_tokens。将这些数值乘以上述价格,即可得到调用的确切成本。使用 OpenAI SDK 的 Python 代码如下:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
新用户可以在注册后在密钥页面一键领取 $0.50 的试用额度。无需信用卡,有效期 7 天,按上述价格计算,大约可以覆盖两千条短聊天消息。如果遇到你不认识的错误,故障排除文章 列出了常见原因。
更多指南
问答
推理与运行模型是一回事吗?
是的。在训练好的模型上对新输入进行处理以生成输出即为推理。调整权重的训练是另一个更早的步骤。
为什么输出比输入更贵?
输入 token 在一个并行步骤中一起处理,而输出 token 则逐个生成。供应商对较慢的串行部分定价更高,本服务对每 1M token 收取 $0.15(输入)和 $0.50(输出)。
更长的上下文窗口会使请求变慢吗?
通常是的。更长的提示词意味着更多的预填充工作和更大的 KV 缓存,因此首个 token 的生成时间会增加。你只需为实际发送和接收的 token 付费,无需为 100,000-token 窗口中未使用的部分付费。
使用推理 API 需要 GPU 吗?
不需要。供应商负责运行硬件。你可以从任何机器(包括笔记本电脑或小型服务器)发送 HTTPS 请求。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。
获取 API 密钥