中文 ▾
获取 API 密钥

LLM Inference API指南

最便宜的 LLM Inference API:如何判断真实成本

每个 token 的价格只是故事的一部分。以下是如何根据决定账单的数字来比较推理 API,并以我们的费率为计算示例。

更新时间:

天平称量 token 方块与硬币以比较 API 成本
等距插图,显示数据包从终端流向云网关,代表推理 API 调用

要点

  1. 将任何 OpenAI SDK 指向 https://api.llminferenceapi.com/v1,使用模型 ID uncensored,并将密钥作为 Bearer token 发送。
  2. 提供两个接口:POST /v1/chat/completions 和 GET /v1/models。
  3. 流式输出、工具调用和 JSON 模式通过标准请求字段工作。
  4. 完整密钥允许 8 个并发请求和每分钟 300 个请求;429 响应会告知你触发了哪个限制。

每百万 token 的价格只是开始

最便宜的 llm 推理 api 是指为你的工作负载提供最低成本的那个,它不一定是定价页面上数字最低的那个。两个提供商可能列出相同的头条价格,但一旦计算输出 token、长提示词、调用失败和最低充值额,账单会大不相同。

在选择前进行四项检查:输入价格、输出价格、模型对长上下文的处理方式,以及预付金额。本文将逐一介绍,并以我们的价格为例进行计算,其他供应商的数据留给你自行计算。查看他们的当前定价,并将数字代入相同的公式。

输入与输出 token

几乎所有 LLM API 都分别对输入和输出计费,且输出通常更贵。我们的费率为每 1M 输入 token $0.15,每 1M 输出 token $0.50。这使得输出价格略高于输入的三倍,因此你的流量比例会改变结果。

混合价格随输入与输出 token 比例的变化如下:

输入 : 输出比例1M 总 token 的成本每 1M 的平均值
1 : 10.5M x $0.15 + 0.5M x $0.50 = $0.325$0.325
3 : 10.75M x $0.15 + 0.25M x $0.50 = $0.2375$0.2375
10 : 1约 0.909M x $0.15 + 0.091M x $0.50 = $0.1818约 $0.18
1 : 30.25M x $0.15 + 0.75M x $0.50 = $0.4125$0.4125

摘要器读取多而写入少,因此它接近 10 : 1 行。故事生成器从短提示词生成大量内容,因此它接近 1 : 3。当你比较两个提供商时,为两种比例计算费用。一个在输入方面更便宜的提供商在生成密集型工作负载中可能会吃亏。

上下文长度改变账单

聊天应用在每一轮都重新发送整个对话。如果聊天增长到 20 轮,第 20 轮携带所有 19 个之前的交互作为输入。因此,对话的成本增长速度快于其长度。

计算示例。每轮增加 300 个用户文本 token 和 300 个回复 token,系统提示词为 500 个 token。第 n 轮的输入为 500 + (n - 1) x 600 + 300 个 token。20 轮的总和为 20 x 800 + 600 x 190 = 130,000 个输入 token,加上 20 x 300 = 6,000 个输出 token。输入成本为 130,000 x $0.15 / 1M = $0.0195,输出成本为 6,000 x $0.50 / 1M = $0.003,因此整个 20 轮对话的成本为 $0.0225。

确切数字不如形状重要:长聊天中输入占主导。具有廉价输入价格的提供商在此处比具有廉价输出价格的提供商更能帮助你。修剪旧轮次或对其进行摘要可以削减最大成本。我们的上下文窗口为 100,000 个 token(提示词加补全),因此非常长的文档可以容纳,但每次发送它们时都会消耗输入 token。

需检查的隐藏成本

  • 最低充值金额。 我们的最低充值金额为 $20,最高可达 $500,充值金额可为任意整数。如果某供应商的单 token 价格低但最低充值金额高,对于小型项目来说总成本可能更高。
  • 过期。 会过期的额度是你可能浪费的额度。我们的额度永不过期。
  • 订阅。 月费将按 token 付费的服务变为固定成本。我们采用按量付费。
  • 失败费用。 失败或被拒绝的请求在此不收费。检查你比较的任何提供商。
  • 速率限制。 低价但低请求上限迫使你购买第二个账号或减慢流水线。此处的完整密钥允许 8 个并发请求和每分钟 300 个请求。
  • 支付费用和奖金。 充值满 $50 加赠 5%,满 $100 加赠 10%,满 $200 加赠 15%,因此充值 $200 可获得 $230。

我们的费率与计算示例

以下所有数字使用每 1M 输入 $0.15 和每 1M 输出 $0.50。

工作负载Token成本
一次对话轮次:输入 2,000 token,输出 500 token2,500$0.0003 + $0.00025 = $0.00055
1,000 次此类轮次2.5M$0.55
总结 10,000 篇文章:每篇输入 3,000 token,输出 200 token32M$4.50 + $1.00 = $5.50
生成 5,000 个故事:每篇输入 300 token,输出 1,500 token9M$0.225 + $3.75 = $3.975

检查摘要器行:10,000 x 3,000 = 30M 输入 token,以及 30 x $0.15 = $4.50。10,000 x 200 = 2M 输出 token,以及 2 x $0.50 = $1.00。总计 $5.50。对于故事行:5,000 x 300 = 1.5M 输入,即 $0.225,以及 5,000 x 1,500 = 7.5M 输出,即 $3.75。总计 $3.975。

定价页面 列出了费率和奖金,你可以使用加密货币(TRC20 上的 USDT、Base 上的 USDC)进行支付。

用脚本测量你的真实成本

不要长期相信估计值。运行 50 个代表性提示词,让 API 报告 token。下面的代码从 usage 字段打印成本估计值。

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50   # dollars per 1M tokens

def cost(u):
    return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000

total = 0.0
for p in open("prompts.txt"):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": p.strip()}],
    )
    total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))

将平均值乘以你预期的每月请求数。对你考虑的所有供应商都进行同样的计算,并通过阅读部分回答来确保质量。如果一个更便宜的模型每个任务需要两次尝试,它实际上并不便宜。

一个一小时可完成的分步比较

  1. 从真实提示词的样本中写下每个请求的预期输入和输出 token。
  2. 乘以每个提供商的输入和输出价格,每个请求和每月。
  3. 添加固定成本:最低充值额、订阅,以及任何在你使用之前过期的额度。
  4. 在每个模型上运行相同的 20 个提示词并对答案进行评分,以便你比较每个好答案的成本,而不是每个 token 的成本。
  5. 将限制与你的峰值流量进行对比。如果你需要同时发起超过 8 个请求,请询问是否可以使用队列来运行。

结果是一个表格,每行对应一个供应商,并列出你工作量的月度费用。该表格是对标题中问题的真实答案,只要供应商不更改价格,该表格就有效,因此建议每隔几个月重新检查一次。如果你还在自己的硬件上运行模型,框架对比 会有所帮助,而 常见聊天 API 错误 页面列出了会悄悄增加账单的错误,例如将同一历史记录重新发送两次。

廉价选项无法做到的功能

无论选择哪个提供商,你都可以通过四种方式降低成本。在短回答已足够时限制max_tokens,因为输出是更昂贵的部分。精简系统提示词,并移除模型不再需要的对话轮次。将简单的任务(如分类)路由到具有严格输出格式的短提示词。按功能记录 token 使用情况,以便在编辑后某个提示词模板悄悄翻倍时及时发现。这些习惯带来的节省比为了几分钱更换提供商要多得多。

此服务仅支持文本。它没有嵌入、图像或音频生成功能,也不支持微调,因此如果需要这些功能,你需要向其他提供商付费。它运行一个由独立提供商提供的开放权重模型,经过调整以在无内容审查的情况下回答合法成人用途的问题,且它不是任何模型供应商的官方 API。涉及未成年人的性内容始终不被允许。

它是否对你来说最便宜,取决于该单一模型是否足以满足你的任务需求。先免费测试:新用户可以在 API 密钥页面 上点击一次领取 $0.50 的免费试用额度,无需绑定银行卡。然后阅读 文档。如果你是新手,什么是 LLM 推理 涵盖了上述使用的术语。

问答

一条聊天消息的成本是多少?

包含 2,000 个输入 token 和 500 个输出 token 的对话轮次成本为 $0.00055,因此 1,000 轮的成本为 $0.55。

有月费吗?

不是。你使用预付额度按量付费,且额度永不失效。

失败的请求会收费吗?

不会。失败或被拒绝的请求不收费。

最低价格总是最划算的吗?

不是。输出占比、上下文长度、最低充值金额和回答质量都会影响实际成本。

只需填写一份表单即可获取密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥