LLM Inference API:流式输出、工具调用与 JSON 模式
LLM 推理 API 允许你通过 HTTPS 发送提示词并获取生成的文本,无需本地 GPU。本页面展示了针对 OpenAI 兼容接口的完整设置,从首次请求到流式输出、工具、JSON 模式和速率限制。
更新时间:

要点
- 将任何 OpenAI SDK 指向 https://api.llminferenceapi.com/v1,使用模型 ID uncensored,并将密钥作为 Bearer token 发送。
- 提供两个接口:POST /v1/chat/completions 和 GET /v1/models。
- 流式输出、工具调用和 JSON 模式通过标准请求字段工作。
- 完整密钥允许 8 个并发请求和每分钟 300 个请求;429 响应会告知你触发了哪个限制。
首次调用前的准备
你需要三样东西:base URL、密钥和模型名称。base URL 是 https://api.llminferenceapi.com/v1,模型 ID 是 uncensored,密钥来自你通过 Google 或邮箱密码注册后的 API 密钥页面。新用户可以在那里一键领取 $0.50 的试用额度。它不需要银行卡,有效期为 7 天,每人限领一次。
服务仅支持文本。它暴露了 POST /v1/chat/completions 和 GET /v1/models 端点。没有嵌入路由,没有图像或音频生成功能,也没有微调功能。它运行一个开放权重模型,由独立提供商运营,经过调整以在不拒绝内容的情况下生成回复,适用于合法的成年人用途。它不是任何模型供应商的官方 API。有一条硬性规则:禁止包含使未成年人色情化的内容。
将密钥保存在环境变量中,而非源代码中。以下示例从 API_KEY 读取密钥(取决于语言支持)。
你的第一次请求
先从 curl 开始,因为它能清晰展示网络传输内容。
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "List three uses of a message queue."}
],
"temperature": 0.7
}'
回复是标准的聊天补全对象:choices[0].message.content 包含文本,usage 包含 token 计数。你也可以通过 GET /v1/models 列出模型,这是调试前确认密钥和 URL 是否正确的一种快速方法。
在 Python 中使用官方 OpenAI SDK 时,仅构造函数发生变化:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)
在 Node.js 中:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llminferenceapi.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);
补全可以使用提示词之后 100,000 token 上下文窗口中剩余的任何部分,因此 max_tokens 是可选的。当你希望为成本或长度设置硬性上限时,请设置它。采样控制参数如 temperature、top_p、stop、seed 以及频率和存在惩罚均会透传。
有两个设置值得尽早了解。seed 使采样可重复,便于测试,有助于在比较两个版本的提示词时确保差异仅来自提示词而非随机性。stop 接受一个或多个字符串,当模型生成这些字符串时立即结束生成,这是一种廉价方法,可在定界符处截断回复,避免为将被丢弃的 token 付费。
流式响应
使用 stream: true 时,服务器通过服务器发送事件进行回答,并以小增量发送文本。用户会很快看到开头的文字,这在聊天界面中很重要。使用情况数据在流结束时到达。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
有两个细节容易被忽略。首先,最后一个块可能包含使用情况以及空的 choices 列表,因此在索引之前请检查 choices 是否非空。其次,流式请求会占用并发槽位,直到流结束。如果客户端打开流但从未将其读取至结束,该槽位将保持忙碌,导致你的后续请求遇到 concurrency 错误。请务必关闭或完全消费流。
函数调用
工具调用允许模型请求你的代码运行函数并使用结果。你在 tools 中描述函数,可选地通过 tool_choice 引导选择,执行模型请求的任何操作,并将输出作为 role: "tool" 的消息返回。
import json
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its id.",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
请安全地解析 function.arguments。它是由语言模型生成的 JSON 字符串,偶尔可能出现格式错误或包含你未定义的字段。在根据它执行操作前,请先进行验证,尤其是在该函数会修改数据时。工具调用也支持流式输出,此时 tool_calls 会以片段形式到达,你需要按索引将它们拼接后再进行解析。
管理对话历史
API 是无状态的。它不记住之前的请求,因此多轮聊天仅靠你的代码每次重新发送之前的轮次来实现。维护一个消息列表,追加用户的新消息,调用接口,然后在下一轮之前追加助手的回复。
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=history)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))
由于每一轮都会重新发送历史记录,输入 token 的数量会随着聊天长度而增长。上下文窗口容纳 100,000 个 token,这对于大多数对话来说已经足够,但在达到限制之前成本就会显著上升。一种常见的模式是保留系统消息和最后几轮对话,并用模型自己生成的简短摘要替换较早的轮次。每次调用后读取 usage.prompt_tokens 以查看历史记录的大小。
JSON 模式
当需要机器可读的输出时,将 response_format 设置为 {"type": "json_object"},并在提示词中说明需要 JSON。描述预期的键可使结果更稳定。
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
{"role": "user", "content": "Describe a short story about a lost robot."},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
JSON 模式使输出可解析为 JSON,但不强制执行你的模式。请在代码中检查键,并为值缺失的情况保留回退方案。如果因达到 token 限制导致回复被截断,JSON 将不完整,因此不要将 max_tokens 设置得过低以用于结构化输出。
故障排查简短清单
大多数首日问题源于少数几个原因,你可以按顺序排除它们。
- 基础 URL。 它必须以
/v1结尾。SDK 会自动附加/chat/completions,因此已包含路径的 URL 将无法工作。 - 密钥标头。 密钥位于
Authorization: Bearer之后,后接密钥。密钥复制时带入的多余空格或换行符是常见的认证错误原因。 - 模型 ID。 请严格使用
uncensored。其他厂商的模型名称在此无效。 - 请求大小。 主体限制为 8 MB,且提示词加上补全内容必须不超过 100,000 个 token。
- 余额。 查看任何响应中的
X-Balance-USD标头,以查看余额是否是问题所在。 - 引用请求 ID。 如果联系 支持,请包含失败响应中的
X-Request-Id值,以便查找请求。
请注意,拒绝不同于错误。由于模型针对合法成人用途优化以避免内容拒绝,你会看到比过滤服务更少的拒绝,但模型仍可能因模糊提示词而拒绝或给出弱回答。更清晰的系统消息通常比提高 temperature 更能解决此问题。
限制、标头与重试
完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个并发请求和每分钟 60 个请求。请求体最多可达 8 MB。每个响应都包含 X-Request-Id、X-Balance-USD、X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency,这些字段便于记录日志,并在管理屏幕中显示余额。
当你超过限制时,API 会返回 HTTP 429。错误代码 rate_limited 表示每分钟请求过多,concurrency 表示同时请求过多。在临时过载时,你还会收到 429,并带有 Retry-After: 5 标头。一个简单的重试包装器涵盖所有三种情况:
import time
from openai import RateLimitError
def ask(messages, tries=4):
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = 5 if attempt == 0 else 5 * (attempt + 1)
retry_after = getattr(e.response, "headers", {}).get("retry-after")
time.sleep(int(retry_after) if retry_after else wait)
raise RuntimeError("still rate limited after retries")
对于工作池,将池大小限制在你的并发限制内,而不是依赖重试。完整密钥上的八个工作线程很少会看到 concurrency 错误。如果你遇到意外错误,故障排除文章 会介绍常见原因。
付费方式
计费按预付额度按量付费:每 1M 输入 token $0.15,每 1M 输出 token $0.50,无订阅。失败或被拒绝的请求不收费,且预付额度永不过期。一次包含 1,500 个输入 token 和 400 个输出 token 的请求成本为 1,500 / 1,000,000 x $0.15 + 400 / 1,000,000 x $0.50 = $0.000225 + $0.0002 = $0.000425。
充值金额为 $20 至 $500 之间的任意整数金额,从 $50 起有 5% 的奖金,从 $100 起有 10% 的奖金,从 $200 起有 15% 的奖金。你可以通过加密货币(TRC20 上的 USDT、Base 上的 USDC)支付。提示词不用于训练。定价页面 列出了详细信息,快速入门 以简短形式重复了设置步骤。
更多指南
问答
我可以在此 API 中使用官方 OpenAI 库吗?
可以。安装 Python 或 Node 的 OpenAI SDK,将 base URL 设置为 https://api.llminferenceapi.com/v1,传入密钥,并使用模型 ID uncensored。
API 支持函数调用吗?
可以。传入 tools 和可选的 tool_choice,然后将每个结果作为 role 为 tool 的消息返回。也支持流式输出的 tool_calls。
这里的 429 错误是什么意思?
你达到了限制。代码 rate_limited 表示每分钟请求过多,concurrency 表示并发请求过多,Retry-After: 5 标头标记了临时过载。等待并重试。
可用于嵌入或图像吗?
不支持。API 仅支持文本,提供聊天补全和模型列表。
只需填写一个表单即可获取密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。
获取 API 密钥