LLM Inference API:串流輸出、工具與 JSON 模式
LLM 推理 API 讓你透過 HTTPS 傳送提示詞並取得生成的文字,無需在本機使用 GPU。本頁展示針對 OpenAI 相容端點的有效設定,從第一個請求到串流輸出、工具、JSON 模式與速率限制。
更新日期:

重點摘要
- 將任何 OpenAI SDK 指向 https://api.llminferenceapi.com/v1,使用模型 ID uncensored,並將你的金鑰作為 Bearer token 傳入。
- 提供兩個端點:POST /v1/chat/completions 與 GET /v1/models。
- 串流輸出、工具呼叫與 JSON 模式透過標準請求欄位運作。
- 完整金鑰允許 8 個並行請求與每分鐘 300 個請求;429 回應會告訴你觸及哪個限制。
首次呼叫前所需準備
你需要三樣東西:Base URL、金鑰與模型名稱。Base URL 是 https://api.llminferenceapi.com/v1,模型 ID 是 uncensored,金鑰來自 API 金鑰頁面,需透過 Google 或電子郵件與密碼註冊後取得。新用戶可點擊一次領取 $0.50 的免費試用額度。無需信用卡,有效期 7 天,每人限領一次。
服務僅限文字。它提供 POST /v1/chat/completions 和 GET /v1/models。沒有 embeddings 路由、沒有圖像或音訊生成,也沒有微調功能。它運行一個開放權重模型,由獨立供應商營運,並針對合法成人用途進行調整以無內容拒絕地回答。它不是任何模型供應商的官方 API。有一項嚴格規定:不得出現將未成年人性化的內容。
將金鑰保存在環境變數中,而非原始碼中。以下範例在語言允許的情況下從 API_KEY 讀取。
你的首次請求
從 curl 開始,因為它能清楚顯示實際傳輸的內容。
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "List three uses of a message queue."}
],
"temperature": 0.7
}'
回覆是標準的聊天完成物件:choices[0].message.content 包含文字,usage 包含 token 計數。你也可以使用 GET /v1/models 列出模型,這是確認金鑰與 URL 正確性的快速方法,可在除錯其他問題前使用。
在 Python 中使用官方 OpenAI SDK 時,僅建構子有所不同:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)
在 Node.js 中:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llminferenceapi.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);
完成內容可使用提示詞剩餘的 100,000-token 上下文視窗空間,因此 max_tokens 是可選的。若希望對成本或長度設下硬性上限,請設定它。採樣控制參數如 temperature、top_p、stop、seed 以及頻率與存在懲罰,都會原樣傳遞。
有兩個設定值得從一開始就了解。seed 使採樣結果可重複,便於測試;當你要比較兩個版本的提示詞,且希望差異來自提示詞而非隨機性時,這很有幫助。stop 接受一個或多個字串,當模型寫出這些字串時會立即結束生成,這是透過分隔符號截斷回覆的廉價方法,可避免為會丟棄的 token 付費。
串流回應
使用 stream: true 時,伺服器透過伺服器發送事件(SSE)回覆,並以微小區塊傳送文字。使用者能迅速看到前幾個字,這在聊天介面中很重要。用量資訊會在串流結束時傳送。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
有兩個細節容易被忽略。第一,最後一個區塊可能包含用量與空的 choices 列表,因此在索引前請檢查 choices 是否非空。第二,串流請求會佔用其並行槽位,直到串流結束。如果客戶端開啟串流卻未讀取至結束,該槽位將保持忙碌,導致你的後續請求觸及 concurrency 錯誤。請務必關閉或完全讀取串流。
工具呼叫
工具呼叫讓模型要求你的程式碼執行函式並使用結果。你在 tools 中描述函式,可選地以 tool_choice 引導選擇,執行模型要求的任何內容,然後以 role: "tool" 的訊息傳回輸出。
import json
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its id.",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
請謹慎解析 function.arguments。它是語言模型產生的 JSON 字串,偶爾可能格式錯誤或包含你未定義的欄位。在執行動作前請驗證它,特別是當函式會變更資料時。工具呼叫也支援串流,此時 tool_calls 以片段形式到達,必須先依索引拼接再解析。
管理對話歷史
API 是無狀態的。它不會記住先前的請求,因此多輪聊天僅因你的程式碼每次重新傳送先前的輪次而運作。保留訊息列表,附加使用者的新訊息,呼叫端點,然後在下一輪之前附加助手的回覆。
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=history)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))
因為每一輪都會重新傳送歷史,輸入 token 會隨聊天長度增長。上下文視窗可容納 100,000 個 token,對大多數對話來說已足夠,但成本在觸及限制前就會攀升。常見模式是保留系統訊息與最近幾輪對話,並將較舊的輪次替換為模型自行撰寫的簡短摘要。每次呼叫後請讀取 usage.prompt_tokens 以查看歷史記錄的大小。
JSON 模式
當你需要機器可讀取的輸出時,將 response_format 設為 {"type": "json_object"},並在提示詞中說明你想要 JSON。描述你預期的鍵名,可使結果更穩定。
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
{"role": "user", "content": "Describe a short story about a lost robot."},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
JSON 模式使輸出可解析為 JSON,但不會強制執行你的結構描述。請在程式碼中檢查鍵名,並在值遺失時保留備用方案。如果回覆因達到 token 限制而被截斷,JSON 將不完整,因此不要為結構化輸出將 max_tokens 設得太低。
故障排除簡短檢查清單
大多數首日問題來自少數幾個原因,你可以依序排除它們。
- Base URL。 它必須以
/v1結尾。SDK 會自行附加/chat/completions,因此已包含路徑的 URL 無法運作。 - 金鑰標頭。 金鑰需放在
Authorization: Bearer之後。金鑰複製時多出的空白或換行是常見的驗證錯誤原因。 - 模型 ID。請精確使用
uncensored。其他廠商的模型名稱在此無效。 - 請求大小。 主體限制為 8 MB,提示詞與完成內容必須在 100,000 個 token 內。
- 餘額。 查看任何回應上的
X-Balance-USD標頭,以確認是否為額度不足的問題。 - 引用請求 ID。 如果你聯繫 support,請包含失敗回應中的
X-Request-Id值,以便找到該請求。
請留意,拒絕回覆不等於錯誤。因為模型針對合法成人用途調整為避免內容拒絕,你會看到比過濾服務更少的拒絕,但模型仍可能拒絕或對模糊提示詞給出較弱的回答。更清晰的系統訊息通常比提高溫度更能解決此問題。
限制、標頭與重試
完整金鑰允許 8 個並行請求與每分鐘 300 個請求。試用金鑰允許 2 個並行請求與每分鐘 60 個請求。請求主體最多可達 8 MB。每個回應包含 X-Request-Id、X-Balance-USD、X-RateLimit-Limit-Requests 與 X-RateLimit-Limit-Concurrency,這些標頭對日誌記錄與在管理螢幕上顯示餘額很有幫助。
當超過限制時,API 會回傳 HTTP 429。錯誤程式碼 rate_limited 表示每分鐘請求過多,concurrency 表示同時請求過多。在暫時過載時,你也會收到 429,並附有 Retry-After: 5 標頭。簡單的重試包裝函式可涵蓋所有三種情況:
import time
from openai import RateLimitError
def ask(messages, tries=4):
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = 5 if attempt == 0 else 5 * (attempt + 1)
retry_after = getattr(e.response, "headers", {}).get("retry-after")
time.sleep(int(retry_after) if retry_after else wait)
raise RuntimeError("still rate limited after retries")
對於工作池,請將池大小限制在並行限制內,而非依賴重試。完整金鑰上的八個工作很少會遇到 concurrency 錯誤。如果你遇到意外錯誤,故障排除文章 會詳述常見原因。
付費方式
帳單採用預付額度隨用隨付:每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,無訂閱制。失敗或遭拒絕的請求不會收費,且額度永不過期。包含 1,500 個輸入 token 與 400 個輸出 token 的請求,費用為 1,500 / 1,000,000 x $0.15 + 400 / 1,000,000 x $0.50 = $0.000225 + $0.0002 = $0.000425。
儲值金額為 $20 至 $500 之間的整數,$50 起贈 5%,$100 起贈 10%,$200 起贈 15%。你可以使用加密貨幣(TRC20 上的 USDT、Base 上的 USDC)付款。提示詞不會用於訓練。定價頁面列出詳細資訊,快速入門以簡短形式重複設定步驟。
更多指南
問答
我可以在此 API 上使用官方 OpenAI 程式庫嗎?
可以。安裝 Python 或 Node 的 OpenAI SDK,將 Base URL 設為 https://api.llminferenceapi.com/v1, 並傳入金鑰,然後使用模型 ID uncensored。
API 是否支援工具呼叫?
是的。傳遞 tools 和可選的 tool_choice,然後以 role tool 的訊息傳回每個結果。串流的 tool_calls 也支援。
此處的 429 錯誤代表什麼?
你觸及了限制。狀態碼 rate_limited 表示每分鐘請求過多,concurrency 表示同時請求過多,而 Retry-After: 5 標頭表示暫時過載。請等待後重試。
可用於嵌入或影像嗎?
不行。API 僅支援文字,提供聊天完成與模型列表。
你的金鑰只差一個表單即可取得
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定。
取得 API 金鑰