繁中 ▾
取得 API 金鑰

LLM Inference API指南

LLM Inference API:串流輸出、工具與 JSON 模式

LLM 推理 API 讓你透過 HTTPS 傳送提示詞並取得生成的文字,無需在本機使用 GPU。本頁展示針對 OpenAI 相容端點的有效設定,從第一個請求到串流輸出、工具、JSON 模式與速率限制。

更新日期:

等距插圖,顯示資料封包從終端機流入雲端閘道,代表推理 API 呼叫

重點摘要

  1. 將任何 OpenAI SDK 指向 https://api.llminferenceapi.com/v1,使用模型 ID uncensored,並將你的金鑰作為 Bearer token 傳入。
  2. 提供兩個端點:POST /v1/chat/completions 與 GET /v1/models。
  3. 串流輸出、工具呼叫與 JSON 模式透過標準請求欄位運作。
  4. 完整金鑰允許 8 個並行請求與每分鐘 300 個請求;429 回應會告訴你觸及哪個限制。

首次呼叫前所需準備

你需要三樣東西:Base URL、金鑰與模型名稱。Base URL 是 https://api.llminferenceapi.com/v1,模型 ID 是 uncensored,金鑰來自 API 金鑰頁面,需透過 Google 或電子郵件與密碼註冊後取得。新用戶可點擊一次領取 $0.50 的免費試用額度。無需信用卡,有效期 7 天,每人限領一次。

服務僅限文字。它提供 POST /v1/chat/completions 和 GET /v1/models。沒有 embeddings 路由、沒有圖像或音訊生成,也沒有微調功能。它運行一個開放權重模型,由獨立供應商營運,並針對合法成人用途進行調整以無內容拒絕地回答。它不是任何模型供應商的官方 API。有一項嚴格規定:不得出現將未成年人性化的內容。

將金鑰保存在環境變數中,而非原始碼中。以下範例在語言允許的情況下從 API_KEY 讀取。

你的首次請求

從 curl 開始,因為它能清楚顯示實際傳輸的內容。

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "List three uses of a message queue."}
    ],
    "temperature": 0.7
  }'

回覆是標準的聊天完成物件:choices[0].message.content 包含文字,usage 包含 token 計數。你也可以使用 GET /v1/models 列出模型,這是確認金鑰與 URL 正確性的快速方法,可在除錯其他問題前使用。

在 Python 中使用官方 OpenAI SDK 時,僅建構子有所不同:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)

在 Node.js 中:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llminferenceapi.com/v1",
  apiKey: process.env.API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);

完成內容可使用提示詞剩餘的 100,000-token 上下文視窗空間,因此 max_tokens 是可選的。若希望對成本或長度設下硬性上限,請設定它。採樣控制參數如 temperature、top_p、stop、seed 以及頻率與存在懲罰,都會原樣傳遞。

有兩個設定值得從一開始就了解。seed 使採樣結果可重複,便於測試;當你要比較兩個版本的提示詞,且希望差異來自提示詞而非隨機性時,這很有幫助。stop 接受一個或多個字串,當模型寫出這些字串時會立即結束生成,這是透過分隔符號截斷回覆的廉價方法,可避免為會丟棄的 token 付費。

串流回應

使用 stream: true 時,伺服器透過伺服器發送事件(SSE)回覆,並以微小區塊傳送文字。使用者能迅速看到前幾個字,這在聊天介面中很重要。用量資訊會在串流結束時傳送。

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

有兩個細節容易被忽略。第一,最後一個區塊可能包含用量與空的 choices 列表,因此在索引前請檢查 choices 是否非空。第二,串流請求會佔用其並行槽位,直到串流結束。如果客戶端開啟串流卻未讀取至結束,該槽位將保持忙碌,導致你的後續請求觸及 concurrency 錯誤。請務必關閉或完全讀取串流。

工具呼叫

工具呼叫讓模型要求你的程式碼執行函式並使用結果。你在 tools 中描述函式,可選地以 tool_choice 引導選擇,執行模型要求的任何內容,然後以 role: "tool" 的訊息傳回輸出。

import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its id.",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"order_id": args["order_id"], "status": "shipped"}
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(result),
        })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

請謹慎解析 function.arguments。它是語言模型產生的 JSON 字串,偶爾可能格式錯誤或包含你未定義的欄位。在執行動作前請驗證它,特別是當函式會變更資料時。工具呼叫也支援串流,此時 tool_calls 以片段形式到達,必須先依索引拼接再解析。

管理對話歷史

API 是無狀態的。它不會記住先前的請求,因此多輪聊天僅因你的程式碼每次重新傳送先前的輪次而運作。保留訊息列表,附加使用者的新訊息,呼叫端點,然後在下一輪之前附加助手的回覆。

history = [{"role": "system", "content": "You are a patient writing coach."}]

def chat(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=history)
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))

因為每一輪都會重新傳送歷史,輸入 token 會隨聊天長度增長。上下文視窗可容納 100,000 個 token,對大多數對話來說已足夠,但成本在觸及限制前就會攀升。常見模式是保留系統訊息與最近幾輪對話,並將較舊的輪次替換為模型自行撰寫的簡短摘要。每次呼叫後請讀取 usage.prompt_tokens 以查看歷史記錄的大小。

JSON 模式

當你需要機器可讀取的輸出時,將 response_format 設為 {"type": "json_object"},並在提示詞中說明你想要 JSON。描述你預期的鍵名,可使結果更穩定。

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
        {"role": "user", "content": "Describe a short story about a lost robot."},
    ],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

JSON 模式使輸出可解析為 JSON,但不會強制執行你的結構描述。請在程式碼中檢查鍵名,並在值遺失時保留備用方案。如果回覆因達到 token 限制而被截斷,JSON 將不完整,因此不要為結構化輸出將 max_tokens 設得太低。

故障排除簡短檢查清單

大多數首日問題來自少數幾個原因,你可以依序排除它們。

  1. Base URL。 它必須以 /v1 結尾。SDK 會自行附加 /chat/completions,因此已包含路徑的 URL 無法運作。
  2. 金鑰標頭。 金鑰需放在 Authorization: Bearer 之後。金鑰複製時多出的空白或換行是常見的驗證錯誤原因。
  3. 模型 ID。請精確使用 uncensored。其他廠商的模型名稱在此無效。
  4. 請求大小。 主體限制為 8 MB,提示詞與完成內容必須在 100,000 個 token 內。
  5. 餘額。 查看任何回應上的 X-Balance-USD 標頭,以確認是否為額度不足的問題。
  6. 引用請求 ID。 如果你聯繫 support,請包含失敗回應中的 X-Request-Id 值,以便找到該請求。

請留意,拒絕回覆不等於錯誤。因為模型針對合法成人用途調整為避免內容拒絕,你會看到比過濾服務更少的拒絕,但模型仍可能拒絕或對模糊提示詞給出較弱的回答。更清晰的系統訊息通常比提高溫度更能解決此問題。

限制、標頭與重試

完整金鑰允許 8 個並行請求與每分鐘 300 個請求。試用金鑰允許 2 個並行請求與每分鐘 60 個請求。請求主體最多可達 8 MB。每個回應包含 X-Request-Id、X-Balance-USD、X-RateLimit-Limit-Requests 與 X-RateLimit-Limit-Concurrency,這些標頭對日誌記錄與在管理螢幕上顯示餘額很有幫助。

當超過限制時,API 會回傳 HTTP 429。錯誤程式碼 rate_limited 表示每分鐘請求過多,concurrency 表示同時請求過多。在暫時過載時,你也會收到 429,並附有 Retry-After: 5 標頭。簡單的重試包裝函式可涵蓋所有三種情況:

import time
from openai import RateLimitError

def ask(messages, tries=4):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = 5 if attempt == 0 else 5 * (attempt + 1)
            retry_after = getattr(e.response, "headers", {}).get("retry-after")
            time.sleep(int(retry_after) if retry_after else wait)
    raise RuntimeError("still rate limited after retries")

對於工作池,請將池大小限制在並行限制內,而非依賴重試。完整金鑰上的八個工作很少會遇到 concurrency 錯誤。如果你遇到意外錯誤,故障排除文章 會詳述常見原因。

付費方式

帳單採用預付額度隨用隨付:每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,無訂閱制。失敗或遭拒絕的請求不會收費,且額度永不過期。包含 1,500 個輸入 token 與 400 個輸出 token 的請求,費用為 1,500 / 1,000,000 x $0.15 + 400 / 1,000,000 x $0.50 = $0.000225 + $0.0002 = $0.000425。

儲值金額為 $20 至 $500 之間的整數,$50 起贈 5%,$100 起贈 10%,$200 起贈 15%。你可以使用加密貨幣(TRC20 上的 USDT、Base 上的 USDC)付款。提示詞不會用於訓練。定價頁面列出詳細資訊,快速入門以簡短形式重複設定步驟。

問答

我可以在此 API 上使用官方 OpenAI 程式庫嗎?

可以。安裝 Python 或 Node 的 OpenAI SDK,將 Base URL 設為 https://api.llminferenceapi.com/v1, 並傳入金鑰,然後使用模型 ID uncensored。

API 是否支援工具呼叫?

是的。傳遞 tools 和可選的 tool_choice,然後以 role tool 的訊息傳回每個結果。串流的 tool_calls 也支援。

此處的 429 錯誤代表什麼?

你觸及了限制。狀態碼 rate_limited 表示每分鐘請求過多,concurrency 表示同時請求過多,而 Retry-After: 5 標頭表示暫時過載。請等待後重試。

可用於嵌入或影像嗎?

不行。API 僅支援文字,提供聊天完成與模型列表。

你的金鑰只差一個表單即可取得

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定。

取得 API 金鑰