繁中 ▾
取得 API 金鑰

LLM Inference API指南

什麼是 LLM 推論?Token、延遲與費用

如果你想知道什麼是 LLM 推論,簡短來說:這是訓練好的語言模型讀取你的提示詞並一次一個 token 地寫出回覆的步驟。本頁說明其運作方式與費用。

更新日期:

Token 流入與流出處理室的等距插圖,代表 LLM 推論

重點摘要

  1. 推論是運行已完成的模型以產生輸出;訓練是更早且費用更高的步驟,用於建立模型。
  2. 請求有兩個階段:讀取提示詞(prefill)與逐 token 寫出答案(decoding)。
  3. 費用與速度都遵循 token 計數,因此輸入長度、輸出長度與上下文視窗比其他任何因素都重要。
  4. 使用託管 API 時,你按 token 付費並省去 GPU 的購買與維護費用;使用自有硬體時,無論忙碌或閒置都需為機器付費。

一段話說明推論

大型語言模型是一個充滿數字的檔案,稱為權重。訓練是透過向模型展示大量文本來設定這些數字的過程。推論是之後發生的所有事情,當你使用完成的權重來取得答案時。你發送給模型的每個聊天訊息、每個自動完成建議以及每個返回文本的 API 呼叫都是推論請求。

這種區別很重要,因為這兩項工作的經濟學不同。訓練只發生一次(或少數幾次),需要大型叢集。推論在每次有人發送提示詞時發生,因此它是隨你的使用者擴展的部分。當人們談論運行 AI 產品的費用時,他們幾乎總是指推論的費用。

模型不會「查找」答案。它為每個可能的下一個 token 計算機率,選擇一個,將其附加到文本中,然後重複。這個迴圈是整個機制,本頁其餘部分將更詳細地檢視它。

單一請求期間發生什麼事

取一個單一聊天請求,從你的程式碼追蹤到最後一個字元。

  1. Tokenization。 你的文本被分割成 token,即字元區塊。token 通常是一個短詞或較長詞的一部分。英文的經驗法則約為每個 token 四個字元,但會因語言和內容(如程式碼)而異。
  2. Prefill。 模型在一次處理中處理所有提示詞 token。這是並行工作,它建立模型繼續文本所需的內部狀態。
  3. 解碼。 模型產生第一個輸出 token,接著是第二個,依此類推。每個新 token 都依賴其之前的所有 token,因此此階段是串列的。這是大多數請求中較慢的部分。
  4. 採樣。 在每個步驟中,模型會為詞彙表中的每個 token 計算分數。temperature 與 top_p 等設定決定如何從這些分數中選擇下一個 token。低 temperature 幾乎每次都會選擇機率最高的 token;較高的 temperature 則允許更多樣化的選擇。
  5. Stopping。 當模型產生結束 token、達到你定義的 stop 序列或達到 token 限制時,生成結束。

Prefill 與解碼以不同方式消耗硬體資源。Prefill 主要受限於原始運算能力。解碼主要受限於 GPU 從記憶體讀取模型權重的速度,因為每個 token 都需要存取這些權重。這就是為什麼長回答比相同長度的長問題明顯需要更多時間的原因。

Token、上下文視窗與 KV cache

推論中的所有內容都以 token 計量。你的提示詞、系統訊息、對話的先前輪次以及回覆都算在內。上下文視窗 是模型一次能容納的最大 token 數,包括提示詞和補全。在此服務上,上下文視窗為 100,000 個 token,補全可以使用提示詞留下的任何剩餘空間。

為了避免為每個新 token 重新計算整個對話,推理引擎會保留 KV cache:已處理 token 的中介金鑰與數值。快取會隨上下文長度增長並佔用 GPU 記憶體。這是長上下文服務費用較高的主要原因,也是伺服器一次只能處理有限數量長請求的原因。

對你作為開發人員的實際影響是:每次輪次都重新發送完整歷史的聊天,每次都會為該歷史付費。如果對話增長到 20,000 個 token,每個新訊息都會攜帶這些 20,000 個輸入 token。修剪或總結舊輪次是你可獲得的最便宜的速度和費用優化,且無需更改伺服器端。

延遲:為什麼有兩個數字

人們經常詢問模型有多快,但有兩個獨立的測量值。

  • 首 token 生成時間。 在出現任何文字之前需要等待的時間。它包含網路時間、伺服器排隊時間與 prefill 時間。長提示詞會使其增加。
  • 生成速度。 第一個 token 之後 token 到達的速度。它取決於模型大小、硬體以及該時刻同一個 GPU 正在處理的其他請求數量。

串流輸出存在是因為這種分離。使用 stream: true 時,伺服器會隨著 token 產生而發送它們,因此使用者在第一個 token 出現後即可開始閱讀,而不必等待完整答案。總時間相同,但介面感覺快得多。對於聊天、角色扮演和寫作工具,串流輸出幾乎總是正確的預設值。

規劃併行時要記住的一個細節是:串流請求會佔用其槽位直到串流結束,而不是直到第一個 token 到達。如果你的金鑰允許 8 個併行請求,八個正在進行中的長串流意味著第九個必須等待或收到 429 回應。

推論的費用,以實際數字說明

託管推論按 token 計費,輸入和輸出有單獨的價格,因為輸出 token 需要更多工作。此服務每 1M 輸入 token 收費 $0.15,每 1M 輸出 token 收費 $0.50,從預付額度扣除,無訂閱。以下是幾個典型請求的計算方式。

請求輸入 token輸出 token費用
短聊天訊息500300$0.000075 + $0.00015 = $0.000225
帶歷史的聊天2,000500$0.0003 + $0.00025 = $0.00055
長文件摘要30,0001,000$0.0045 + $0.0005 = $0.005
完整的 100,000-token 提示詞,短回覆100,000500$0.015 + $0.00025 = $0.01525

數學很簡單:將 token 計數除以一百萬並乘以價格。對於帶歷史的聊天行,2,000 / 1,000,000 x $0.15 = $0.0003 且 500 / 1,000,000 x $0.50 = $0.00025,總計為 $0.00055。一千次此類請求的費用為 $0.55。

兩個計費細節有助於預算規劃。失敗或被拒絕的請求不會收費,且額度不會過期,因此儲值不是倒數計時。每個回應都帶有 X-Balance-USD 標頭,讓你的程式碼無需單獨呼叫即可監控剩餘餘額。

託管推論或自有 GPU

你有兩種方式進行推論。你可以租用或購買 GPU、安裝服務引擎並自行運行模型。或者你可以呼叫 API,讓其他人操作硬體。

自行運行讓你完全控制模型檔案、設定與資料路徑。代價是營運工作:選擇適合權重與 KV cache 的硬體、保持驅動程式與引擎更新、處理流量尖峰,並在閒置時段為機器付費。託管 API 將這些轉化為按 token 計費。當你的流量不均勻或仍在測試想法時,這通常是較快的途徑。

此處描述的服務是一個託管、OpenAI 相容的純文本 API。它運行單一開放權重模型,由獨立供應商營運,並針對合法成人用途進行調整以減少內容拒絕。它並非任何模型廠商的官方 API,也不產生影像、音訊或影片、建立嵌入向量或微調模型。如果你需要這些功能,你需要不同的工具。如果你需要純文本生成且拒絕率較低,快速入門指南 顯示設定方式,定價頁面 列出儲值選項。

親自嘗試推論呼叫

讓概念具體化的最快方式是發送一個請求並讀取它返回的數值。在建立金鑰後,此 curl 命令會向端點發送聊天完成:

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
    "max_tokens": 120
  }'

JSON 回應包含一個 usage 物件,其中有 prompt_tokens、completion_tokens 與 total_tokens。將這些數值乘以上述價格,即可得到該次呼叫的精確費用。使用 OpenAI SDK 的 Python 實作如下:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
    max_tokens=120,
)

u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

新用戶可在註冊後於金鑰頁面一鍵領取 $0.50 試用額度。無需信用卡,有效期為 7 天,依上述價格計算,大約可涵蓋兩千則短聊天訊息。如果遇到看不懂的錯誤,疑難排解文章 列出了常見原因。

問答

推論與執行模型是一回事嗎?

是。在訓練好的模型上對新輸入進行處理以產生輸出,就是推論。調整權重的訓練是另一個更早的步驟。

為什麼輸出的費用比輸入高?

輸入 token 會以一次並行處理同時處理,而輸出 token 則一次產生一個。供應商對較慢的串列部分收費較高,此服務每 1M token 收費 $0.50,相較於 $0.15。

較長的上下文視窗會使請求變慢嗎?

通常會。較長的提示詞意味著更多的 prefill 工作與更大的 KV 快取,因此首 token 生成時間會增加。你只需為實際發送與接收的 token 付費,而非為 100,000-token 視窗中未使用的部分付費。

使用推論 API 需要 GPU 嗎?

不需要。供應商負責運行硬體。你只需從任何機器(包括筆記型電腦或小型伺服器)發送 HTTPS 請求。

只需填寫表單即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰