什麼是 LLM 推論?Token、延遲與費用
如果你想知道什麼是 LLM 推論,簡短來說:這是訓練好的語言模型讀取你的提示詞並一次一個 token 地寫出回覆的步驟。本頁說明其運作方式與費用。
更新日期:

重點摘要
- 推論是運行已完成的模型以產生輸出;訓練是更早且費用更高的步驟,用於建立模型。
- 請求有兩個階段:讀取提示詞(prefill)與逐 token 寫出答案(decoding)。
- 費用與速度都遵循 token 計數,因此輸入長度、輸出長度與上下文視窗比其他任何因素都重要。
- 使用託管 API 時,你按 token 付費並省去 GPU 的購買與維護費用;使用自有硬體時,無論忙碌或閒置都需為機器付費。
一段話說明推論
大型語言模型是一個充滿數字的檔案,稱為權重。訓練是透過向模型展示大量文本來設定這些數字的過程。推論是之後發生的所有事情,當你使用完成的權重來取得答案時。你發送給模型的每個聊天訊息、每個自動完成建議以及每個返回文本的 API 呼叫都是推論請求。
這種區別很重要,因為這兩項工作的經濟學不同。訓練只發生一次(或少數幾次),需要大型叢集。推論在每次有人發送提示詞時發生,因此它是隨你的使用者擴展的部分。當人們談論運行 AI 產品的費用時,他們幾乎總是指推論的費用。
模型不會「查找」答案。它為每個可能的下一個 token 計算機率,選擇一個,將其附加到文本中,然後重複。這個迴圈是整個機制,本頁其餘部分將更詳細地檢視它。
單一請求期間發生什麼事
取一個單一聊天請求,從你的程式碼追蹤到最後一個字元。
- Tokenization。 你的文本被分割成 token,即字元區塊。token 通常是一個短詞或較長詞的一部分。英文的經驗法則約為每個 token 四個字元,但會因語言和內容(如程式碼)而異。
- Prefill。 模型在一次處理中處理所有提示詞 token。這是並行工作,它建立模型繼續文本所需的內部狀態。
- 解碼。 模型產生第一個輸出 token,接著是第二個,依此類推。每個新 token 都依賴其之前的所有 token,因此此階段是串列的。這是大多數請求中較慢的部分。
- 採樣。 在每個步驟中,模型會為詞彙表中的每個 token 計算分數。
temperature與top_p等設定決定如何從這些分數中選擇下一個 token。低 temperature 幾乎每次都會選擇機率最高的 token;較高的 temperature 則允許更多樣化的選擇。 - Stopping。 當模型產生結束 token、達到你定義的
stop序列或達到 token 限制時,生成結束。
Prefill 與解碼以不同方式消耗硬體資源。Prefill 主要受限於原始運算能力。解碼主要受限於 GPU 從記憶體讀取模型權重的速度,因為每個 token 都需要存取這些權重。這就是為什麼長回答比相同長度的長問題明顯需要更多時間的原因。
Token、上下文視窗與 KV cache
推論中的所有內容都以 token 計量。你的提示詞、系統訊息、對話的先前輪次以及回覆都算在內。上下文視窗 是模型一次能容納的最大 token 數,包括提示詞和補全。在此服務上,上下文視窗為 100,000 個 token,補全可以使用提示詞留下的任何剩餘空間。
為了避免為每個新 token 重新計算整個對話,推理引擎會保留 KV cache:已處理 token 的中介金鑰與數值。快取會隨上下文長度增長並佔用 GPU 記憶體。這是長上下文服務費用較高的主要原因,也是伺服器一次只能處理有限數量長請求的原因。
對你作為開發人員的實際影響是:每次輪次都重新發送完整歷史的聊天,每次都會為該歷史付費。如果對話增長到 20,000 個 token,每個新訊息都會攜帶這些 20,000 個輸入 token。修剪或總結舊輪次是你可獲得的最便宜的速度和費用優化,且無需更改伺服器端。
延遲:為什麼有兩個數字
人們經常詢問模型有多快,但有兩個獨立的測量值。
- 首 token 生成時間。 在出現任何文字之前需要等待的時間。它包含網路時間、伺服器排隊時間與 prefill 時間。長提示詞會使其增加。
- 生成速度。 第一個 token 之後 token 到達的速度。它取決於模型大小、硬體以及該時刻同一個 GPU 正在處理的其他請求數量。
串流輸出存在是因為這種分離。使用 stream: true 時,伺服器會隨著 token 產生而發送它們,因此使用者在第一個 token 出現後即可開始閱讀,而不必等待完整答案。總時間相同,但介面感覺快得多。對於聊天、角色扮演和寫作工具,串流輸出幾乎總是正確的預設值。
規劃併行時要記住的一個細節是:串流請求會佔用其槽位直到串流結束,而不是直到第一個 token 到達。如果你的金鑰允許 8 個併行請求,八個正在進行中的長串流意味著第九個必須等待或收到 429 回應。
推論的費用,以實際數字說明
託管推論按 token 計費,輸入和輸出有單獨的價格,因為輸出 token 需要更多工作。此服務每 1M 輸入 token 收費 $0.15,每 1M 輸出 token 收費 $0.50,從預付額度扣除,無訂閱。以下是幾個典型請求的計算方式。
| 請求 | 輸入 token | 輸出 token | 費用 |
|---|---|---|---|
| 短聊天訊息 | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| 帶歷史的聊天 | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| 長文件摘要 | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| 完整的 100,000-token 提示詞,短回覆 | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
數學很簡單:將 token 計數除以一百萬並乘以價格。對於帶歷史的聊天行,2,000 / 1,000,000 x $0.15 = $0.0003 且 500 / 1,000,000 x $0.50 = $0.00025,總計為 $0.00055。一千次此類請求的費用為 $0.55。
兩個計費細節有助於預算規劃。失敗或被拒絕的請求不會收費,且額度不會過期,因此儲值不是倒數計時。每個回應都帶有 X-Balance-USD 標頭,讓你的程式碼無需單獨呼叫即可監控剩餘餘額。
託管推論或自有 GPU
你有兩種方式進行推論。你可以租用或購買 GPU、安裝服務引擎並自行運行模型。或者你可以呼叫 API,讓其他人操作硬體。
自行運行讓你完全控制模型檔案、設定與資料路徑。代價是營運工作:選擇適合權重與 KV cache 的硬體、保持驅動程式與引擎更新、處理流量尖峰,並在閒置時段為機器付費。託管 API 將這些轉化為按 token 計費。當你的流量不均勻或仍在測試想法時,這通常是較快的途徑。
此處描述的服務是一個託管、OpenAI 相容的純文本 API。它運行單一開放權重模型,由獨立供應商營運,並針對合法成人用途進行調整以減少內容拒絕。它並非任何模型廠商的官方 API,也不產生影像、音訊或影片、建立嵌入向量或微調模型。如果你需要這些功能,你需要不同的工具。如果你需要純文本生成且拒絕率較低,快速入門指南 顯示設定方式,定價頁面 列出儲值選項。
親自嘗試推論呼叫
讓概念具體化的最快方式是發送一個請求並讀取它返回的數值。在建立金鑰後,此 curl 命令會向端點發送聊天完成:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
JSON 回應包含一個 usage 物件,其中有 prompt_tokens、completion_tokens 與 total_tokens。將這些數值乘以上述價格,即可得到該次呼叫的精確費用。使用 OpenAI SDK 的 Python 實作如下:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
新用戶可在註冊後於金鑰頁面一鍵領取 $0.50 試用額度。無需信用卡,有效期為 7 天,依上述價格計算,大約可涵蓋兩千則短聊天訊息。如果遇到看不懂的錯誤,疑難排解文章 列出了常見原因。
更多指南
問答
推論與執行模型是一回事嗎?
是。在訓練好的模型上對新輸入進行處理以產生輸出,就是推論。調整權重的訓練是另一個更早的步驟。
為什麼輸出的費用比輸入高?
輸入 token 會以一次並行處理同時處理,而輸出 token 則一次產生一個。供應商對較慢的串列部分收費較高,此服務每 1M token 收費 $0.50,相較於 $0.15。
較長的上下文視窗會使請求變慢嗎?
通常會。較長的提示詞意味著更多的 prefill 工作與更大的 KV 快取,因此首 token 生成時間會增加。你只需為實際發送與接收的 token 付費,而非為 100,000-token 視窗中未使用的部分付費。
使用推論 API 需要 GPU 嗎?
不需要。供應商負責運行硬體。你只需從任何機器(包括筆記型電腦或小型伺服器)發送 HTTPS 請求。
只需填寫表單即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。
取得 API 金鑰