最便宜的 LLM Inference API:如何評估真實成本
每 token 的價格只是故事的一部分。以下是如何根據決定帳單的數據來比較推理 API,並以我們的費率作為計算範例。
更新日期:


重點摘要
- 將任何 OpenAI SDK 指向 https://api.llminferenceapi.com/v1,使用模型 ID uncensored,並將你的金鑰作為 Bearer token 傳入。
- 提供兩個端點:POST /v1/chat/completions 和 GET /v1/models。
- 串流輸出、工具呼叫與 JSON 模式透過標準請求欄位運作。
- 完整金鑰允許 8 個並行請求與每分鐘 300 個請求;429 回應會告訴你觸及哪個限制。
每百萬 token 的價格只是起點
最便宜的 llm 推理 api 是指針對您的工作負載成本最低的方案,這不一定是定價頁面上數字最低的方案。兩個供應商可能列出相同的標題價格,但一旦計算輸出 token、長提示詞、呼叫失敗和最低儲金額,帳單會產生很大差異。
在選擇前請進行四部分檢查:輸入價格、輸出價格、模型處理長上下文的方式,以及預付金額。本文將逐步說明各項內容,以我們的價格作為逐步計算範例,並將其他供應商的數據留給您自行檢查。查看他們的當前定價,並將數據代入相同的公式。
輸入與輸出 token 的差異
幾乎所有 LLM API 都分別計費輸入和輸出,且輸出通常更貴。我們的費率為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50。這使得輸出的價格略高於輸入的三倍,因此您的流量分佈會影響結果。
混合價格會隨著輸入與輸出 token 的比例變化:
| 輸入 : 輸出比例 | 1M 總 token 的成本 | 平均每 1M 成本 |
|---|---|---|
| 1 : 1 | 0.5M x $0.15 + 0.5M x $0.50 = $0.325 | $0.325 |
| 3 : 1 | 0.75M x $0.15 + 0.25M x $0.50 = $0.2375 | $0.2375 |
| 10 : 1 | 約 0.909M x $0.15 + 0.091M x $0.50 = $0.1818 | 約 $0.18 |
| 1 : 3 | 0.25M x $0.15 + 0.75M x $0.50 = $0.4125 | $0.4125 |
摘要器讀取內容多而輸出少,因此接近 10 : 1 的資料列。故事生成器從短提示詞生成大量內容,因此接近 1 : 3。當比較兩個供應商時,請為您的特定比例計算這兩項資料列。對於生成密集型工作負載,輸入價格較低的供應商可能會在總成本上處於劣勢。
上下文長度會影響帳單
聊天應用程式會在每個回合重新發送整個對話。如果對話增長到 20 個回合,第 20 個回合會將前 19 個回合的對話作為輸入。因此,對話的成本增長速度快於其長度。
逐步計算範例。每個回合增加 300 個輸入 token 和 300 個輸出 token,系統提示詞為 500 個 token。第 n 個回合的輸入為 500 + (n - 1) x 600 + 300 個 token。20 個回合的總計為 20 x 800 + 600 x 190 = 130,000 個輸入 token,加上 20 x 300 = 6,000 個輸出 token。輸入成本為 130,000 x $0.15 / 1M = $0.0195,輸出成本為 6,000 x $0.50 / 1M = $0.003,因此整個 20 個回合對話的成本為 $0.0225。
確切數字的重要性不如趨勢:在長對話中,輸入佔主導地位。在此情況下,輸入價格較低的供應商比輸出價格較低的供應商更能幫助您。修剪舊回合或對其進行摘要可以減少最大的成本。我們的上下文視窗為 100,000 個 token(包含提示詞和補全),因此能容納非常長的文件,但每次發送時都會消耗輸入 token。
需檢查的隱藏成本
- 最低儲值。 我們的最低金額為 $20,可儲值任意整數金額,上限為 $500。若供應商單 token 價格低但最低儲值金額高,對小型專案而言總成本可能更高。
- 過期。 會過期的額度是您可能浪費的額度。我們的額度永不過期。
- 訂閱。 月費會將按 token 計費的服務轉化為固定成本。我們的服務是按量計費。
- 失敗費用。 失敗或被拒絕的請求在此不會計費。請在比較任何供應商時檢查這一點。
- 速率限制。 低價格搭配低請求上限會迫使您購買第二個帳戶或減緩您的管線。此處的完整金鑰允許 8 個並行請求和每分鐘 300 個請求。
- 付款手續費與紅利。 $50 起加贈 5% 額度,$100 起加贈 10%,$200 起加贈 15%,因此儲值 $200 可獲得 $230。
我們的費率與計算範例
以下所有數據均使用每 1M 輸入 $0.15 和每 1M 輸出 $0.50 的費率。
| 工作負載 | Token | 成本 |
|---|---|---|
| 一次對話輪次:2,000 輸入,500 輸出 | 2,500 | $0.0003 + $0.00025 = $0.00055 |
| 1,000 次此類輪次 | 2.5M | $0.55 |
| 對 10,000 篇文章進行摘要:每篇 3,000 輸入,200 輸出 | 32M | $4.50 + $1.00 = $5.50 |
| 生成 5,000 個故事:每個 300 輸入,1,500 輸出 | 9M | $0.225 + $3.75 = $3.975 |
檢查摘要器資料列:10,000 x 3,000 = 30M 輸入 token,成本為 30 x $0.15 = $4.50。10,000 x 200 = 2M 輸出 token,成本為 2 x $0.50 = $1.00。總計為 $5.50。對於故事資料列:5,000 x 300 = 1.5M 輸入,成本為 $0.225,5,000 x 1,500 = 7.5M 輸出,成本為 $3.75。總計為 $3.975。
定價頁面 列出了費率和獎勵,你可以使用加密貨幣(TRC20 上的 USDT、Base 上的 USDC)進行支付。
使用腳本測量您的實際成本
不要長期依賴估計值。運行 50 個代表性提示詞,讓 API 報告 token 數量。以下代碼會從 usage 欄位打印成本估計值。
from openai import OpenAI
client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50 # dollars per 1M tokens
def cost(u):
return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000
total = 0.0
for p in open("prompts.txt"):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p.strip()}],
)
total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))將平均值乘以您預期的每月請求數。對您考慮的每個供應商執行相同的操作,並通過閱讀回答樣本來保持質量在考慮範圍內。一個需要兩次嘗試才能完成任務的較便宜模型並不便宜。
一小時內可完成的五步比較法
- 從真實提示詞的樣本中,記錄您預期的每個請求的輸入和輸出 token 數量。
- 乘以每個供應商的輸入和輸出價格,計算每個請求和每月的成本。
- 加上固定成本:最低儲金額、訂閱費,以及任何在您使用之前過期的額度。
- 在每個模型上運行相同的 20 個提示詞並對回答進行評分,以便比較每個良好回答的成本,而非每個 token 的成本。
- 檢查限制是否與你的峰值流量相符。如果你需要同時處理超過 8 個請求,請詢問是否可以改用佇列。
結果是一個表格,每行對應一個供應商,並顯示你工作負載的每月數據。該表格才是標題所提問題的真正答案,且只要供應商未調整價格,該表格就一直有效,因此建議每隔幾個月重新檢查一次。框架比較可協助你同時在自有硬體上執行模型的情況,而常見聊天 API 錯誤頁面則列出會悄悄增加帳單的錯誤,例如重複傳送相同的歷史記錄兩次。
便宜選項無法做到的事
無論你選擇哪家供應商,都有四種方式可以降低成本。在短答案即可滿足需求時,限制max_tokens,因為輸出較昂貴。精簡系統提示詞,並移除模型不再需要的對話輪次。將簡單的任務(例如分類)導向具有嚴格輸出格式的短提示詞。並按功能記錄 token 數量,以便在編輯後某個提示詞模板的 token 數量無聲增加時能察覺。這些習慣帶來的節省效果,遠大於為了節省幾分錢而更換供應商。
此服務僅提供文字功能。它沒有嵌入、圖像或音訊生成,也不支援微調,因此如果你需要這些功能,必須向其他供應商付費購買。它運行來自獨立供應商的單一開放權重模型,經過調整以在法律允許的成人用途下無內容審查地回答問題,且並非任何模型廠商的官方 API。涉及未成年人的性內容一律禁止。
它是否對你來說最便宜,取決於該單一模型是否足以滿足你的任務需求。先免費測試:新用戶可在API 金鑰頁面上一鍵領取 $0.50 的免費試用額度,無需信用卡。然後閱讀文件。如果你是新手,LLM 推論是什麼涵蓋了上述使用的術語。
更多指南
問答
一則聊天訊息的成本是多少?
包含 2,000 個輸入 token 和 500 個輸出 token 的一輪對話成本為 $0.00055,因此 1,000 輪對話的成本為 $0.55。
有月費嗎?
否。費用從預付額度中按量扣除,且額度永不過期。
失敗的請求會計費嗎?
不會。失敗或被拒絕的請求不會收費。
最低價格總是最好的選擇嗎?
否。輸出佔比、上下文長度、最低儲值金額和回答品質都會影響實際成本。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。
取得 API 金鑰