繁中 ▾
取得 API 金鑰

LLM Inference API指南

最便宜的 LLM Inference API:如何評估真實成本

每 token 的價格只是故事的一部分。以下是如何根據決定帳單的數據來比較推理 API,並以我們的費率作為計算範例。

更新日期:

用於比較 API 成本的秤,一端放著 token 方塊,另一端放著硬幣
等距插圖,顯示資料封包從終端機流入雲端閘道,代表推理 API 呼叫

重點摘要

  1. 將任何 OpenAI SDK 指向 https://api.llminferenceapi.com/v1,使用模型 ID uncensored,並將你的金鑰作為 Bearer token 傳入。
  2. 提供兩個端點:POST /v1/chat/completions 和 GET /v1/models。
  3. 串流輸出、工具呼叫與 JSON 模式透過標準請求欄位運作。
  4. 完整金鑰允許 8 個並行請求與每分鐘 300 個請求;429 回應會告訴你觸及哪個限制。

每百萬 token 的價格只是起點

最便宜的 llm 推理 api 是指針對您的工作負載成本最低的方案,這不一定是定價頁面上數字最低的方案。兩個供應商可能列出相同的標題價格,但一旦計算輸出 token、長提示詞、呼叫失敗和最低儲金額,帳單會產生很大差異。

在選擇前請進行四部分檢查:輸入價格、輸出價格、模型處理長上下文的方式,以及預付金額。本文將逐步說明各項內容,以我們的價格作為逐步計算範例,並將其他供應商的數據留給您自行檢查。查看他們的當前定價,並將數據代入相同的公式。

輸入與輸出 token 的差異

幾乎所有 LLM API 都分別計費輸入和輸出,且輸出通常更貴。我們的費率為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50。這使得輸出的價格略高於輸入的三倍,因此您的流量分佈會影響結果。

混合價格會隨著輸入與輸出 token 的比例變化:

輸入 : 輸出比例1M 總 token 的成本平均每 1M 成本
1 : 10.5M x $0.15 + 0.5M x $0.50 = $0.325$0.325
3 : 10.75M x $0.15 + 0.25M x $0.50 = $0.2375$0.2375
10 : 1約 0.909M x $0.15 + 0.091M x $0.50 = $0.1818約 $0.18
1 : 30.25M x $0.15 + 0.75M x $0.50 = $0.4125$0.4125

摘要器讀取內容多而輸出少,因此接近 10 : 1 的資料列。故事生成器從短提示詞生成大量內容,因此接近 1 : 3。當比較兩個供應商時,請為您的特定比例計算這兩項資料列。對於生成密集型工作負載,輸入價格較低的供應商可能會在總成本上處於劣勢。

上下文長度會影響帳單

聊天應用程式會在每個回合重新發送整個對話。如果對話增長到 20 個回合,第 20 個回合會將前 19 個回合的對話作為輸入。因此,對話的成本增長速度快於其長度。

逐步計算範例。每個回合增加 300 個輸入 token 和 300 個輸出 token,系統提示詞為 500 個 token。第 n 個回合的輸入為 500 + (n - 1) x 600 + 300 個 token。20 個回合的總計為 20 x 800 + 600 x 190 = 130,000 個輸入 token,加上 20 x 300 = 6,000 個輸出 token。輸入成本為 130,000 x $0.15 / 1M = $0.0195,輸出成本為 6,000 x $0.50 / 1M = $0.003,因此整個 20 個回合對話的成本為 $0.0225。

確切數字的重要性不如趨勢:在長對話中,輸入佔主導地位。在此情況下,輸入價格較低的供應商比輸出價格較低的供應商更能幫助您。修剪舊回合或對其進行摘要可以減少最大的成本。我們的上下文視窗為 100,000 個 token(包含提示詞和補全),因此能容納非常長的文件,但每次發送時都會消耗輸入 token。

需檢查的隱藏成本

  • 最低儲值。 我們的最低金額為 $20,可儲值任意整數金額,上限為 $500。若供應商單 token 價格低但最低儲值金額高,對小型專案而言總成本可能更高。
  • 過期。 會過期的額度是您可能浪費的額度。我們的額度永不過期。
  • 訂閱。 月費會將按 token 計費的服務轉化為固定成本。我們的服務是按量計費。
  • 失敗費用。 失敗或被拒絕的請求在此不會計費。請在比較任何供應商時檢查這一點。
  • 速率限制。 低價格搭配低請求上限會迫使您購買第二個帳戶或減緩您的管線。此處的完整金鑰允許 8 個並行請求和每分鐘 300 個請求。
  • 付款手續費與紅利。 $50 起加贈 5% 額度,$100 起加贈 10%,$200 起加贈 15%,因此儲值 $200 可獲得 $230。

我們的費率與計算範例

以下所有數據均使用每 1M 輸入 $0.15 和每 1M 輸出 $0.50 的費率。

工作負載Token成本
一次對話輪次:2,000 輸入,500 輸出2,500$0.0003 + $0.00025 = $0.00055
1,000 次此類輪次2.5M$0.55
對 10,000 篇文章進行摘要:每篇 3,000 輸入,200 輸出32M$4.50 + $1.00 = $5.50
生成 5,000 個故事:每個 300 輸入,1,500 輸出9M$0.225 + $3.75 = $3.975

檢查摘要器資料列:10,000 x 3,000 = 30M 輸入 token,成本為 30 x $0.15 = $4.50。10,000 x 200 = 2M 輸出 token,成本為 2 x $0.50 = $1.00。總計為 $5.50。對於故事資料列:5,000 x 300 = 1.5M 輸入,成本為 $0.225,5,000 x 1,500 = 7.5M 輸出,成本為 $3.75。總計為 $3.975。

定價頁面 列出了費率和獎勵,你可以使用加密貨幣(TRC20 上的 USDT、Base 上的 USDC)進行支付。

使用腳本測量您的實際成本

不要長期依賴估計值。運行 50 個代表性提示詞,讓 API 報告 token 數量。以下代碼會從 usage 欄位打印成本估計值。

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50   # dollars per 1M tokens

def cost(u):
    return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000

total = 0.0
for p in open("prompts.txt"):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": p.strip()}],
    )
    total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))

將平均值乘以您預期的每月請求數。對您考慮的每個供應商執行相同的操作,並通過閱讀回答樣本來保持質量在考慮範圍內。一個需要兩次嘗試才能完成任務的較便宜模型並不便宜。

一小時內可完成的五步比較法

  1. 從真實提示詞的樣本中,記錄您預期的每個請求的輸入和輸出 token 數量。
  2. 乘以每個供應商的輸入和輸出價格,計算每個請求和每月的成本。
  3. 加上固定成本:最低儲金額、訂閱費,以及任何在您使用之前過期的額度。
  4. 在每個模型上運行相同的 20 個提示詞並對回答進行評分,以便比較每個良好回答的成本,而非每個 token 的成本。
  5. 檢查限制是否與你的峰值流量相符。如果你需要同時處理超過 8 個請求,請詢問是否可以改用佇列。

結果是一個表格,每行對應一個供應商,並顯示你工作負載的每月數據。該表格才是標題所提問題的真正答案,且只要供應商未調整價格,該表格就一直有效,因此建議每隔幾個月重新檢查一次。框架比較可協助你同時在自有硬體上執行模型的情況,而常見聊天 API 錯誤頁面則列出會悄悄增加帳單的錯誤,例如重複傳送相同的歷史記錄兩次。

便宜選項無法做到的事

無論你選擇哪家供應商,都有四種方式可以降低成本。在短答案即可滿足需求時,限制max_tokens,因為輸出較昂貴。精簡系統提示詞,並移除模型不再需要的對話輪次。將簡單的任務(例如分類)導向具有嚴格輸出格式的短提示詞。並按功能記錄 token 數量,以便在編輯後某個提示詞模板的 token 數量無聲增加時能察覺。這些習慣帶來的節省效果,遠大於為了節省幾分錢而更換供應商。

此服務僅提供文字功能。它沒有嵌入、圖像或音訊生成,也不支援微調,因此如果你需要這些功能,必須向其他供應商付費購買。它運行來自獨立供應商的單一開放權重模型,經過調整以在法律允許的成人用途下無內容審查地回答問題,且並非任何模型廠商的官方 API。涉及未成年人的性內容一律禁止。

它是否對你來說最便宜,取決於該單一模型是否足以滿足你的任務需求。先免費測試:新用戶可在API 金鑰頁面上一鍵領取 $0.50 的免費試用額度,無需信用卡。然後閱讀文件。如果你是新手,LLM 推論是什麼涵蓋了上述使用的術語。

問答

一則聊天訊息的成本是多少?

包含 2,000 個輸入 token 和 500 個輸出 token 的一輪對話成本為 $0.00055,因此 1,000 輪對話的成本為 $0.55。

有月費嗎?

否。費用從預付額度中按量扣除,且額度永不過期。

失敗的請求會計費嗎?

不會。失敗或被拒絕的請求不會收費。

最低價格總是最好的選擇嗎?

否。輸出佔比、上下文長度、最低儲值金額和回答品質都會影響實際成本。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰