JA ▾
API キーを取得

LLM Inference APIガイド

LLM Inference API:ストリーミング、ツール、JSON モード

LLM推論APIを使用すると、HTTPS経由でプロンプトを送信して生成されたテキストを取得できます。クライアント側にGPUは不要です。このページでは、最初のリクエストからストリーミング、ツール、JSON モード、レート制限に至るまで、OpenAI互換のエンドポイントに対する動作するセットアップを示します。

更新日:

ターミナルからクラウドゲートウェイへデータパケットが流れる等角図解。推論 API 呼び出しを表す

主要ポイント

  1. 任意のOpenAI SDKを https://api.llminferenceapi.com/v1 に向け、モデルID uncensored を使用し、キーをBearerトークンとして送信します。
  2. 利用可能なエンドポイントは2つあります:POST /v1/chat/completions と GET /v1/models です。
  3. ストリーミング、ツール呼び出し、JSON モードは標準的なリクエストフィールドを通じて動作します。
  4. 完全なキーは8つの同時リクエストと1分あたり300件のリクエストを許可します。429レスポンスは、どちらの制限に達したかを示します。

最初の呼び出しに必要なもの

3つのものが必要です:ベースURL、キー、モデル名です。ベースURLは https://api.llminferenceapi.com/v1、モデルIDは uncensored です。キーはGoogleまたはメールアドレスとパスワードでサインアップ後に API キーページ から取得します。新規ユーザーはワンクリックで $0.50 のトライアルクレジットを受け取ることができます。カードは不要で、7日間有効、1人1回限りの制限があります。

サービスはテキストのみです。POST /v1/chat/completions と GET /v1/models を公開します。埋め込みエンドポイント、画像または音声の生成、ファインチューニングはありません。1つのオープンウェイトモデルを実行しており、独立したプロバイダによって運用され、法的な成人向け利用のためにコンテンツ拒否なしで回答するように調整されています。任意のモデルベンダーの公式APIではありません。1つの厳格なルールがあります:未成年者を性的に描写するコンテンツは許可されていません。

キーをソースコードではなく環境変数に保持してください。以下の例では、言語が許可する場合に API_KEY から読み取ります。

最初のリクエスト

curlから始めてください。これはネットワークを通過するデータを正確に示すためです。

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "List three uses of a message queue."}
    ],
    "temperature": 0.7
  }'

レスポンスは通常のチャット完了オブジェクトです: choices[0].message.content がテキストを保持し、 usage がトークン数を保持します。また、 GET /v1/models でモデルを一覧表示することもできます。これは、他のデバッグを行う前にキーとURLが正しいことを確認する簡単な方法です。

公式 OpenAI SDK を使用する場合、コンストラクタのみが変更されます:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)

Nodeでは:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llminferenceapi.com/v1",
  apiKey: process.env.API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);

補完は、プロンプトの後に残った 100,000 トークンのウィンドウの範囲内で生成されるため、max_tokensはオプションです。コストや長さの上限を明確に設定したい場合は、設定してください。temperature、top_p、stop、seedなどのサンプリング制御や、頻度ペナルティ、存在ペナルティは渡されます。

2つの設定は最初から知っておく価値があります。seedはサンプリングを再現可能にし、テストに役立ちます。これはプロンプトの2つのバージョンを比較し、その差が偶然ではなくプロンプト自体に由来することを望む際に役立ちます。stopは、モデルがそれらを書き出すと生成を終了する1つ以上の文字列を受け取ります。これは区切り文字で応答を切り捨て、破棄するトークンの支払いを避けるための安価な方法です。

ストリーミングレスポンス

stream: trueを指定すると、サーバーはサーバー送信イベントで応答し、テキストを小さな断片で送信します。ユーザーは最初の単語をすぐに確認でき、これはチャットインターフェースで重要です。使用量データはストリームの最後に到着します。

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

見落としやすい点が2つあります。まず、最後のチャンクには使用状況と空の choices リストが含まれる可能性があるため、インデックスアクセスする前に choices が空でないことを確認してください。第二に、ストリーミングリクエストはストリームが終了するまで同時実行数の枠を保持します。クライアントがストリームを開いて最後まで読み込まない場合、その枠は使用中のままになり、後のリクエストが concurrency エラーに達する可能性があります。必ずストリームを閉じるか、完全に消費してください。

関数呼び出し

ツール呼び出しにより、モデルはコードに関数の実行と結果の使用を依頼できます。関数はtoolsで定義し、tool_choiceで選択をオプションで制御し、モデルが要求したものを何でも実行し、role: "tool"メッセージとして出力を返します。

import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its id.",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"order_id": args["order_id"], "status": "shipped"}
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(result),
        })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

function.argumentsは防御的にパースしてください。これは言語モデルによって生成されたJSON文字列であり、まれに形式が正しくない場合や定義していないフィールドが含まれる場合があります。アクションを起こす前に検証してください。特にデータを変更する関数の場合です。ツール呼び出しはストリーミングでも機能し、その場合tool_callsはインデックスで結合してからパースする必要がある断片として到着します。

会話履歴の管理

APIはステートレスです。以前のリクエストを記憶しないため、マルチターンチャットは、コードが毎回以前のターンを再送信することで機能します。メッセージのリストを保持し、ユーザーの新しいメッセージを追加し、エンドポイントを呼び出し、次のターンに進む前にアシスタントの返信を追加してください。

history = [{"role": "system", "content": "You are a patient writing coach."}]

def chat(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=history)
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))

各ターンで履歴が再送信されるため、入力トークンはチャットの長さとともに増加します。ウィンドウは100,000トークンを保持しますが、これはほとんどの会話には十分です。ただし、制限に達する前にコストは大幅に上昇します。一般的なパターンは、システムメッセージと最後の数ターンのみを保持し、それ以前のターンをモデル自身が作成した短い要約に置き換えることです。各呼び出し後にusage.prompt_tokensを確認し、履歴がどの程度大きくなったかを確認してください。

JSON モード

機械可読な出力が必要な場合は、response_formatを{"type": "json_object"}に設定し、プロンプトでJSONを望むことを伝えてください。期待するキーを記述すると、結果がはるかに安定します。

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
        {"role": "user", "content": "Describe a short story about a lost robot."},
    ],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

JSONモードは出力をJSONとしてパース可能にしますが、スキーマを強制するわけではありません。コードでキーを確認し、値が存在しない場合のフォールバックを保持してください。トークン制限に達したために応答が切り捨てられた場合、JSONは不完全になるため、構造化出力に対してmax_tokensを低すぎないように設定してください。

失敗時の簡易チェックリスト

最初の日の問題のほとんどは限られた原因によるもので、順序を追って除外できます。

  1. Base URL。 /v1で終わる必要があります。SDKは/chat/completionsを自身で付加するため、パスが既に含まれているURLでは機能しません。
  2. Key header。 キーはAuthorization: Bearerに続き、その後にキーを配置します。キーにコピーされた不要なスペースや改行は、認証エラーの一般的な原因です。
  3. モデル ID。 uncensored を正確に使用してください。他のベンダーのモデル名はここでは有効ではありません。
  4. リクエストサイズ。 ボディの制限は8 MBで、プロンプトとcompletionの合計が100,000トークン以内に収まる必要があります。
  5. 残高。 任意の応答のX-Balance-USDヘッダーを確認し、クレジットが問題の原因かどうかを確認してください。
  6. リクエストIDを引用してください。 supportに連絡する場合は、失敗した応答からのX-Request-Id値を含め、リクエストを検索できるようにしてください。

拒否はエラーとは異なることに注意してください。このモデルは法的な成人向け利用に対してコンテンツ拒否を避けるように調整されているため、フィルタリングされたサービスよりも拒否が少なくなります。ただし、モデルは依然として拒否したり、あいまいなプロンプトに対して弱い回答をしたりする可能性があります。より明確なシステムメッセージは、通常、温度を上げるよりもこれを修正します。

制限、ヘッダー、リトライ

フルキーでは8つの同時リクエストと1分あたり300リクエストが可能です。トライアルキーでは2つの同時リクエストと1分あたり60リクエストが可能です。リクエストボディは最大8 MBです。各応答にはX-Request-Id、X-Balance-USD、X-RateLimit-Limit-Requests、X-RateLimit-Limit-Concurrencyが含まれ、これらはログ記録や管理画面での残高表示に役立ちます。

制限を超えると、APIはHTTP 429を返します。エラーコードrate_limitedは1分あたりのリクエストが多すぎることを意味し、concurrencyは一度に多すぎることを意味します。一時的な過負荷の場合も429が返され、Retry-After: 5ヘッダーが含まれます。単純なリトライラッパーはこれら3つすべてをカバーします。

import time
from openai import RateLimitError

def ask(messages, tries=4):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = 5 if attempt == 0 else 5 * (attempt + 1)
            retry_after = getattr(e.response, "headers", {}).get("retry-after")
            time.sleep(int(retry_after) if retry_after else wait)
    raise RuntimeError("still rate limited after retries")

ワーカープールを使用する場合、リトライに依存するのではなく、プールサイズを同時実行数の制限に制限してください。フルキーで8つのワーカーを使用しても、concurrencyエラーが発生することはほとんどありません。予期しないエラーが発生した場合は、the troubleshooting articleで一般的な原因について説明しています。

お支払いについて

請求は前払いクレジットからの従量制です:入力トークン100万あたり$0.15、出力トークン100万あたり$0.50、サブスクリプションはありません。失敗または拒否されたリクエストは請求されず、クレジットは期限切れになりません。1,500入力トークンと400出力トークンのリクエストは、1,500 / 1,000,000 x $0.15 + 400 / 1,000,000 x $0.50 = $0.000225 + $0.0002 = $0.000425 かかります。

チャージは$20から$500までの任意の整数額で、$50から5%ボーナス、$100から10%ボーナス、$200から15%ボーナスが適用されます。暗号資産(TRC20上のUSDT、Base上のUSDC)で支払うことができます。プロンプトはトレーニングに使用されません。pricing pageに詳細が記載されており、the quickstartにはセットアップ手順が短く記載されています。

質問と回答

公式 OpenAI ライブラリをこの API で使用できますか?

はい。PythonまたはNode用のOpenAI SDKをインストールし、ベースURLを https://api.llminferenceapi.com/v1 に設定してキーを渡し、モデルID uncensored を使用してください。

API は関数呼び出しに対応していますか?

はい。ツールとオプションの tool_choice を渡し、各結果を role tool のメッセージとして返します。ストリーミングされた tool_calls もサポートされています。

ここで429エラーは何を意味しますか?

制限に達しました。コード rate_limited は1分あたりのリクエストが多すぎることを意味し、concurrency は同時リクエストが多すぎることを意味し、Retry-After: 5 ヘッダーは一時的な過負荷を示します。待機して再試行してください。

埋め込みや画像にも使用できますか?

いいえ。この API はテキストのみで、チャット補完とモデル一覧を提供します。

あとフォーム1つ入力するだけでキーが手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得