JA ▾
API キーを取得

LLM Inference APIガイド

LLM推論とは?トークン、レイテンシ、コスト

LLM推論とは何かと問われた場合、簡潔に言えば、これは学習済み言語モデルがプロンプトを読み取り、1トークンずつ返信を生成するステップです。このページではその仕組みとコストについて説明します。

更新日:

処理チャンバーに出入りするトークンの等角図、LLM推論を表す

主要ポイント

  1. 推論は完成したモデルを実行して出力を生成することであり、トレーニングはモデルを作成した以前の、はるかに高コストなステップです。
  2. リクエストには2つのフェーズがあります:プロンプトの読み取り(プリフィル)と、トークンごとの回答の生成(デコーディング)。
  3. コストと速度はトークン数に依存するため、入力長、出力長、コンテキストウィンドウがそれ以外の要素よりも重要です。
  4. ホスト型APIではトークンごとに課金され、GPUを不要にできますが、自前のハードウェアではアイドル状態でもマシンに対して課金されます。

1段落で理解する推論

大規模言語モデルは重みと呼ばれる数の羅列を含むファイルです。トレーニングは、モデルに膨大な量のテキストを見せてその数値を設定するプロセスです。推論は、完成した重みを使って回答を取得する際に発生するすべての処理です。モデルに送信するチャットメッセージ、オートコンプリートの提案、テキストを返すAPI呼び出しのすべてが推論リクエストです。

この区別が重要なのは、2つの作業の経済性が異なるためです。トレーニングは1回(または数回)だけ発生し、大規模なクラスターが必要です。推論は誰かがプロンプトを送信するたびに発生するため、ユーザー数に比例してスケーリングする部分です。AI製品のランニングコストについて話す際、人々はほぼ例外なく推論のコストを指します。

モデルは回答を「検索」しません。可能なすべての次のトークンに対して確率を計算し、1つを選択し、テキストに追加し、これを繰り返します。このループが全体のメカニズムであり、このページの残りの部分ではそれをより詳しく見ます。

1つのリクエストで何が起こるか

1つのチャットリクエストを取り上げ、コードから最終文字まで追跡します。

  1. トークン化。 テキストはトークン(文字の塊)に分割されます。トークンは通常、短い単語や長い単語の一部です。英語の場合の一般的な目安はトークンあたり約4文字ですが、言語やコードなどのコンテンツによって異なります。
  2. プリフィル。 モデルはすべてのプロンプトトークンを1パスで処理します。これは並列作業であり、テキストを継続するためにモデルが必要とする内部状態を構築します。
  3. デコーディング。 モデルは最初の出力トークンを生成し、次に2番目、というように続けます。新しいトークンはそれ以前のすべてに依存するため、このフェーズは逐次です。これはほとんどのリクエストで低速な部分です。
  4. サンプリング。 各ステップでモデルは語彙内のすべてのトークンに対してスコアを持っています。temperature や top_p などの設定は、それらのスコアから次のトークンをどのように選択するかを決定します。低い温度ではほぼ常に最も確率の高いトークンが選択され、高い温度では多様性が許容されます。
  5. 停止。モデルがテキスト終了トークンを出力したとき、あなたが定義したstopシーケンスに到達したとき、またはトークン制限に達したときに生成が終了します。

プリフィルとデコーディングは異なる方法でハードウェアに負荷をかけます。プリフィルは主に演算能力によって制限されます。デコーディングは、GPUがメモリからモデル重みをどれだけ高速に読み取れるかによって主に制限されます。なぜなら、各トークンはそれらにアクセスする必要があるからです。そのため、同じサイズの長い回答は長い質問よりも明らかに時間がかかります。

トークン、コンテキストウィンドウ、KVキャッシュ

推論のすべてはトークンで測定されます。プロンプト、システムメッセージ、会話の以前のターン、返信のすべてがカウントされます。コンテキストウィンドウ は、モデルが一度に保持できるトークンの最大数です(プロンプトと補完を合わせて)。本サービスではコンテキストウィンドウは100,000トークンで、補完はプロンプトが空けた分を使用できます。

新しいトークンごとに会話全体を再計算しないように、推論エンジンはKVキャッシュ を保持します。これはすでに処理されたトークンの中間キーと値です。キャッシュはコンテキストの長さとともに成長し、GPUメモリを占有します。これが長いコンテキストの提供コストがかかる主な理由であり、サーバーが同時に処理できる長いリクエストの数が限られる理由です。

開発者としての実用的な影響:チャットが各会話のターンで履歴全体を再送信する場合、その履歴に対して毎回課金されます。会話が20,000トークンに達した場合、新しいメッセージごとに20,000の入力トークンが伴います。古い会話のターンを切り捨てたり要約したりすることが、サーバー側の変更を必要とせず、あなたにとって最もコストと速度の最適化になります。

レイテンシ:2つの数値がある理由

モデルの速度についてよく質問されますが、2つの別々の測定値があります。

  • 最初のトークンまでの時間。 テキストが現れるまでの待ち時間。ネットワーク時間、サーバーでのキュー待ち、プリフィルが含まれます。長いプロンプトはこれを引き上げます。
  • 生成速度。 最初のトークンの後にトークンが到着する速度。モデルサイズ、ハードウェア、およびその瞬間に同じGPUが処理している他のリクエストの数に依存します。

ストリーミングはこの分離のために存在します。stream: trueを使用すると、サーバーはトークンが生成されるたびに送信するため、ユーザーは完全な回答を待つことなく最初のトークンを受け取った時点で読み取りを開始できます。合計時間は同じですが、インターフェースははるかに高速に感じられます。チャット、ロールプレイ、ライティングツールでは、ストリーミングがほぼ常に適切なデフォルトです。

同時実行を計画する際に覚えておくべき1つの詳細:ストリーミングリクエストは、最初のトークンが到着した時点ではなく、ストリーミングが終了するまでスロットを保持します。APIキーが8つの同時リクエストを許可している場合、8つのストリームが進行中である場合、9番目のリクエストは待機するか、429レスポンスを受け取る必要があります。

実際の数値で見る推論のコスト

ホスト型推論はトークンごとに請求され、出力トークンの方が処理量が多いため、入力と出力で別々の価格が設定されています。本サービスは前払いクレジットから、サブスクリプションなしで、1M入力トークンあたり$0.15、1M出力トークンあたり$0.50を請求します。いくつかの典型的なリクエストでの計算例は以下の通りです。

リクエスト入力トークン出力トークンコスト
短いチャットメッセージ500300$0.000075 + $0.00015 = $0.000225
履歴付きチャット2,000500$0.0003 + $0.00025 = $0.00055
長いドキュメントの要約30,0001,000$0.0045 + $0.0005 = $0.005
100,000トークンの完全なプロンプト、短い返信100,000500$0.015 + $0.00025 = $0.01525

計算は単純です:トークン数を100万で割って価格を掛けます。履歴付きチャットの行では、2,000 / 1,000,000 x $0.15 = $0.0003 および 500 / 1,000,000 x $0.50 = $0.00025 となり、合計は$0.00055です。そのようなリクエスト1,000回のコストは$0.55です。

予算を組む際に役立つ請求の2つの詳細:失敗または拒否されたリクエストには課金されず、クレジットは期限切れにならないため、チャージは時間が経過して減少するものではありません。すべてのレスポンスにはX-Balance-USDヘッダーが含まれており、これによりコードは別の呼び出しを行わずに残高を確認できます。

ホスト型推論か自前のGPUか

推論を取得するには2つの方法があります。GPUをレンタルまたは購入し、サービングエンジンをインストールしてモデルを自分で実行するか、APIを呼び出して他者にハードウェアの運用を任せるかです。

自分で実行すると、モデルファイル、設定、データパスの完全な制御が得られます。価格は運用作業です:重みとKVキャッシュに適合するハードウェアの選択、ドライバーとエンジンの更新、トラフィックのスパイクへの対応、閑散時のマシンへの課金。ホスト型APIはこれをトークンごとの請求に変えます。トラフィックが不均一な場合や、アイデアをまだテストしている場合は、通常、より迅速なルートです。

ここで説明するサービスは、ホスト型でOpenAI互換のテキスト専用APIです。1つのオープンウェイトモデルを実行し、独立したプロバイダによって運用され、法的な成人用途に対してコンテンツ拒否なしで回答するようにチューニングされています。これは任意のモデルベンダーの公式APIではなく、画像、オーディオ、ビデオの生成、埋め込みの作成、モデルのファインチューニングは行いません。それらのいずれかが必要な場合は、異なるツールが必要です。少ない拒否でプレーンテキスト生成が必要な場合は、クイックスタート がセットアップを示し、料金ページ がチャージオプションをリストしています。

実際に推論呼び出しを試す

この概念を具体的にする最も速い方法は、1つのリクエストを送信して返される数値を読むことです。APIキーを作成した後、このcurlコマンドはエンドポイントにチャット補完を送信します。

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
    "max_tokens": 120
  }'

JSONレスポンスには usage オブジェクトが含まれており、prompt_tokens、completion_tokens、total_tokens が含まれます。それらに上記の価格を掛けると、呼び出しの正確なコストがわかります。OpenAI SDKを使用したPythonでの同じ処理:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
    max_tokens=120,
)

u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

新規ユーザーは、サインアップ後にキーページでワンクリックで$0.50の無料トライアルクレジットを請求できます。カードは不要で、7日間有効であり、上記の価格ではおおよそ2,000件の短いチャットメッセージをカバーできます。認識しないエラーが返された場合は、トラブルシューティング記事 に一般的な原因がリストされています。

質問と回答

推論はモデルの実行と同じですか?

はい。学習済みモデルに新しい入力を渡して出力を生成する処理が推論です。重みを調整するトレーニングは、異なるかつ以前のステップです。

なぜ出力は入力よりも高価なのですか?

入力トークンは1回の並列パスで一括して処理されるのに対し、出力トークンは1つずつ生成されます。プロバイダーは低速な逐次処理部分に高い料金を設定しており、本サービスでは1Mトークンあたり$0.50と$0.15を請求します。

長いコンテキストウィンドウはリクエストを遅くしますか?

通常はそうです。より長いプロンプトはより多くのprefill処理とより大きなKVキャッシュを意味するため、最初のトークンまでの時間が長くなります。実際に送信および受信するトークンのみに対して課金され、100,000トークンのウィンドウの未使用部分に対しては課金されません。

推論APIを使用するためにGPUが必要ですか?

いいえ。プロバイダがハードウェアを実行します。ラップトップや小型サーバーを含む任意のマシンからHTTPSリクエストを送信します。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得