LLM Inference API: 스트리밍, 도구 및 JSON 모드
LLM 추론 API는 HTTPS를 통해 프롬프트를 보내고 생성된 텍스트를 받습니다. GPU가 필요 없습니다. 이 페이지에서는 첫 번째 요청부터 스트리밍, 도구, JSON 모드 및 속도 제한까지 OpenAI 호환 엔드포인트에 대한 작동 설정을 보여줍니다.
업데이트:

주요 포인트
- OpenAI SDK를 https://api.llminferenceapi.com/v1로 향하게 하세요. 모델 ID는 uncensored를 사용하고, 키는 Bearer 토큰으로 전달하세요.
- 두 가지 엔드포인트를 사용할 수 있습니다: POST /v1/chat/completions 및 GET /v1/models.
- 스트리밍, 함수 호출 및 JSON 모드는 표준 요청 필드를 통해 작동합니다.
- 일반 키는 동시 8개 요청과 분당 300개 요청을 허용합니다. 429 응답은 어떤 제한에 도달했는지 알려줍니다.
첫 번째 호출 전에 필요한 것
세 가지가 필요합니다: Base URL, 키 및 모델 이름입니다. Base URL은 https://api.llminferenceapi.com/v1이며, 모델 ID는 uncensored입니다. 키는 Google 또는 이메일과 비밀번호로 로그인한 후 API 키 페이지에서 얻을 수 있습니다. 신규 사용자는 클릭 한 번으로 $0.50의 무료 체험 크레딧을 받을 수 있습니다. 카드가 필요 없으며, 7일 동안 유효하고 사람당 한 번만 신청할 수 있습니다.
서비스는 텍스트 전용입니다. POST /v1/chat/completions 및 GET /v1/models을 제공합니다. 임베딩, 이미지/오디오 생성, 파인튜닝은 없습니다. 독립 제공자가 운영하는 오픈 웨이트 모델 하나를 실행하며, 합법적인 성인 사용자를 위해 콘텐츠 거부 없이 답변하도록 조정되었습니다. 공식 모델 벤더 API가 아닙니다. 미성년자를 성적으로 묘사하는 콘텐츠는 허용되지 않습니다.
키를 소스 코드가 아닌 환경 변수에 보관하세요. 아래 예제는 언어가 허용하는 경우 API_KEY에서 키를 읽습니다.
첫 번째 요청
curl로 시작하세요. 네트워크를 통해 전송되는 내용을 정확히 보여주기 때문입니다.
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "List three uses of a message queue."}
],
"temperature": 0.7
}'
응답은 일반적인 채팅 완료 객체입니다. choices[0].message.content에는 텍스트가, usage에는 토큰 사용량이 포함됩니다. GET /v1/models로 모델을 나열할 수도 있으며, 이는 다른 디버깅을 시작하기 전에 키와 URL이 올바른지 확인하는 빠른 방법입니다.
공식 OpenAI SDK를 사용한 Python에서는 생성자만 변경됩니다:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)
Node에서는 다음과 같습니다:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llminferenceapi.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);
완성은 프롬프트 이후 남은 100,000 토큰 창을 모두 사용할 수 있으므로 max_tokens은 선택 사항입니다. 비용이나 길이에 엄격한 상한이 필요할 때 설정하세요. temperature, top_p, stop, seed와 같은 샘플링 제어와 빈도 및 존재 패널티는 전달됩니다.
초기부터 알아두면 좋은 설정이 두 가지 있습니다. seed는 테스트를 위해 샘플링을 반복 가능하게 만들어, 프롬프트의 두 버전을 비교할 때 차이가 확률이 아닌 프롬프트 자체에서 비롯되도록 도와줍니다. stop은 모델이 해당 문자열을 생성할 때 생성을 즉시 종료하는 하나 이상의 문자열을 받아, 구분 기호에서 응답을 차단하고 버릴 토큰에 대한 비용을 절약하는 저렴한 방법을 제공합니다.
스트리밍 응답
stream: true를 사용하면 서버는 서버 전송 이벤트를 통해 응답하고 텍스트를 작은 단위로 보냅니다. 사용자는 채팅 인터페이스에서 첫 단어를 빠르게 볼 수 있습니다. 사용량 데이터는 스트림 끝에 도착합니다.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
두 가지 포인트는 쉽게 놓칠 수 있습니다. 첫째, 마지막 청크에는 사용량과 빈 choices 목록이 포함될 수 있으므로, 인덱싱하기 전에 choices이 비어 있지 않은지 확인하세요. 둘째, 스트리밍 요청은 스트림이 끝날 때까지 동시성 슬롯을 유지합니다. 클라이언트가 스트림을 열고 끝까지 읽지 않으면 해당 슬롯이 계속 사용 중이 되어 이후 요청이 concurrency 오류에 부딪힐 수 있습니다. 항상 스트림을 닫거나 완전히 소비하세요.
함수 호출
함수 호출은 모델이 당신의 코드로 함수를 실행하고 결과를 사용하도록 요청하게 합니다. tools에 함수를 설명하고, 선택적으로 tool_choice로 선택을 조정한 후, 모델이 요청한 것을 실행하고 role: "tool" 메시지로 출력을 다시 보냅니다.
import json
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its id.",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
function.arguments는 항상 방어적으로 파싱해야 합니다. 이는 언어 모델이 생성한 JSON 문자열이며, 드물게 형식이 잘못되거나 정의하지 않은 필드를 포함할 수 있습니다. 함수가 데이터를 변경할 때 특히 그렇습니다. 함수 호출은 스트리밍에서도 작동하며, 이 경우 tool_calls는 인덱스로 조립한 후 파싱해야 하는 조각으로 전달됩니다.
대화 기록 관리
API는 상태가 없습니다. 이전 요청을 기억하지 않으므로, 멀티 턴 채팅은 코드가 매번 이전 턴을 다시 보내기 때문에만 작동합니다. 메시지 목록을 유지하고, 사용자의 새 메시지를 추가한 후 엔드포인트를 호출한 다음, 다음 턴 전에 어시스턴트의 응답을 추가하세요.
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=history)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))
모든 턴이 기록을 다시 보내므로 입력 토큰은 채팅 길이에 따라 증가합니다. 창은 100,000개의 토큰을 유지하므로 대부분의 대화에는 충분하지만, 제한에 도달하기 전에 비용이 크게 증가합니다. 일반적인 패턴은 시스템 메시지와 마지막 여러 턴을 유지하고, 모델이 직접 작성한 짧은 요약으로 이전 턴을 대체하는 것입니다. usage.prompt_tokens을 각 호출 후에 읽어서 기록의 크기를 확인하세요.
JSON 모드
기계 판독 가능한 출력이 필요한 경우, response_format을 {"type": "json_object"}로 설정하고 프롬프트에서 JSON을 원한다고 명시하세요. 기대하는 키를 설명하면 결과가 훨씬 안정적입니다.
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
{"role": "user", "content": "Describe a short story about a lost robot."},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
JSON 모드는 출력을 JSON으로 구문 분석하게 하지만 스키마를 강제하지는 않습니다. 코드에서 키를 확인하고, 값이 누락된 경우를 대비해 대체 방법을 유지하세요. 응답이 토큰 제한에 도달하여 잘린 경우 JSON이 불완전하므로 구조화된 출력에 대해 max_tokens을 너무 낮게 설정하지 마세요.
오류 발생 시 짧은 체크리스트
대부분의 첫날 문제는 몇 가지 원인으로 발생하며, 순서대로 배제할 수 있습니다.
- Base URL.
/v1로 끝나야 합니다. SDK는/chat/completions을 자체적으로 추가하므로, 경로가 이미 포함된 URL은 작동하지 않습니다. - Key header. 키는
Authorization: Bearer뒤에 이어져야 합니다. 키와 함께 복사된 여백 공백이나 줄바꿈은 인증 오류의 흔한 원인입니다. - Model ID.
uncensored를 정확히 사용하세요. 다른 벤더의 모델 이름은 여기서 유효하지 않습니다. - 요청 크기. 본문 크기는 8 MB를 초과할 수 없으며, 프롬프트와 완성 텍스트의 합계는 100,000 토큰을 초과할 수 없습니다.
- Balance. 크레딧이 문제인지 확인하려면 모든 응답의
X-Balance-USD헤더를 확인하세요. - 요청 ID를 명시하세요. support에 문의할 때 실패한 응답의
X-Request-Id값을 포함하면 요청을 찾을 수 있습니다.
거부는 오류와 다르다는 점을 명심하세요. 이 모델은 합법적인 성인 사용에 대한 콘텐츠 거부를 피하도록 조정되었으므로 필터링된 서비스보다 거부가 적게 발생하지만, 모델은 여전히 모호한 프롬프트에 대해 거절하거나 약한 답변을 제공할 수 있습니다. 더 명확한 시스템 메시지는 더 높은 온도보다 이를 더 잘 해결합니다.
제한, 헤더 및 재시도
일반 키는 동시 8개 요청과 분당 300개 요청을 허용합니다. 체험 키는 동시 2개 요청과 분당 60개 요청을 허용합니다. 요청 본문은 최대 8 MB까지 가능합니다. 각 응답에는 X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests 및 X-RateLimit-Limit-Concurrency 헤더가 포함되어 로깅 및 관리자 화면에서 잔액을 표시하는 데 유용합니다.
제한을 초과하면 API는 HTTP 429를 반환합니다. 오류 코드 rate_limited은 분당 요청 수가 많음을, concurrency은 동시에 너무 많은 요청이 있음을 의미합니다. 일시적 과부하 시에도 429가 발생하며, Retry-After: 5 헤더가 포함됩니다. 간단한 재시도 래퍼는 세 가지 경우 모두를 처리합니다:
import time
from openai import RateLimitError
def ask(messages, tries=4):
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = 5 if attempt == 0 else 5 * (attempt + 1)
retry_after = getattr(e.response, "headers", {}).get("retry-after")
time.sleep(int(retry_after) if retry_after else wait)
raise RuntimeError("still rate limited after retries")
작업 풀의 경우, 재시도에 의존하기 대신 풀 크기를 동시 요청 제한으로 제한하세요. 전체 키의 경우 8개의 작업자는 거의 concurrency 오류를 보지 못합니다. 예상치 못한 오류가 발생하면 문제 해결 기사에서 일반적인 원인을 다룹니다.
요금 지불
선불 크레딧에서 사용한 만큼 지불하는 방식입니다: 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며 구독이 없습니다. 실패하거나 거부된 요청에는 요금이 청구되지 않으며, 크레딧은 만료되지 않습니다. 입력 토큰 1,500개와 출력 토큰 400개를 사용한 요청의 비용은 1,500 / 1,000,000 x $0.15 + 400 / 1,000,000 x $0.50 = $0.000225 + $0.0002 = $0.000425입니다.
충전 금액은 $20부터 $500까지의 정수 금액이며, $50부터 5%, $100부터 10%, $200부터 15%의 보너스가 제공됩니다. 암호화폐(USDT on TRC20, USDC on Base)로 결제할 수 있습니다. 프롬프트는 학습에 사용되지 않습니다. 가격 책정 페이지에 세부 정보가 나열되어 있으며, 시작하기에는 설정 단계가 간략하게 반복되어 있습니다.
더 많은 가이드
질문과 답변
공식 OpenAI 라이브러리를 이 API와 함께 사용할 수 있나요?
네. Python 또는 Node용 OpenAI SDK를 설치하고 base URL을 https://api.llminferenceapi.com/v1로 설정한 후 키를 전달하고 모델 ID uncensored를 사용하세요.
API는 함수 호출을 지원하나요?
네. 도구와 선택적으로 tool_choice를 전달한 후, role tool인 메시지로 각 결과를 반환하세요. 스트리밍되는 tool_calls도 지원됩니다.
여기서 429 오류는 무엇을 의미합니까?
제한에 도달했습니다. 코드 rate_limited는 분당 요청 수 제한을 초과했음을, concurrency는 동시 요청 수 제한을 초과했음을 의미하며, Retry-After: 5 헤더는 임시 과부하를 나타냅니다. 잠시 후 다시 시도하세요.
임베딩이나 이미지 처리에도 사용할 수 있습니까?
아니요. 이 API는 텍스트 전용이며 채팅 완성 API와 모델 목록을 제공합니다.
키를 얻으려면 단 한 단계만 더 진행하면 됩니다
계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.
API 키 받기