LLM 추론이란? 토큰, 지연 시간 및 비용
LLM 추론이 무엇인지 묻는다면, 짧은 버전은 다음과 같습니다. 학습된 언어 모델이 프롬프트를 읽고 토큰을 하나씩 작성하여 응답을 생성하는 단계입니다. 이 페이지는 그 작동 방식과 비용을 설명합니다.
업데이트:

주요 포인트
- 추론은 완성된 모델을 실행하여 출력을 생성하는 것이며, 학습은 모델을 생성한 이전의 훨씬 비싼 단계입니다.
- 요청에는 두 가지 단계가 있습니다: 프롬프트 읽기(prefill)와 토큰을 하나씩 작성하여 답변 생성(decoding).
- 비용과 속도는 모두 토큰 수를 따르므로, 입력 길이, 출력 길이 및 컨텍스트 창이 그 외의 모든 것보다 더 중요합니다.
- 호스팅된 API를 사용하면 토큰당 요금을 지불하고 GPU 관련 비용을 피할 수 있으며, 자체 하드웨어를 사용하면 가동 중이든 유휴 상태이든 기기에 대해 비용을 지불합니다.
한 단락으로 이해하는 추론
대규모 언어 모델은 가중치라고 불리는 숫자로 가득 찬 파일입니다. 학습은 방대한 양의 텍스트를 모델에 보여줌으로써 이러한 숫자를 설정하는 과정입니다. 추론은 완성된 가중치를 사용하여 답변을 얻을 때 발생하는 모든 후속 작업을 의미합니다. 모델에 보낸 모든 채팅 메시지, 자동 완성 제안 및 텍스트를 반환하는 모든 API 호출은 추론 요청입니다.
이 구분이 중요한 이유는 두 작업의 경제성이 다르기 때문입니다. 학습은 한 번(또는 몇 번) 발생하며 대규모 클러스터가 필요합니다. 추론은 누군가가 프롬프트를 보낼 때마다 발생하므로 사용자 수에 따라 확장되는 부분입니다. 사람들이 AI 제품의 실행 비용이라고 말할 때, 그들은 거의 항상 추론 비용을 의미합니다.
모델은 답변을 "검색"하지 않습니다. 가능한 모든 다음 토큰에 대한 확률을 계산하고, 하나를 선택하여 텍스트에 추가한 후 반복합니다. 이 루프가 전체 메커니즘이며, 이 페이지의 나머지 부분은 이에 대한 더 자세한 설명입니다.
단일 요청 중 발생하는 일
단일 채팅 요청을 가져와서 코드에서 마지막 문자까지 따라가 보세요.
- 토큰화. 텍스트는 토큰으로 분할됩니다. 토큰은 문자의 덩어리입니다. 토큰은 종종 짧은 단어이거나 긴 단어의 일부입니다. 영어의 일반적인 경험 법칙은 토큰당 약 4자이지만, 언어와 코드와 같은 콘텐츠에 따라 다릅니다.
- Prefill. 모델은 모든 프롬프트 토큰을 한 번에 처리합니다. 이는 병렬 작업이며 텍스트를 계속하기 위해 모델이 필요한 내부 상태를 구축합니다.
- Decoding. 모델은 첫 번째 출력 토큰, 두 번째 출력 토큰 등을 생성합니다. 각 새 토큰은 그 이전의 모든 토큰에 의존하므로 이 단계는 순차적입니다. 대부분의 요청에서 가장 느린 부분입니다.
- 샘플링. 각 단계에서 모델은 사전 어휘의 모든 토큰에 대한 점수를 가집니다.
temperature및top_p과 같은 설정은 이러한 점수에서 다음 토큰이 어떻게 선택될지 결정합니다. 낮은 온도는 거의 모든 시간에서 가장 가능성 있는 토큰을 선택합니다. 더 높은 온도는 더 많은 다양성을 허용합니다. - 중지. 생성은 모델이 텍스트 종료 토큰을 출력하거나 정의한
stop시퀀스에 도달하거나 토큰 제한에 도달할 때 종료됩니다.
프리필과 디코딩은 서로 다른 방식으로 하드웨어에 부하를 줍니다. 프리필은 주로 연산 능력에 의해 제한됩니다. 디코딩은 GPU가 메모리에서 모델 가중치를 읽는 속도에 주로 의해 제한되는데, 각 토큰은 가중치를 모두 거쳐야 하기 때문입니다. 이것이 긴 답변이 같은 크기의 긴 질문보다 눈에 띄게 더 오래 걸리는 이유입니다.
토큰, 컨텍스트 창 및 KV 캐시
추론의 모든 것은 토큰으로 측정됩니다. 프롬프트, 시스템 메시지, 대화의 이전 턴 및 답변 모두 계산됩니다. 컨텍스트 창은 모델이 프롬프트와 완성 텍스트를 함께 한 번에 보유할 수 있는 최대 토큰 수입니다. 이 서비스에서 컨텍스트 창은 100,000개 토큰이며, 완성 텍스트는 프롬프트가 남긴 여유 공간을 모두 사용할 수 있습니다.
새로운 토큰마다 전체 대화를 다시 계산하지 않도록 추론 엔진은 이미 처리된 토큰에 대한 중간 키와 값을 유지하는 KV 캐시를 유지합니다. 캐시는 컨텍스트의 길이와 함께 성장하며 GPU 메모리를 차지합니다. 이것이 긴 컨텍스트가 서비스 제공에 비용이 많이 드는 주된 이유이며, 서버가 동시에 제한된 수의 긴 요청만 처리할 수 있는 이유입니다.
개발자로서 귀하에게 실용적인 결과: 모든 턴에서 전체 기록을 다시 보내는 채팅은 그 기록에 대해 매번 비용을 지불합니다. 대화가 20,000개 토큰에 도달하면 모든 새 메시지에는 해당 20,000개 입력 토큰이 함께 전달됩니다. 이전 턴을 자르거나 요약하는 것이 서버 측 변경 없이 귀하가 사용할 수 있는 가장 저렴한 속도 및 비용 최적화 방법입니다.
지연 시간: 두 가지 수치가 필요한 이유
사람들은 종종 모델이 얼마나 빠른지 묻지만, 두 가지 별도의 측정 항목이 있습니다.
- 첫 번째 토큰까지의 시간. 텍스트가 나타나기 전에 기다리는 시간입니다. 여기에는 네트워크 시간, 서버 대기열 및 prefill이 포함됩니다. 긴 프롬프트는 이를 증가시킵니다.
- 생성 속도. 첫 번째 토큰 이후 토큰이 도착하는 속도입니다. 이는 모델 크기, 하드웨어 및 해당 순간에 동일한 GPU가 처리하는 다른 요청 수에 따라 달라집니다.
스트리밍은 이러한 분리로 인해 존재합니다. stream: true를 사용하면 서버는 생성되는 대로 토큰을 보내므로 사용자는 전체 답변을 기다리는 대신 첫 번째 토큰 이후에 읽기를 시작할 수 있습니다. 총 시간은 동일하지만 인터페이스가 훨씬 더 빠르게 느껴집니다. 채팅, 역할극 및 작성 도구에는 스트리밍이 거의 항상 올바른 기본값입니다.
동시성을 계획할 때 기억해야 할 한 가지 세부 사항은 스트리밍된 요청이 첫 번째 토큰이 도착할 때가 아니라 스트림이 끝날 때까지 슬롯을 유지한다는 것입니다. 키가 8개의 동시 요청을 허용하는 경우, 활성 상태인 8개의 긴 스트림은 아홉 번째 요청이 기다려야 하거나 429 응답을 받음을 의미합니다.
추론 비용: 실제 숫자로 확인하기
호스팅된 추론은 토큰당 청구되며, 출력 토큰이 더 많은 작업을 필요로하므로 입력 및 출력에 대해 별도의 가격이 책정됩니다. 이 서비스는 구독 없이 선불 크레딧에서 토큰 100만 개당 $0.15 및 토큰 100만 개당 $0.50을 청구합니다. 다음은 몇 가지 일반적인 요청에 대한 계산 방법입니다.
| 요청 | 입력 토큰 | 출력 토큰 | 비용 |
|---|---|---|---|
| 짧은 채팅 메시지 | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| 기록이 있는 채팅 | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| 긴 문서 요약 | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| 전체 100,000개 토큰 프롬프트, 짧은 답변 | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
계산은 간단합니다: 토큰 수를 백만으로 나누고 가격에 곱합니다. 채팅-히스토리 행의 경우, 2,000 / 1,000,000 x $0.15 = $0.0003 및 500 / 1,000,000 x $0.50 = $0.00025이며, 이는 $0.00055로 합산됩니다. 그런 요청 1,000건의 비용은 총 $0.55입니다.
예산 책정에 도움이 되는 두 가지 세부 사항이 있습니다. 실패하거나 거부된 요청에는 요금이 부과되지 않으며, 크레딧은 만료되지 않으므로 충전금이 시간과 함께 소모되는 것이 아닙니다. 모든 응답에는 X-Balance-USD 헤더가 포함되어 별도 호출 없이 잔액을 확인할 수 있습니다.
호스팅 추론 또는 자체 GPU
추론을 얻는 두 가지 방법이 있습니다. GPU를 임대하거나 구매하고 서빙 엔진을 설치하여 모델을 직접 실행할 수 있습니다. 또는 API를 호출하여 다른 사람이 하드웨어를 운영하도록 할 수 있습니다.
직접 실행하면 모델 파일, 설정 및 데이터 경로에 대한 완전한 제어를 얻을 수 있습니다. 비용은 운영 작업에 있습니다: 가중치와 KV 캐시에 맞는 하드웨어 선택, 드라이버 및 엔진 업데이트 유지, 트래픽 급증 처리 및 사용량이 적은 시간 동안에도 서버에 대한 비용 지불. 호스팅된 API는 이를 토큰당 청구로 전환합니다. 트래픽이 고르지 않거나 아이디어를 테스트 중인 경우 일반적으로 더 빠른 경로입니다.
여기서 설명하는 서비스는 호스팅된 OpenAI 호환 텍스트 전용 API입니다. 독립적인 제공업체가 운영하며 합법적인 성인 사용에 대한 콘텐츠 거부 없이 답변하도록 조정된 하나의 오픈 웨이트 모델을 실행합니다. 이는 어떤 모델 벤더의 공식 API가 아니며, 이미지, 오디오 또는 비디오 생성, 임베딩 생성 또는 모델 파인 튜닝을 수행하지 않습니다. 이러한 기능이 필요한 경우 다른 도구가 필요합니다. 적은 거부와 함께 일반 텍스트 생성이 필요한 경우, 빠른 시작이 설정을 보여주고, 가격 책정 페이지이 충전 옵션을 나열합니다.
추론 호출을 직접 시도해 보세요
개념을 구체적으로 만드는 가장 빠른 방법은 요청을 하나 보내고 반환된 숫자를 읽는 것입니다. 키 생성 후, 이 curl 명령어는 엔드포인트에 채팅 완료를 보냅니다:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
JSON 응답에는 usage 객체가 포함되어 있으며, 이 객체에는 prompt_tokens, completion_tokens 및 total_tokens이 있습니다. 이 값들을 위의 가격에 곱하면 호출의 정확한 비용을 알 수 있습니다. OpenAI SDK를 사용한 Python 예제는 다음과 같습니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
새로운 사용자는 가입 후 키 페이지에서 한 번의 클릭으로 $0.50의 체험 크레딧을 청구할 수 있습니다. 카드를 등록할 필요 없으며, 7일 동안 유효하며 위의 가격으로는 약 2,000건의 짧은 채팅 메시지를 처리할 수 있습니다. 알 수 없는 오류가 반환되는 경우, 문제 해결 문서에 일반적인 원인이 나열되어 있습니다.
더 많은 가이드
질문과 답변
추론이 모델을 실행하는 것과 같은 것인가요?
네. 학습된 모델을 새로운 입력에 적용하여 출력을 생성하는 것이 추론입니다. 가중치를 조정하는 학습은 서로 다른 이전 단계입니다.
왜 출력(output)이 입력(input)보다 비싼가요?
입력 토큰은 하나의 병렬 처리 단계에서 함께 처리되는 반면, 출력 토큰은 한 번에 하나씩 생성됩니다. 제공업체는 느린 순차적 부분에 더 높은 가격을 책정하며, 이 서비스는 1M 토큰당 $0.50과 $0.15를 각각 부과합니다.
긴 컨텍스트 창이 요청 속도를 늦추나요?
일반적으로 그렇습니다. 긴 프롬프트는 더 많은 prefill 작업과 더 큰 KV 캐시를 의미하므로 첫 번째 토큰까지의 시간이 늘어납니다. 실제로 전송하고 수신하는 토큰에 대해서만 지불하며, 100,000개 토큰 창 중 사용하지 않는 부분에는 요금이 부과되지 않습니다.
추론 API를 사용하려면 GPU가 필요하나요?
아니요. 제공업체가 하드웨어를 관리합니다. 노트북이나 소형 서버를 포함한 모든 기기에서 HTTPS 요청을 보내면 됩니다.
키를 얻으려면 양식 하나만 작성하면 됩니다
계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.
API 키 받기