LLM 추론 프레임워크 대 호스팅 API 비교
이 LLM 추론 프레임워크 비교는 직접 실행 가능한 엔진(vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang)을 다루며, 이를 OpenAI 호환 호스팅 API와 비교합니다. 최적의 선택은 하드웨어, 트래픽 및 운영 부담에 따라 달라집니다.
업데이트:

주요 포인트
- vLLM, SGLang, TensorRT-LLM은 다수 동시 사용자를 위한 GPU 서버용으로 설계되었으며, llama.cpp와 Ollama는 노트북을 포함한 단일 머신용으로 설계되었습니다.
- 자체 호스팅은 가중치와 데이터 경로에 대한 제어권을 제공하지만, 유휴 상태에서도 하드웨어 및 유지보수 비용이 발생합니다.
- 호스팅 API는 유휴 상태에서는 비용이 발생하지 않으며 토큰 단위로 청구되므로, 불규칙하거나 초기 단계의 트래픽에 적합합니다.
- 이러한 도구 중 대부분은 OpenAI API 형식을 지원하므로, 이들 간에 전환하는 것은 일반적으로 기본 URL(base URL)만 변경하면 됩니다.
대부분의 선택을 결정하는 두 가지 질문
엔진을 비교하기 전에 두 가지 질문에 답하세요. 먼저 모델을 직접 선택해야 합니까? 특정 가중치 세트를 실행해야 한다면 단일 모델을 제공하는 호스팅 서비스는 도움이 되지 않으며 프레임워크가 유일한 방법입니다. 둘째, 트래픽은 얼마나 일정합니까? 하루 24시간 내내 바쁜 상태를 유지하는 GPU는 돈을 쓰는 좋은 방법입니다. 저녁에 트래픽이 급증했다가 나머지 시간에는 유휴 상태인 GPU는 그렇지 않습니다.
첫 번째 질문에 대한 답이 "일반적인 성인 요청을 거부하지 않는 모든 유능한 모델이면 충분함"이고 두 번째 질문에 대한 답이 "불규칙함"이라면 호스팅 API가 더 간단한 선택일 것입니다. 특정 파인튜닝이 필요하거나 안정적인 고부하가 발생하거나 모든 바이트를 자체 머신에 보관해야 한다면 아래 프레임워크를 확인하세요.
프레임워크별 분석
vLLM
GPU용 오픈소스 서빙 엔진입니다. 실행 중인 배치에 새 요청을 추가하여 GPU 가동을 유지하는 연속 배치와 메모리 낭비를 줄이는 페이지 방식 KV 캐시로 유명합니다. OpenAI 호환 HTTP 서버를 제공합니다. 데이터센터급 GPU와 다수 동시 사용자가 있는 경우 강력한 기본 선택입니다. CUDA 드라이버, 일치하는 버전 및 모델 메모리 계획 설정이 필요합니다.
SGLang
높은 처리량의 GPU 서빙을 목표로 하는 또 다른 오픈소스 서빙 프레임워크로, 구조화된 출력과 프리픽스 재사용 기능이 있습니다. vLLM과 같은 범주에 속하며, 팀은 일반적으로 하나를 선택하기 전에 자체 워크로드에서 둘 모두를 벤치마크합니다. 어떤 게시된 벤치마크도 주의해서 다루세요: 결과는 모델, 하드웨어, 프롬프트 길이 및 버전에 따라 달라집니다.
TensorRT-LLM
NVIDIA GPU에서 모델을 컴파일하고 실행하기 위한 NVIDIA 라이브러리입니다. 무거운 빌드 및 배포 과정과 단일 벤더 스택에 대한 종속성을 감수하는 대신 하드웨어에서 높은 성능을 이끌어냅니다. NVIDIA 카드에서 고정된 모델을 대규모로 실행하고 유지보수할 엔지니어가 있을 때 적합합니다.
llama.cpp
CPU, Apple Silicon 및 다양한 GPU에서 GGUF 형식의 양자화된 모델을 실행하는 C/C++ 구현체입니다. 여기에는 OpenAI 스타일의 엔드포인트를 노출하는 llama-server가 포함되어 있습니다. 양자화는 출력 품질이 떨어지는 대가로 필요한 메모리를 줄여줍니다. 이는 노트북, 홈 서버 또는 오프라인 도구를 위한 실용적인 선택입니다.
Ollama
로컬에서 모델을 실행하기 위한 친절한 래퍼입니다. 모델 이름을 지정하여 가져오면 다운로드, 저장 및 로컬 서버 설정을 자동으로 처리하며, OpenAI 호환 엔드포인트도 제공합니다. 실험과 개인 사용에 매우 적합합니다. 이는 한 명의 사용자나 소수 사용자를 위한 것이며, 대중에 공개된 앱에 서비스를 제공하기 위한 것은 아닙니다.
나란히 비교
| 옵션 | 최적의 선택 | 관리 항목 | 비용 모델 |
|---|---|---|---|
| vLLM / SGLang | 서버 GPU의 다수 사용자 | 드라이버, GPU, 확장성, 업데이트 | 하드웨어 (유휴 여부 불문) |
| TensorRT-LLM | NVIDIA 카드에서의 대규모 고정 모델 | 빌드, 배포, 튜닝 | 하드웨어 및 엔지니어링 시간 |
| llama.cpp | 노트북, 소형 서버, 오프라인 사용 | 모델 파일, 양자화 선택 | 자신의 머신 |
| Ollama | 로컬 실험, 개인 도구 | 모델 다운로드, 디스크 공간 | 자신의 머신 |
| 호스팅 API | 불규칙하거나 초기 트래픽, GPU 운영 불필요 | API 키 및 코드 | 토큰 단위, 유휴 상태 비용 없음 |
이 표는 의도적으로 속도 수치를 생략했습니다. 처리량은 모델, 양자화, 프롬프트 길이 및 배치 크기에 따라 달라지므로, 다른 사람의 설정에서 얻은 수치는 귀하의 환경으로 거의 이어지지 않습니다.
호스팅 API가 포기하는 것과 제공하는 것
이 사이트에서 설명하는 호스팅 옵션은 단일 오픈 웨이트 모델을 실행하는 텍스트 전용 OpenAI 호환 API로, 독립적인 제공업체가 운영하며 합법적인 성인 사용에 콘텐츠 거부 없이 응답하도록 조정되었습니다. 모델 ID는 uncensored입니다. 스트리밍, 도구 호출 및 JSON 모드를 지원하며 컨텍스트 창은 100,000 토큰입니다.
포기하는 것은 명확합니다. 가중치를 선택하거나 교체할 수 없으며 파인튜닝도 불가능합니다. 임베딩, 이미지, 오디오 또는 비디오 생성이 없으며 서비스에는 속도 제한이 적용됩니다. 전체 키는 최대 8개의 동시 요청 및 분당 300개의 요청을 허용하며, 체험 키는 각각 2개와 60개를 허용합니다. 또한 이 서비스는 어떤 모델 벤더의 공식 API도 아닙니다.
대신 얻는 것은 인프라 비용이 없다는 점입니다. 구매할 GPU, 업데이트할 엔진, 유휴 비용이 없습니다. 선불 크레딧에서 토큰 100만 개당 입력 $0.15, 출력 $0.50을 지불하며 실패하거나 거부된 요청은 청구되지 않습니다. 크레딧은 만료되지 않습니다. 가격 책정 페이지에서 충전 금액 및 보너스를 확인할 수 있습니다.
자체 호스팅 시 간과하기 쉬운 비용
GPU 가격은 예산의 첫 번째 항목일 뿐입니다. API에서 자체 서버로 전환하는 팀은 두 번째 및 세 번째 항목에서 놀라움을 경험합니다.
- 메모리 여유 공간. 가중치만이 GPU 메모리를 필요로 하는 것은 아닙니다. KV 캐시는 동시 요청과 컨텍스트 토큰마다 증가하므로, 모델을 무리 없이 로드할 수 있는 카드도 긴 프롬프트를 사용하는 20명의 동시 사용자에게는 공간이 부족할 수 있습니다.
- 유휴 시간. 밤과 주말 시간도 피크 시간과 동일한 비용이 발생합니다. 오토스케일링은 도움이 되지만 GPU 노드를 시작하고 큰 가중치를 로드하는 데에는 초가 아닌 분이 걸립니다.
- 업그레이드 및 중단. 서빙 엔진은 자주 릴리스됩니다. 드라이버 업데이트나 새로운 엔진 버전은 동작을 변경할 수 있으며, 프로덕션에 적용하기 전에 누군가가 테스트해야 합니다.
- 안전성 및 남용 처리. 자체 배포의 경우 필터링 정책, 로깅 및 남용 대응을 직접 설계하고 책임져야 합니다.
이것이 자체 호스팅이 나쁜 아이디어라는 의미는 아닙니다. 이는 비교에 머신 시간당 가격뿐만 아니라 인력 시간도 포함되어야 한다는 의미입니다.
자신의 데이터로 실행할 수 있는 비용 확인
가장 정직한 비교 방법은 실제 워크로드의 가격을 책정하는 것입니다. 예를 들어 한 달에 100M 입력 토큰과 20M 출력 토큰을 사용하는 앱이 있다고 가정해 봅시다.
- 입력: 100 x $0.15 = $15.
- 출력: 20 x $0.50 = $10.
- 합계: 한 달에 $25.
이제 대안 매달 비용을 그 옆에 적어 보세요: 서버나 GPU 임대료, 자체 하드웨어인 경우 전력비, 그리고 누군가가 가동 상태를 유지하기 위해 보내는 시간입니다. 하드웨어나 클라우드 GPU의 현재 가격은 자주 변동되므로 직접 확인하세요. 대안 비용이 사용량에 따른 API 요금보다 저렴하고 기계를 가동할 수 있다면 자체 호스팅이 비용 면에서 이깁니다. API 요금이 더 낮거나 부하가 급격하게 변동한다면 호스팅된 경로가 이깁니다.
역방향도 중요합니다. 사용량이 그 10배가 되면 같은 계산으로 한 달에 $250가 나오며, 선택한 모델을 실행하는 전용 GPU가 더 나아 보이기 시작할 수 있습니다. 특히 이 서비스가 제공하지 않는 모델이 필요한 경우 더욱 그렇습니다. 사용량이 변경될 때 계산을 다시 실행하세요.
양쪽에서 동일한 클라이언트 코드
이 범주의 유용한 속성은 vLLM, llama.cpp, Ollama 및 대부분의 호스팅된 서비스가 모두 OpenAI 요청 형식을 노출한다는 것입니다. 애플리케이션 코드는 URL 뒤에 있는 것이 무엇인지 알 필요가 없습니다. Base URL, 키 및 모델 이름만 변경하면 됩니다. 호스팅된 엔드포인트용 클라이언트는 다음과 같습니다:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
나중에 자체 서버로 이동하면 Base URL과 모델 이름만 수정하고 나머지는 그대로 둡니다. 이렇게 하면 호스팅된 쪽에서 시작하고 실제 토큰 사용량을 측정한 후 데이터로 하드웨어에 대한 결정을 내리는 것이 위험이 낮습니다. 빠른 시작하기에는 스트리밍, 도구 및 JSON 모드가 포함되어 있으며, 키 페이지에서 시험용 키를 사용할 수 있습니다.
어떤 것을 선택해야 할까요
- 이번 주에 아이디어들을 시도하고 싶다면: 호스팅된 API를 사용하거나, 능력이 충분한 컴퓨터가 있고 모든 것을 로컬로 실행하고 싶다면 Ollama를 사용하세요.
- 정확한 모델이나 비공개 파인튜인이 필요할 경우: 임대 또는 소유한 GPU에서 vLLM 또는 SGLang을 사용하세요.
- 플랫폼 팀과 함께 NVIDIA 하드웨어에서 고정된 모델을 대규모로 실행하는 경우: TensorRT-LLM을 테스트해 볼 가치가 있습니다.
- 오프라인 작업이나 작은 공간이 필요할 경우: 양자화된 모델과 함께 llama.cpp를 사용하세요.
- 거부 응답이 적고 하드웨어 작업이 필요 없는 텍스트 모델이 필요할 경우: 위의 제한 사항을 염두에 두고 여기의 호스팅된 엔드포인트를 사용하세요.
더 많은 가이드
질문과 답변
vLLM이 llama.cpp보다 나은가요?
두 프레임워크는 서로 다른 설정을 대상으로 합니다. vLLM은 서버 GPU에서 많은 사용자를 서빙하기 위해 설계되었으며, llama.cpp는 CPU와 노트북을 포함한 단일 머신에서 양자화된 모델을 실행하기 위해 설계되었습니다.
이러한 프레임워크와 함께 OpenAI SDK를 사용할 수 있나요?
일반적으로 가능합니다. vLLM, llama.cpp의 서버 및 Ollama는 모두 OpenAI 호환 엔드포인트를 제공하며, 이 호스팅된 API도 마찬가지입니다. Base URL, 키 및 모델 이름만 변경하면 됩니다.
자체 호스팅이 API보다 저렴해지는 시점은 언제인가요?
하드웨어 및 유지보수의 월 비용이 API에서 토큰 볼륨에 대한 비용보다 낮고, 하드웨어를 사용 중일 수 있을 때입니다. 토큰 100만 개당 $0.15 및 $0.50로 자체 워크로드의 가격을 책정하여 확인해 보세요.
호스팅된 API에서 제가 모델을 선택할 수 있나요?
아니요. uncensored라는 ID로 하나의 모델만 서빙합니다. 특정 가중치가 필요한 경우 직접 실행해야 합니다.
키는 양식 하나만 작성하면 받을 수 있습니다
계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.
API 키 받기