Comparação de frameworks de inferência LLM vs API hospedada
Esta comparação de frameworks de inferência LLM cobre os motores que você pode executar localmente (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) e os compara com uma API compatível com OpenAI hospedada. A escolha certa depende do seu hardware, do seu tráfego e da quantidade de trabalho operacional que você deseja.
Atualizado:

Pontos principais
- vLLM, SGLang e TensorRT-LLM são feitos para servidores GPU com muitos usuários simultâneos; llama.cpp e Ollama são feitos para uma única máquina, incluindo laptops.
- O auto-hospedamento oferece controle sobre os pesos e o caminho dos dados, mas você paga pelo hardware e pela manutenção mesmo quando ocioso.
- Uma API hospedada não tem custo quando ociosa e é cobrada por token, o que se adapta bem a tráfego irregular ou em estágio inicial.
- A maioria dessas ferramentas usa o formato de API da OpenAI, então mudar entre elas geralmente significa alterar a URL base.
As duas perguntas que decidem a maior parte
Antes de comparar motores, responda a duas perguntas. Primeiro, você precisa escolher o modelo? Se você deve executar um conjunto específico de pesos, um serviço hospedado que oferece um único modelo não ajudará, e um framework é a única opção. Segundo, quão estável é o seu tráfego? Uma GPU ocupada 24 horas por dia é um bom uso de dinheiro. Uma GPU que lida com picos à noite e fica ociosa no resto do tempo não é.
Se a resposta para a primeira for "qualquer modelo capaz que não recuse solicitações normais de adultos está bom" e a resposta para a segunda for "irregular", uma API hospedada provavelmente é a escolha mais simples. Se você precisa de um fine-tune específico, tem carga pesada e constante ou deve manter todos os bytes em suas próprias máquinas, analise os frameworks abaixo.
Os frameworks, um por um
vLLM
Um motor de serviço open-source para GPUs. É conhecido pelo batching contínuo, que mantém a GPU ocupada adicionando novas solicitações a um batch em execução, e por uma abordagem paginada para o cache KV que desperdiça menos memória. Inclui um servidor HTTP compatível com OpenAI. É uma escolha padrão sólida quando você tem uma GPU de classe datacenter e muitos usuários concorrentes. A configuração envolve drivers CUDA, versões correspondentes e planejamento de memória do modelo.
SGLang
Outro framework de serviço open-source focado em alto throughput em GPUs, com recursos para saída estruturada e reutilização de prefixos. Está na mesma categoria do vLLM, e equipes costumam fazer benchmark de ambos na sua própria carga de trabalho antes de escolher um. Tenha cuidado com benchmarks publicados: os resultados mudam com o modelo, hardware, comprimento do prompt e versão.
TensorRT-LLM
Biblioteca da NVIDIA para compilar e executar modelos em GPUs NVIDIA. Ela extrai muito desempenho desse hardware, ao custo de um processo de build e implantação mais pesado e uma vinculação à stack de um único fornecedor. Faz sentido quando você executa um modelo fixo em escala em placas NVIDIA e tem engenheiros para mantê-lo.
llama.cpp
Uma implementação em C/C++ que executa modelos quantizados no formato GGUF em CPUs, Apple Silicon e muitas GPUs. Inclui llama-server, que expõe um endpoint estilo OpenAI. A quantização reduz a memória necessária, com algum custo na qualidade da saída que depende de quão agressiva ela é. É a escolha prática para um laptop, um servidor doméstico ou uma ferramenta offline.
Ollama
Um wrapper amigável para executar modelos localmente: você baixa um modelo por nome e ele cuida dos downloads, armazenamento e de um servidor local, incluindo um endpoint compatível com OpenAI. É excelente para experimentos e uso pessoal. É voltado para um usuário ou poucos, não para atender um aplicativo público movimentado.
Lado a lado
| Opção | Melhor ajuste | Você gerencia | Modelo de custo |
|---|---|---|---|
| vLLM / SGLang | Muitos usuários em GPUs de servidor | Drivers, GPUs, escalonamento, atualizações | Hardware, esteja ocupado ou ocioso |
| TensorRT-LLM | Modelo fixo em escala em placas NVIDIA | Builds, implantação, ajuste | Hardware mais tempo de engenharia |
| llama.cpp | Laptops, pequenos servidores, uso offline | Arquivos do modelo, escolha de quantização | Sua própria máquina |
| Ollama | Experimentos locais, ferramentas pessoais | Downloads de modelos, espaço em disco | Sua própria máquina |
| API Hospedada | Tráfego irregular ou inicial, sem operações de GPU | Uma chave de API e seu código | Por token, nada em repouso |
A tabela omite valores de velocidade propositalmente. O throughput depende do modelo, da quantização, do comprimento do prompt e do tamanho do lote, então um número de outra configuração raramente se aplica à sua.
O que uma API hospedada abre mão e o que oferece
A opção hospedada descrita neste site é uma API de texto apenas, compatível com OpenAI, que executa um único modelo de pesos abertos, operada por um provedor independente e ajustada para responder sem filtros de conteúdo para uso adulto legal. O ID do modelo é uncensored. Suporta streaming, chamada de ferramentas e modo JSON, com uma janela de contexto de 100.000 tokens.
O que você abre mão é claro. Você não pode escolher ou trocar os pesos. Você não pode fazer fine-tuning. Não há embeddings, nem geração de imagem, áudio ou vídeo, e o serviço está sujeito a limites de requisições: uma chave completa permite 8 requisições simultâneas e 300 requisições por minuto, e uma chave de teste permite 2 e 60. Também não é a API oficial de nenhum fornecedor de modelo.
O que você recebe em troca é zero infraestrutura. Não há GPU para comprar, engine para atualizar e custo ocioso. Você paga $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída a partir de crédito pré-pago que nunca expira, e as requisições que falham ou são recusadas não são cobradas. A página de preços tem os valores de recarga e bônus.
Custos que as pessoas esquecem ao se auto-hospedar
O preço de uma GPU é apenas a primeira linha do orçamento. Equipes que migram de uma API para seus próprios servidores tendem a se surpreender com a segunda e a terceira linhas.
- Capacidade livre de memória. Os pesos não são a única coisa que precisa de memória GPU. O cache KV cresce com cada requisição simultânea e cada token de contexto, então um cartão que carrega o modelo confortavelmente ainda pode ficar sem espaço com 20 usuários simultâneos com prompts longos.
- Tempo ocioso. Horas noturnas e de fim de semana custam o mesmo que horas de pico. O escalonamento automático ajuda, mas iniciar um nó de GPU e carregar pesos grandes leva minutos, não segundos.
- Atualizações e quebras. Motores de inferência lançam atualizações com frequência. Uma atualização de driver ou uma nova versão do motor pode alterar o comportamento, e alguém precisa testar isso antes de ir para produção.
- Segurança e tratamento de abuso. Com sua própria implantação, a política de filtragem, o registro e a resposta a abusos são de sua responsabilidade para projetar e responder.
Nada disso significa que o auto-hospedamento é uma má ideia. Significa que a comparação deve incluir tempo de equipe, não apenas o preço por hora de uma máquina.
Uma verificação de custo que você pode fazer com seus próprios números
A forma honesta de comparar é precificar sua carga de trabalho real. Digamos que um app use 100M de tokens de entrada e 20M de tokens de saída em um mês.
- Entrada: 100 x $0,15 = $15.
- Saída: 20 x $0,50 = $10.
- Total: $25 por mês.
Agora coloque ao lado o custo mensal da sua alternativa: aluguel de servidor ou GPU, energia se for seu próprio hardware, e as horas que alguém gasta mantendo-o em execução. Verifique os preços atuais de hardware ou GPUs de nuvem por conta própria, pois eles mudam com frequência. Se sua alternativa custar menos que a fatura da API no seu volume, e você puder manter a máquina ocupada, a auto-hospedagem vence em dinheiro. Se a fatura da API for menor, ou se sua carga for irregular, a rota hospedada vence.
O caso inverso também importa. Em 10 vezes esse volume, a mesma matemática resulta em $250 por mês, e uma GPU dedicada executando um modelo que você escolheu pode começar a parecer melhor, especialmente se você precisar de um modelo que este serviço não oferece. Refaça o cálculo quando seu uso mudar.
Mesmo código cliente de ambos os lados
Uma propriedade útil desta categoria é que vLLM, llama.cpp, Ollama e a maioria dos serviços hospedados expõem o formato de solicitação OpenAI. O código da sua aplicação não precisa saber qual está por trás da URL. Apenas a base URL, a chave e o nome do modelo mudam. Aqui está o cliente para o endpoint hospedado:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
Se você mais tarde migrar para seu próprio servidor, você edita a URL base e o nome do modelo e deixa o resto como está. Isso torna a partida pelo lado hospedado de baixo risco, permitindo medir seus volumes reais de tokens e decidir sobre hardware com base em dados. O início rápido cobre streaming, ferramentas e modo JSON, e uma chave de teste está disponível na página de chaves.
Qual escolher
- Você quer testar ideias esta semana: use uma API hospedada, ou Ollama se tiver um computador capaz e quiser tudo local.
- Você precisa de um modelo exato ou de um fine-tune privado: vLLM ou SGLang em GPUs alugadas ou próprias.
- Você executa um modelo fixo em escala no hardware NVIDIA com uma equipe de plataforma: TensorRT-LLM vale a pena testar.
- Você precisa de operação offline ou de um espaço mínimo: llama.cpp com um modelo quantizado.
- Você precisa de um modelo de texto com poucas recusas e sem trabalho de hardware: o endpoint hospedado aqui, com os limites acima em mente.
Mais guias
Perguntas e respostas
vLLM é melhor que llama.cpp?
Eles visam configurações diferentes. vLLM é construído para servir muitos usuários em GPUs de servidor, enquanto llama.cpp é construído para executar modelos quantizados em uma única máquina, incluindo CPUs e laptops.
Posso usar o SDK OpenAI com esses frameworks?
Geralmente sim. vLLM, o servidor do llama.cpp e Ollama oferecem todos endpoints compatíveis com OpenAI, assim como esta API hospedada. Você altera a base URL, a chave e o nome do modelo.
Quando o self-hosting se torna mais barato que uma API?
Quando o custo mensal do seu hardware e manutenção é inferior ao que o volume de tokens custaria na API, e você pode manter o hardware ocupado. Calcule sua própria carga de trabalho a $0,15 e $0,50 por 1M de tokens para descobrir.
A API hospedada me permite escolher o modelo?
Não. Ela serve um único modelo sob o ID uncensored. Se você precisar de pesos específicos, precisa executá-los você mesmo.
Sua chave está a um formulário de distância
Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.
Obter chave de API