PT ▾
Obter chave de API

LLM Inference APIGuia

Comparação de frameworks de inferência LLM vs API hospedada

Esta comparação de frameworks de inferência LLM cobre os motores que você pode executar localmente (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) e os compara com uma API compatível com OpenAI hospedada. A escolha certa depende do seu hardware, do seu tráfego e da quantidade de trabalho operacional que você deseja.

Atualizado:

Ilustração de várias torres de servidor e um nó em nuvem, comparando motores de inferência auto-hospedados com uma API hospedada

Pontos principais

  1. vLLM, SGLang e TensorRT-LLM são feitos para servidores GPU com muitos usuários simultâneos; llama.cpp e Ollama são feitos para uma única máquina, incluindo laptops.
  2. O auto-hospedamento oferece controle sobre os pesos e o caminho dos dados, mas você paga pelo hardware e pela manutenção mesmo quando ocioso.
  3. Uma API hospedada não tem custo quando ociosa e é cobrada por token, o que se adapta bem a tráfego irregular ou em estágio inicial.
  4. A maioria dessas ferramentas usa o formato de API da OpenAI, então mudar entre elas geralmente significa alterar a URL base.

As duas perguntas que decidem a maior parte

Antes de comparar motores, responda a duas perguntas. Primeiro, você precisa escolher o modelo? Se você deve executar um conjunto específico de pesos, um serviço hospedado que oferece um único modelo não ajudará, e um framework é a única opção. Segundo, quão estável é o seu tráfego? Uma GPU ocupada 24 horas por dia é um bom uso de dinheiro. Uma GPU que lida com picos à noite e fica ociosa no resto do tempo não é.

Se a resposta para a primeira for "qualquer modelo capaz que não recuse solicitações normais de adultos está bom" e a resposta para a segunda for "irregular", uma API hospedada provavelmente é a escolha mais simples. Se você precisa de um fine-tune específico, tem carga pesada e constante ou deve manter todos os bytes em suas próprias máquinas, analise os frameworks abaixo.

Os frameworks, um por um

vLLM

Um motor de serviço open-source para GPUs. É conhecido pelo batching contínuo, que mantém a GPU ocupada adicionando novas solicitações a um batch em execução, e por uma abordagem paginada para o cache KV que desperdiça menos memória. Inclui um servidor HTTP compatível com OpenAI. É uma escolha padrão sólida quando você tem uma GPU de classe datacenter e muitos usuários concorrentes. A configuração envolve drivers CUDA, versões correspondentes e planejamento de memória do modelo.

SGLang

Outro framework de serviço open-source focado em alto throughput em GPUs, com recursos para saída estruturada e reutilização de prefixos. Está na mesma categoria do vLLM, e equipes costumam fazer benchmark de ambos na sua própria carga de trabalho antes de escolher um. Tenha cuidado com benchmarks publicados: os resultados mudam com o modelo, hardware, comprimento do prompt e versão.

TensorRT-LLM

Biblioteca da NVIDIA para compilar e executar modelos em GPUs NVIDIA. Ela extrai muito desempenho desse hardware, ao custo de um processo de build e implantação mais pesado e uma vinculação à stack de um único fornecedor. Faz sentido quando você executa um modelo fixo em escala em placas NVIDIA e tem engenheiros para mantê-lo.

llama.cpp

Uma implementação em C/C++ que executa modelos quantizados no formato GGUF em CPUs, Apple Silicon e muitas GPUs. Inclui llama-server, que expõe um endpoint estilo OpenAI. A quantização reduz a memória necessária, com algum custo na qualidade da saída que depende de quão agressiva ela é. É a escolha prática para um laptop, um servidor doméstico ou uma ferramenta offline.

Ollama

Um wrapper amigável para executar modelos localmente: você baixa um modelo por nome e ele cuida dos downloads, armazenamento e de um servidor local, incluindo um endpoint compatível com OpenAI. É excelente para experimentos e uso pessoal. É voltado para um usuário ou poucos, não para atender um aplicativo público movimentado.

Lado a lado

OpçãoMelhor ajusteVocê gerenciaModelo de custo
vLLM / SGLangMuitos usuários em GPUs de servidorDrivers, GPUs, escalonamento, atualizaçõesHardware, esteja ocupado ou ocioso
TensorRT-LLMModelo fixo em escala em placas NVIDIABuilds, implantação, ajusteHardware mais tempo de engenharia
llama.cppLaptops, pequenos servidores, uso offlineArquivos do modelo, escolha de quantizaçãoSua própria máquina
OllamaExperimentos locais, ferramentas pessoaisDownloads de modelos, espaço em discoSua própria máquina
API HospedadaTráfego irregular ou inicial, sem operações de GPUUma chave de API e seu códigoPor token, nada em repouso

A tabela omite valores de velocidade propositalmente. O throughput depende do modelo, da quantização, do comprimento do prompt e do tamanho do lote, então um número de outra configuração raramente se aplica à sua.

O que uma API hospedada abre mão e o que oferece

A opção hospedada descrita neste site é uma API de texto apenas, compatível com OpenAI, que executa um único modelo de pesos abertos, operada por um provedor independente e ajustada para responder sem filtros de conteúdo para uso adulto legal. O ID do modelo é uncensored. Suporta streaming, chamada de ferramentas e modo JSON, com uma janela de contexto de 100.000 tokens.

O que você abre mão é claro. Você não pode escolher ou trocar os pesos. Você não pode fazer fine-tuning. Não há embeddings, nem geração de imagem, áudio ou vídeo, e o serviço está sujeito a limites de requisições: uma chave completa permite 8 requisições simultâneas e 300 requisições por minuto, e uma chave de teste permite 2 e 60. Também não é a API oficial de nenhum fornecedor de modelo.

O que você recebe em troca é zero infraestrutura. Não há GPU para comprar, engine para atualizar e custo ocioso. Você paga $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída a partir de crédito pré-pago que nunca expira, e as requisições que falham ou são recusadas não são cobradas. A página de preços tem os valores de recarga e bônus.

Custos que as pessoas esquecem ao se auto-hospedar

O preço de uma GPU é apenas a primeira linha do orçamento. Equipes que migram de uma API para seus próprios servidores tendem a se surpreender com a segunda e a terceira linhas.

  • Capacidade livre de memória. Os pesos não são a única coisa que precisa de memória GPU. O cache KV cresce com cada requisição simultânea e cada token de contexto, então um cartão que carrega o modelo confortavelmente ainda pode ficar sem espaço com 20 usuários simultâneos com prompts longos.
  • Tempo ocioso. Horas noturnas e de fim de semana custam o mesmo que horas de pico. O escalonamento automático ajuda, mas iniciar um nó de GPU e carregar pesos grandes leva minutos, não segundos.
  • Atualizações e quebras. Motores de inferência lançam atualizações com frequência. Uma atualização de driver ou uma nova versão do motor pode alterar o comportamento, e alguém precisa testar isso antes de ir para produção.
  • Segurança e tratamento de abuso. Com sua própria implantação, a política de filtragem, o registro e a resposta a abusos são de sua responsabilidade para projetar e responder.

Nada disso significa que o auto-hospedamento é uma má ideia. Significa que a comparação deve incluir tempo de equipe, não apenas o preço por hora de uma máquina.

Uma verificação de custo que você pode fazer com seus próprios números

A forma honesta de comparar é precificar sua carga de trabalho real. Digamos que um app use 100M de tokens de entrada e 20M de tokens de saída em um mês.

  • Entrada: 100 x $0,15 = $15.
  • Saída: 20 x $0,50 = $10.
  • Total: $25 por mês.

Agora coloque ao lado o custo mensal da sua alternativa: aluguel de servidor ou GPU, energia se for seu próprio hardware, e as horas que alguém gasta mantendo-o em execução. Verifique os preços atuais de hardware ou GPUs de nuvem por conta própria, pois eles mudam com frequência. Se sua alternativa custar menos que a fatura da API no seu volume, e você puder manter a máquina ocupada, a auto-hospedagem vence em dinheiro. Se a fatura da API for menor, ou se sua carga for irregular, a rota hospedada vence.

O caso inverso também importa. Em 10 vezes esse volume, a mesma matemática resulta em $250 por mês, e uma GPU dedicada executando um modelo que você escolheu pode começar a parecer melhor, especialmente se você precisar de um modelo que este serviço não oferece. Refaça o cálculo quando seu uso mudar.

Mesmo código cliente de ambos os lados

Uma propriedade útil desta categoria é que vLLM, llama.cpp, Ollama e a maioria dos serviços hospedados expõem o formato de solicitação OpenAI. O código da sua aplicação não precisa saber qual está por trás da URL. Apenas a base URL, a chave e o nome do modelo mudam. Aqui está o cliente para o endpoint hospedado:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir short story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)

Se você mais tarde migrar para seu próprio servidor, você edita a URL base e o nome do modelo e deixa o resto como está. Isso torna a partida pelo lado hospedado de baixo risco, permitindo medir seus volumes reais de tokens e decidir sobre hardware com base em dados. O início rápido cobre streaming, ferramentas e modo JSON, e uma chave de teste está disponível na página de chaves.

Qual escolher

  • Você quer testar ideias esta semana: use uma API hospedada, ou Ollama se tiver um computador capaz e quiser tudo local.
  • Você precisa de um modelo exato ou de um fine-tune privado: vLLM ou SGLang em GPUs alugadas ou próprias.
  • Você executa um modelo fixo em escala no hardware NVIDIA com uma equipe de plataforma: TensorRT-LLM vale a pena testar.
  • Você precisa de operação offline ou de um espaço mínimo: llama.cpp com um modelo quantizado.
  • Você precisa de um modelo de texto com poucas recusas e sem trabalho de hardware: o endpoint hospedado aqui, com os limites acima em mente.

Perguntas e respostas

vLLM é melhor que llama.cpp?

Eles visam configurações diferentes. vLLM é construído para servir muitos usuários em GPUs de servidor, enquanto llama.cpp é construído para executar modelos quantizados em uma única máquina, incluindo CPUs e laptops.

Posso usar o SDK OpenAI com esses frameworks?

Geralmente sim. vLLM, o servidor do llama.cpp e Ollama oferecem todos endpoints compatíveis com OpenAI, assim como esta API hospedada. Você altera a base URL, a chave e o nome do modelo.

Quando o self-hosting se torna mais barato que uma API?

Quando o custo mensal do seu hardware e manutenção é inferior ao que o volume de tokens custaria na API, e você pode manter o hardware ocupado. Calcule sua própria carga de trabalho a $0,15 e $0,50 por 1M de tokens para descobrir.

A API hospedada me permite escolher o modelo?

Não. Ela serve um único modelo sob o ID uncensored. Se você precisar de pesos específicos, precisa executá-los você mesmo.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API