PT ▾
Obter chave de API

LLM Inference APIGuia

A API LLM Inference API mais barata: como avaliar o custo real

O preço por token é apenas parte da história. Veja como comparar APIs de inferência pelos números que definem sua conta, com nossas tarifas como exemplo prático.

Atualizado:

Uma balança equilibrando cubos de tokens contra moedas para comparar o custo da API
Ilustração isométrica de pacotes de dados fluindo de um terminal para um gateway na nuvem, representando uma chamada de API de inferência

Pontos principais

  1. Aponte qualquer SDK OpenAI para https://api.llminferenceapi.com/v1, use o ID do modelo uncensored e envie sua chave como token Bearer.
  2. Dois endpoints estão disponíveis: POST /v1/chat/completions e GET /v1/models.
  3. Streaming, chamada de funções e modo JSON funcionam através dos campos padrão da requisição.
  4. Uma chave completa permite 8 requisições simultâneas e 300 por minuto; uma resposta 429 indica qual limite você atingiu.

O preço por milhão de tokens é apenas o início

A API de inferência LLM mais barata é aquela com o menor custo para sua carga de trabalho, que nem sempre é o menor número na página de preços. Dois provedores podem listar o mesmo preço de capa e produzir contas muito diferentes quando você conta tokens de saída, prompts longos, chamadas falhas e recargas mínimas.

Faça uma verificação em quatro partes antes de escolher: o preço de entrada, o preço de saída, o que o modelo faz com contexto longo e quanto você paga adiantado. Este artigo passa por cada ponto, mostra nossos preços como exemplo prático e deixa os números dos outros provedores para você. Verifique a tabela de preços atual deles e insira os valores nas mesmas fórmulas.

Tokens de entrada versus tokens de saída

Quase toda API de LLM cobra tokens de entrada e saída separadamente, e a saída geralmente custa mais. Nossas tarifas são $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída. Isso torna a saída um pouco mais de três vezes o preço da entrada, então a mistura do seu tráfego altera o resultado.

Veja como o preço misto varia com a proporção de tokens de entrada para saída:

Proporção entrada : saídaCusto para 1M de tokens totaisMédia por 1M
1 : 10,5M x $0,15 + 0,5M x $0,50 = $0,325$0.325
3 : 10,75M x $0,15 + 0,25M x $0,50 = $0,2375$0.2375
10 : 1cerca de 0,909M x $0,15 + 0,091M x $0,50 = $0,1818cerca de $0,18
1 : 30,25M x $0,15 + 0,75M x $0,50 = $0,4125$0.4125

Um resumidor lê muito e escreve pouco, então fica perto da linha 10 : 1. Um gerador de histórias escreve muito a partir de um prompt curto e fica perto de 1 : 3. Ao comparar dois provedores, calcule ambas as linhas para sua própria proporção. Um provedor mais barato na entrada pode perder em uma carga de trabalho de geração pesada.

O comprimento do contexto altera a conta

Apps de chat reenviam toda a conversa a cada rodada. Se um chat cresce para 20 rodadas, a rodada 20 carrega todas as 19 trocas anteriores como entrada. O custo de uma conversa, portanto, cresce mais rápido que seu comprimento.

Um exemplo trabalhado. Cada rodada adiciona 300 tokens de texto do usuário e 300 tokens de resposta, e o prompt do sistema tem 500 tokens. A entrada na rodada n é 500 + (n - 1) x 600 + 300 tokens. Somado sobre 20 rodadas isso é 20 x 800 + 600 x 190 = 130.000 tokens de entrada, mais 20 x 300 = 6.000 tokens de saída. A entrada custa 130.000 x $0,15 / 1M = $0,0195 e a saída custa 6.000 x $0,50 / 1M = $0,003, então toda a conversa de 20 rodadas custa $0,0225.

A proporção exata importa menos que a forma: os tokens de entrada dominam em chats longos. Um provedor com preço de entrada barato ajuda você mais aqui do que um com preço de saída barato. Reduzir mensagens antigas, ou resumi-las, corta o maior custo. Nossa janela de contexto tem 100.000 tokens, prompt mais conclusão, então documentos muito longos cabem, mas custam tokens de entrada sempre que você os envia.

Custos ocultos a verificar

  • Recarga mínima. A nossa é $20, com qualquer valor inteiro até $500. Um provedor com preço por token baixo, mas uma recarga mínima grande, pode custar mais para um pequeno projeto.
  • Validade. Crédito que expira é crédito que você pode desperdiçar. O nosso nunca expira.
  • Assinaturas. Uma mensalidade transforma um serviço por token em custo fixo. O nosso é pagamento por uso.
  • Cobrança por falhas. Requisições falhas ou recusadas não são cobradas aqui. Verifique isso em qualquer provedor que você comparar.
  • Limites de taxa. Um preço barato com um teto baixo de requisições força você a comprar uma segunda conta ou desacelerar seu pipeline. Uma chave completa aqui permite 8 requisições simultâneas e 300 por minuto.
  • Taxas de pagamento e bônus. Adicionamos +5% de crédito a partir de $50, +10% a partir de $100 e +15% a partir de $200, então uma recarga de $200 dá $230.

Nossos preços com exemplos práticos

Todas as figuras abaixo usam $0,15 por 1M de entrada e $0,50 por 1M de saída.

Carga de trabalhoTokensCusto
Uma mensagem de chat: 2.000 de input, 500 de output2,500$0.0003 + $0.00025 = $0.00055
1.000 dessas rodadas2,5M$0.55
Resumir 10.000 artigos: 3.000 de input, 200 de output cada32M$4.50 + $1.00 = $5.50
Gerar 5.000 histórias: 300 entrada, 1.500 saída cada9M$0.225 + $3.75 = $3.975

Verifique a linha do resumidor: 10.000 x 3.000 = 30M tokens de entrada, e 30 x $0,15 = $4,50. 10.000 x 200 = 2M tokens de saída, e 2 x $0,50 = $1,00. O total é $5,50. Para a linha da história: 5.000 x 300 = 1,5M entrada, que é $0,225, e 5.000 x 1.500 = 7,5M saída, que é $3,75. O total é $3,975.

A página de preços lista as tarifas e bônus, e você pode pagar com cripto (USDT na TRC20, USDC na Base).

Meça seu custo real com um script

Não confie em estimativas por muito tempo. Execute 50 prompts representativos e deixe a API relatar os tokens. O código abaixo imprime uma estimativa de custo a partir do campo usage.

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50   # dollars per 1M tokens

def cost(u):
    return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000

total = 0.0
for p in open("prompts.txt"):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": p.strip()}],
    )
    total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))

Multiplique a média pelas suas requisições mensais esperadas. Faça o mesmo com cada provedor que você está considerando, e mantenha a qualidade no loop lendo uma amostra das respostas. Um modelo mais barato que precisa de duas tentativas por tarefa não é mais barato.

Uma comparação em cinco etapas que você conclui em uma hora

  1. Anote seus tokens de entrada e saída esperados por requisição, a partir de uma amostra de prompts reais.
  2. Multiplique pelo preço de entrada e saída de cada provedor, por requisição e por mês.
  3. Adicione custos fixos: recarga mínima, assinatura e qualquer crédito que expire antes de você usá-lo.
  4. Execute os mesmos 20 prompts em cada modelo e avalie as respostas, para que você compare custo por boa resposta, não custo por token.
  5. Verifique os limites contra seu tráfego de pico. Se você precisar de mais de 8 requisições de uma vez, pergunte se pode executar uma fila em vez disso.

O resultado é uma tabela com uma linha por provedor e um valor mensal para sua carga de trabalho. Essa tabela é a resposta real para a pergunta no título, e ela permanece válida até que um provedor altere seus preços, então reverifique-a a cada poucos meses. A comparação de frameworks ajuda se você também executar modelos em seu próprio hardware, e a página de erros comuns de API de chat lista erros que silenciosamente aumentam as contas, como reenviar o mesmo histórico duas vezes.

O que a opção barata não consegue fazer

Independentemente do provedor que você escolher, você pode reduzir custos de quatro formas. Limite max_tokens onde uma resposta curta é suficiente, já que a saída é o lado mais caro. Reduza o prompt do sistema e remova turnos que o modelo não precisa mais. Encaminhe tarefas simples, como classificação, para prompts curtos com formatos de saída rígidos. E registre tokens por recurso, para que você perceba quando um modelo de prompt aumenta silenciosamente de tamanho após uma edição. Esses hábitos economizam mais do que trocar de provedor por alguns centavos.

Este serviço é apenas de texto. Não possui embeddings, geração de imagens ou de áudio e nem ajuste fino, então se você precisar disso, precisará pagar outro provedor por esses recursos. Ele executa um único modelo de pesos abertos de um provedor independente, ajustado para responder sem recusas de conteúdo para uso adulto legal, e não é a API oficial de nenhum fornecedor de modelo. Conteúdo sexual envolvendo menores de idade nunca é permitido.

Se é a mais barata para você depende se esse único modelo é bom o suficiente para sua tarefa. Teste-o gratuitamente primeiro: novos usuários podem reivindicar $0,50 de crédito de teste grátis com um clique na página da chave de API, sem necessidade de cartão. Depois leia a documentação. Se você é novo nos fundamentos, o que é inferência LLM cobre os termos usados acima.

Perguntas e respostas

Quanto custa uma mensagem de chat?

Uma rodada com 2.000 tokens de entrada e 500 de saída custa $0,00055, então 1.000 rodadas custam $0,55.

Existe uma taxa mensal?

Não. É pagamento por uso a partir de crédito pré-pago, e o crédito nunca expira.

Requisições falhas são cobradas?

Não. Requisições falhas ou recusadas não são cobradas.

O menor preço é sempre o melhor negócio?

Não. A proporção de saída, o comprimento do contexto, a recarga mínima e a qualidade da resposta alteram o custo real.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API