PT ▾
Obter chave de API

LLM Inference APIGuia

O que é inferência de LLM? Tokens, latência e custo

Se você está perguntando o que é inferência de LLM, a versão curta é esta: é a etapa em que um modelo de linguagem treinado lê seu prompt e escreve uma resposta, um token por vez. Esta página explica como isso funciona e qual é o custo.

Atualizado:

Ilustração isométrica de tokens fluindo para dentro e para fora de uma câmara de processamento, representando a inferência de LLM

Pontos principais

  1. Inferência é executar um modelo finalizado para produzir saída; treinamento é a etapa anterior, muito mais cara, que criou o modelo.
  2. Uma requisição tem duas fases: leitura do prompt (prefill) e escrita da resposta token por token (decoding).
  3. Custo e velocidade seguem as contagens de tokens, então o comprimento do input, o comprimento do output e a janela de contexto importam mais do que qualquer outra coisa.
  4. Com uma API hospedada, você paga por token e ignora as GPUs; com seu próprio hardware, você paga pela máquina, esteja ela ocupada ou ociosa.

Inferência em um parágrafo

Um modelo de linguagem grande é um arquivo cheio de números, chamados pesos. O treinamento é o processo que define esses números mostrando ao modelo quantidades enormes de texto. Inferência é tudo o que acontece depois, quando você usa os pesos finalizados para obter uma resposta. Cada mensagem de chat que você envia para um modelo, cada sugestão de autocompletar e cada chamada de API que retorna texto é uma requisição de inferência.

A distinção importa porque as duas tarefas têm custos diferentes. O treinamento acontece uma vez (ou algumas vezes) e precisa de um grande cluster. A inferência acontece toda vez que alguém envia um prompt, então é a parte que escala com seus usuários. Quando as pessoas falam sobre o custo de executar um produto de IA, elas quase sempre se referem ao custo da inferência.

O modelo não "procura" uma resposta. Ele calcula uma probabilidade para cada possível próximo token, escolhe um, o anexa ao texto e repete. Esse loop é todo o mecanismo, e o resto desta página é uma análise mais detalhada dele.

O que acontece durante uma requisição

Pegue uma única requisição de chat e siga-a do seu código até o caractere final.

  1. Tokenização. Seu texto é dividido em tokens, que são pedaços de caracteres. Um token é frequentemente uma palavra curta ou um pedaço de uma palavra mais longa. Uma regra prática comum para inglês é de cerca de quatro caracteres por token, mas isso varia por idioma e por conteúdo como código.
  2. Prefill. O modelo processa todos os tokens do prompt em uma única passagem. Este é um trabalho paralelo e constrói o estado interno que o modelo precisa para continuar o texto.
  3. Decoding. O modelo produz o primeiro token de saída, depois o segundo, e assim por diante. Cada novo token depende de todos os anteriores, então esta fase é sequencial. É a parte mais lenta da maioria das requisições.
  4. Amostragem. Em cada etapa, o modelo tem uma pontuação para cada token em seu vocabulário. Configurações como temperature e top_p decidem como o próximo token é escolhido a partir dessas pontuações. Uma temperatura baixa escolhe o token mais provável quase sempre; uma temperatura mais alta permite mais variedade.
  5. Parada. A geração termina quando o modelo emite um token de fim de texto, quando atinge uma sequência stop que você definiu, ou quando atinge o limite de tokens.

Prefill e decoding estressam o hardware de maneiras diferentes. O prefill é limitado principalmente pelo poder de computação bruto. O decoding é limitado principalmente pela velocidade com que a GPU pode ler os pesos do modelo da memória, porque cada único token precisa tocá-los. É por isso que uma resposta longa leva visivelmente mais tempo do que uma pergunta longa do mesmo tamanho.

Tokens, janela de contexto e cache KV

Tudo na inferência é medido em tokens. Seu prompt, a mensagem do sistema, as rodadas anteriores da conversa e a resposta contam todos. A janela de contexto é o número máximo de tokens que o modelo pode manter de uma vez, prompt e conclusão juntos. Neste serviço, a janela de contexto é de 100.000 tokens, e a conclusão pode usar o que o prompt deixar livre.

Para evitar recalcular toda a conversa para cada novo token, os motores de inferência mantêm um cache KV: as chaves e valores intermediários para tokens já processados. O cache cresce com o comprimento do contexto e ocupa memória da GPU. Esta é a principal razão pela qual contextos longos são caros de servir, e a razão pela qual um servidor só pode lidar com um número limitado de requisições longas de uma vez.

Uma consequência prática para você como desenvolvedor: um chat que reenvia o histórico completo a cada rodada paga por esse histórico novamente a cada vez. Se uma conversa crescer para 20.000 tokens, cada nova mensagem carrega esses 20.000 tokens de entrada com ela. Recortar ou resumir rodadas antigas é a otimização mais barata de velocidade e custo disponível para você, e não precisa de alterações no lado do servidor.

Latência: por que existem dois números

As pessoas frequentemente perguntam quão rápido um modelo é, mas existem duas medições separadas.

  • Tempo até o primeiro token. Quanto tempo você espera antes que qualquer texto apareça. Inclui tempo de rede, espera no servidor e prefill. Prompts longos aumentam isso.
  • Velocidade de geração. Quão rapidamente os tokens chegam após o primeiro. Depende do tamanho do modelo, do hardware e de quantas outras requisições a mesma GPU está atendendo naquele momento.

O streaming existe devido a essa divisão. Com stream: true, o servidor envia tokens conforme são produzidos, então o usuário começa a ler após o primeiro token em vez de esperar pela resposta completa. O tempo total é o mesmo, mas a interface parece muito mais rápida. Para chat, roleplay e ferramentas de escrita, streaming é quase sempre o padrão correto.

Um detalhe a lembrar ao planejar a concorrência: uma requisição streaming mantém seu slot até o fim do stream, não até a chegada do primeiro token. Se sua chave permite 8 requisições simultâneas, oito streams longos em execução significam que a nona tem que esperar ou recebe uma resposta 429.

Quanto a inferência custa, com números reais

A inferência hospedada é cobrada por token, com preços separados para input e output porque tokens de output exigem mais trabalho. Este serviço cobra $0,15 por 1M de tokens de input e $0,50 por 1M de tokens de output, a partir de crédito pré-pago sem assinatura. Veja como isso funciona para algumas requisições típicas.

RequisiçãoTokens de entradaTokens de saídaCusto
Mensagem de chat curta500300$0.000075 + $0.00015 = $0.000225
Chat com histórico2,000500$0.0003 + $0.00025 = $0.00055
Resumo de documento longo30,0001,000$0.0045 + $0.0005 = $0.005
Prompt de 100.000 tokens completo, resposta curta100,000500$0.015 + $0.00025 = $0.01525

A matemática é simples: divida a contagem de tokens por um milhão e multiplique pelo preço. Para a linha de chat com histórico, 2.000 / 1.000.000 x $0,15 = $0,0003 e 500 / 1.000.000 x $0,50 = $0,00025, que somam $0,00055. Mil requisições assim custam $0,55.

Dois detalhes de faturamento ajudam ao orçar. Requisições falhas ou recusadas não são cobradas, e o crédito não expira, então um recarregamento não é um relógio que se esgota. Cada resposta carrega um cabeçalho X-Balance-USD, que permite que seu código monitore o saldo restante sem uma chamada separada.

Inferência hospedada ou sua própria GPU

Você tem duas maneiras de obter inferência. Você pode alugar ou comprar GPUs, instalar um motor de serviço e executar um modelo você mesmo. Ou você pode chamar uma API e deixar outra pessoa operar o hardware.

Executar você mesmo lhe dá controle total sobre os arquivos do modelo, as configurações e o caminho de dados. O preço é trabalho operacional: escolher hardware que se encaixe nos pesos mais o cache KV, manter drivers e motores atualizados, lidar com picos de tráfego e pagar pela máquina durante horas de baixa atividade. Uma API hospedada transforma isso em uma conta por token. Geralmente é a rota mais rápida quando seu tráfego é irregular ou você ainda está testando uma ideia.

O serviço descrito aqui é uma API hospedada, compatível com OpenAI, apenas de texto. Executa um único modelo de pesos abertos, operado por um provedor independente e ajustado para responder sem recusas de conteúdo para uso adulto legal. Não é a API oficial de nenhum fornecedor de modelo, e não gera imagens, áudio ou vídeo, cria embeddings ou ajusta finamente modelos. Se você precisa de alguma dessas coisas, precisa de uma ferramenta diferente. Se você precisa de geração de texto simples com poucas recusas, o início rápido mostra a configuração, e a página de preços lista as opções de recarga.

Experimente uma chamada de inferência

A maneira mais rápida de tornar o conceito concreto é enviar uma requisição e ler os números que ela retorna. Após criar uma chave, este comando curl envia uma conclusão de chat para o endpoint:

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
    "max_tokens": 120
  }'

A resposta JSON inclui um objeto usage com prompt_tokens, completion_tokens e total_tokens. Multiplique isso pelos preços acima e você terá o custo exato da chamada. A mesma coisa em Python com o SDK OpenAI:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
    max_tokens=120,
)

u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Novos usuários podem reivindicar $0,50 de crédito de teste com um clique na página da chave após o sign-up. Não precisa de cartão, dura 7 dias e, pelos preços acima, cobre aproximadamente duas mil mensagens de chat curtas. Se algo retornar um erro que você não reconhece, o artigo de solução de problemas lista as causas comuns.

Perguntas e respostas

Inferência é a mesma coisa que executar um modelo?

Sim. Executar um modelo treinado em novos dados para produzir saída é inferência. O treinamento, que ajusta os pesos, é uma etapa diferente e anterior.

Por que a saída é mais cara que a entrada?

Os tokens de entrada são processados juntos em uma única passagem paralela, enquanto os tokens de saída são produzidos um de cada vez. Os provedores cobram mais pela parte mais lenta e sequencial, e este serviço cobra $0,50 contra $0,15 por 1 milhão de tokens.

Uma janela de contexto maior torna as requisições mais lentas?

Normalmente, sim. Um prompt mais longo significa mais trabalho de pré-preenchimento e um cache KV maior, então o tempo até o primeiro token aumenta. Você só paga pelos tokens que realmente envia e recebe, não pela parte não utilizada da janela de 100.000 tokens.

Preciso de uma GPU para usar uma API de inferência?

Não. O provedor executa o hardware. Você envia requisições HTTPS de qualquer máquina, incluindo um laptop ou um servidor pequeno.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API