¿Qué es la inferencia de LLM? Tokens, latencia y coste
Si preguntas qué es la inferencia de LLM, la versión corta es esta: es el paso en el que un modelo de lenguaje entrenado lee tu prompt y escribe una respuesta, un token a la vez. Esta página explica cómo funciona eso y cuánto cuesta.
Actualizado:

Puntos clave
- La inferencia es ejecutar un modelo terminado para producir una salida; el entrenamiento es el paso anterior, mucho más caro, que creó el modelo.
- Una petición tiene dos fases: leer el prompt (prefill) y escribir la respuesta token a token (decodificación).
- El coste y la velocidad siguen el recuento de tokens, por lo que la longitud de entrada, la longitud de salida y la ventana de contexto importan más que cualquier otra cosa.
- Con una API alojada pagas por token y te ahorras las GPUs; con tu propio hardware pagas por la máquina esté ocupada o no.
Inferencia en un párrafo
Un modelo de lenguaje grande es un archivo lleno de números, llamados pesos. El entrenamiento es el proceso que establece esos números mostrando al modelo cantidades enormes de texto. La inferencia es todo lo que ocurre después, cuando usas los pesos terminados para obtener una respuesta. Cada mensaje de chat que envías a un modelo, cada sugerencia de autocompletado y cada llamada a API que devuelve texto es una petición de inferencia.
La distinción importa porque los dos trabajos tienen diferentes economías. El entrenamiento ocurre una vez (o unas pocas veces) y necesita un clúster grande. La inferencia ocurre cada vez que alguien envía un prompt, por lo que es la parte que escala con tus usuarios. Cuando la gente habla del coste de ejecutar un producto de IA, casi siempre se refiere al coste de la inferencia.
El modelo no "busca" una respuesta. Calcula una probabilidad para cada posible token siguiente, elige uno, lo añade al texto y repite. Ese bucle es todo el mecanismo, y el resto de esta página es un análisis más detallado del mismo.
Qué ocurre durante una petición
Toma una única petición de chat y síguela desde tu código hasta el carácter final.
- Tokenización. Tu texto se divide en tokens, que son fragmentos de caracteres. Un token suele ser una palabra corta o una parte de una más larga. Una regla general común para el inglés es de unos cuatro caracteres por token, pero varía según el idioma y el contenido como código.
- Prefill. El modelo procesa todos los tokens del prompt en un solo paso. Este es trabajo paralelo y construye el estado interno que el modelo necesita para continuar el texto.
- Decoding. El modelo produce el primer token de salida, luego el segundo, y así sucesivamente. Cada nuevo token depende de todos los anteriores, por lo que esta fase es secuencial. Es la parte lenta de la mayoría de las peticiones.
- Muestreo. En cada paso el modelo tiene una puntuación para cada token en su vocabulario. Ajustes como
temperatureytop_pdeciden cómo se elige el siguiente token a partir de esas puntuaciones. Una temperatura baja elige el token más probable casi siempre; una más alta permite más variedad. - Detención. La generación termina cuando el modelo emite un token de fin de texto, cuando alcanza una secuencia
stopque definiste, o cuando alcanza el límite de tokens.
El prellenado y la decodificación estresan el hardware de maneras diferentes. El prellenado está limitado principalmente por el cálculo en bruto. La decodificación está limitada principalmente por la velocidad con la que la GPU puede leer los pesos del modelo desde la memoria, porque cada token individual necesita tocarlos. Por eso una respuesta larga tarda visiblemente más que una pregunta larga del mismo tamaño.
Tokens, ventana de contexto y la caché KV
Todo en la inferencia se mide en tokens. Tu prompt, el mensaje del sistema, los turnos anteriores de la conversación y la respuesta cuentan todos. La ventana de contexto es el número máximo de tokens que el modelo puede contener a la vez, prompt y completado juntos. En este servicio la ventana de contexto es de 100.000 tokens, y el completado puede usar lo que el prompt deje libre.
Para evitar recalcular toda la conversación para cada nuevo token, los motores de inferencia mantienen una caché KV: las claves y valores intermedios para los tokens ya procesados. La caché crece con la longitud del contexto y consume memoria de GPU. Esta es la razón principal por la que los contextos largos son costosos de servir, y la razón por la que un servidor solo puede manejar una cantidad limitada de solicitudes largas a la vez.
Una consecuencia práctica para ti como desarrollador: un chat que reenvía el historial completo en cada turno paga por ese historial otra vez cada vez. Si una conversación crece hasta 20.000 tokens, cada mensaje nuevo lleva esos 20.000 tokens de entrada con él. Recortar o resumir turnos antiguos es la optimización de velocidad y coste más barata disponible para ti, y no necesita cambios en el lado del servidor.
Latencia: por qué hay dos cifras
La gente a menudo pregunta qué tan rápido es un modelo, pero hay dos mediciones separadas.
- Tiempo hasta el primer token. Cuánto tiempo esperas antes de que aparezca cualquier texto. Incluye el tiempo de red, la espera en el servidor y el prellenado. Los prompts largos lo aumentan.
- Velocidad de generación. Qué tan rápido llegan los tokens después del primero. Depende del tamaño del modelo, el hardware y cuántas otras peticiones está sirviendo la misma GPU en ese momento.
El streaming existe debido a esta división. Con stream: true el servidor envía tokens a medida que se producen, para que el usuario comience a leer después del primer token en lugar de esperar la respuesta completa. El tiempo total es el mismo, pero la interfaz se siente mucho más rápida. Para chat, juego de roles y herramientas de escritura, el streaming es casi siempre la opción predeterminada correcta.
Un detalle a recordar cuando planifiques la concurrencia: una solicitud en streaming mantiene su espacio hasta que termina el flujo, no hasta que llega el primer token. Si tu clave permite 8 solicitudes concurrentes, ocho flujos largos en curso significa que la novena tiene que esperar o recibe una respuesta 429.
Qué cuesta la inferencia, con cifras reales
La inferencia alojada se factura por token, con precios separados para entrada y salida porque los tokens de salida requieren más trabajo. Este servicio cobra $0,15 por 1M de tokens de entrada y $0,50 por 1M de tokens de salida, desde crédito prepago sin suscripción. Así es como funciona eso para algunas peticiones típicas.
| Petición | Tokens de entrada | Tokens de salida | Costo |
|---|---|---|---|
| Mensaje de chat corto | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| Chat con historial | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| Resumen de documento largo | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| Prompt completo de 100.000 tokens, respuesta corta | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
Las matemáticas son simples: divide el recuento de tokens por un millón y multiplica por el precio. Para la fila de chat con historial, 2,000 / 1,000,000 x $0,15 = $0,0003 y 500 / 1,000,000 x $0,50 = $0,00025, que suma $0,00055. Mil peticiones como esa cuestan $0,55.
Dos detalles de facturación ayudan cuando presupuestas. Las peticiones fallidas o rechazadas no se cobran, y el crédito no caduca, por lo que una recarga no es un reloj que se agota. Cada respuesta lleva un encabezado X-Balance-USD, que permite a tu código vigilar el saldo restante sin una llamada separada.
Inferencia alojada o tu propia GPU
Tienes dos formas de obtener inferencia. Puedes alquilar o comprar GPUs, instalar un motor de servicio y ejecutar un modelo tú mismo. O puedes llamar a una API y dejar que alguien más opere el hardware.
Ejecutarlo tú mismo te da control total sobre los archivos del modelo, la configuración y el flujo de datos. El precio es el trabajo operativo: elegir hardware que se ajuste a los pesos más la caché KV, mantener actualizados los controladores y los motores, manejar picos de tráfico y pagar por la máquina durante las horas de baja actividad. Una API alojada convierte eso en una factura por token. Suele ser la ruta más rápida cuando tu tráfico es irregular o aún estás probando una idea.
El servicio descrito aquí es una API de texto único, alojada y compatible con OpenAI. Ejecuta un único modelo de pesos abiertos, operado por un proveedor independiente y ajustado para responder sin rechazos por contenido para uso adulto lícito. No es la API oficial de ningún proveedor de modelos, ni genera imágenes, audio o video, crea embeddings ni realiza ajuste de modelos. Si necesitas alguna de esas funciones, necesitas una herramienta diferente. Si necesitas generación de texto plano con pocos rechazos, la guía de inicio rápido muestra la configuración, y la página de precios enumera las opciones de recarga.
Prueba una llamada de inferencia tú mismo
La forma más rápida de hacer concreto el concepto es enviar una petición y leer las cifras que devuelve. Después de crear una clave, este comando curl envía una finalización de chat al endpoint:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
La respuesta JSON incluye un objeto usage con prompt_tokens, completion_tokens y total_tokens. Multiplica eso por los precios anteriores y tienes el coste exacto de la llamada. Lo mismo en Python con el SDK de OpenAI:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
Los usuarios nuevos pueden reclamar $0,50 de crédito de prueba con un clic en la página de clave después del registro. No necesita tarjeta, dura 7 días, y a los precios anteriores cubre aproximadamente dos mil mensajes de chat cortos. Si algo devuelve un error que no reconoces, el artículo de solución de problemas lista las causas habituales.
Más guías
Preguntas y respuestas
¿Es la inferencia lo mismo que ejecutar un modelo?
Sí. Ejecutar un modelo entrenado con nuevos datos para producir una salida es inferencia. El entrenamiento, que ajusta los pesos, es un paso diferente y anterior.
¿Por qué la salida es más cara que la entrada?
Los tokens de entrada se procesan juntos en un solo paso paralelo, mientras que los tokens de salida se generan uno a uno. Los proveedores cobran más por la parte más lenta y secuencial, y este servicio cobra $0.50 frente a $0.15 por cada 1M de tokens.
¿Una ventana de contexto más larga hace que las peticiones sean más lentas?
Por lo general, sí. Un prompt más largo implica más trabajo de prefill y un caché KV más grande, por lo que el tiempo hasta el primer token aumenta. Solo pagas por los tokens que realmente envías y recibes, no por la parte no utilizada de la ventana de 100,000 tokens.
¿Necesito una GPU para usar una API de inferencia?
No. El proveedor ejecuta el hardware. Envías peticiones HTTPS desde cualquier máquina, incluyendo una laptop o un servidor pequeño.
Tu clave está a un formulario de distancia
Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.
Obtener clave de API