Comparativa de frameworks de inferencia LLM frente a API alojada
Esta comparativa de frameworks de inferencia LLM cubre los motores que puedes ejecutar tú mismo (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) y los compara con una API alojada compatible con OpenAI. La mejor opción depende de tu hardware, tu tráfico y cuánto trabajo de operaciones deseas asumir.
Actualizado:

Puntos clave
- vLLM, SGLang y TensorRT-LLM están diseñados para servidores GPU con muchos usuarios simultáneos; llama.cpp y Ollama están diseñados para una sola máquina, incluidos portátiles.
- El autoalojamiento da control sobre los pesos y la ruta de datos, pero pagas por el hardware y el mantenimiento incluso cuando está inactivo.
- Una API alojada no tiene costos en reposo y se cobra por token, lo que se adapta a un tráfico irregular o en etapas tempranas.
- La mayoría de estas herramientas usan el formato de API de OpenAI, por lo que cambiar entre ellas suele implicar cambiar una URL base.
Las dos preguntas que deciden la mayor parte
Antes de comparar motores, responde dos preguntas. Primero, ¿necesitas elegir el modelo tú mismo? Si debes ejecutar un conjunto específico de pesos, un servicio alojado que ofrece un solo modelo no te ayudará, y un framework es la única opción. Segundo, ¿qué tan estable es tu tráfico? Una GPU ocupada las veinticuatro horas del día es un buen uso del dinero. Una GPU que maneja un pico por la noche y está inactiva el resto del tiempo no lo es.
Si la respuesta a la primera es "cualquier modelo capaz que no rechace solicitudes normales de adultos está bien" y la respuesta a la segunda es "irregular", una API alojada probablemente sea la opción más sencilla. Si necesitas un fine-tune específico, tienes una carga pesada constante o debes mantener cada byte en tus propias máquinas, mira los frameworks de abajo.
Los frameworks, uno por uno
vLLM
Un motor de servicio de código abierto para GPUs. Es conocido por el empaquetado continuo, que mantiene la GPU ocupada añadiendo nuevas peticiones a un batch en ejecución, y por un enfoque de paginación para el caché KV que desperdicia menos memoria. Incluye un servidor HTTP compatible con OpenAI. Es una opción sólida por defecto cuando tienes una GPU de clase datacenter y muchos usuarios concurrentes. La configuración implica controladores CUDA, versiones coincidentes y planificación de memoria del modelo.
SGLang
Otro framework de servicio de código abierto orientado al servicio de GPU de alto rendimiento, con funciones para salida estructurada y reutilización de prefijos. Se encuentra en la misma categoría que vLLM, y los equipos suelen comparar ambos en su propia carga de trabajo antes de elegir uno. Trata cualquier prueba de rendimiento publicada con cautela: los resultados cambian con el modelo, el hardware, la longitud del prompt y la versión.
TensorRT-LLM
La biblioteca de NVIDIA para compilar y ejecutar modelos en GPUs NVIDIA. Puede extraer mucho rendimiento de ese hardware, al precio de un proceso de construcción y despliegue más pesado y una dependencia de la pila de un solo proveedor. Tiene sentido cuando ejecutas un modelo fijo a escala en tarjetas NVIDIA y tienes ingenieros para mantenerlo.
llama.cpp
Una implementación en C/C++ que ejecuta modelos cuantizados en formato GGUF en CPUs, Apple Silicon y muchas GPUs. Incluye llama-server, que expone un endpoint estilo OpenAI. La cuantización reduce la memoria necesaria, con algún costo en la calidad de salida que depende de qué tan agresiva sea. Es la opción práctica para un portátil, un servidor doméstico o una herramienta sin conexión.
Ollama
Un envoltorio amigable para ejecutar modelos localmente: extraes un modelo por nombre y se encarga de las descargas, el almacenamiento y un servidor local, incluido un endpoint compatible con OpenAI. Es excelente para experimentos y uso personal. Está dirigido a un usuario o pocos, no a atender una aplicación pública ocupada.
Lado a lado
| Opción | Mejor ajuste | Gestionas tú | Modelo de costo |
|---|---|---|---|
| vLLM / SGLang | Muchos usuarios en GPUs de servidor | Controladores, GPUs, escalado, actualizaciones | Hardware, ya sea ocupado o inactivo |
| TensorRT-LLM | Modelo fijo a escala en tarjetas NVIDIA | Construcciones, despliegue, ajuste | Hardware más tiempo de ingeniería |
| llama.cpp | Portátiles, servidores pequeños, uso sin conexión | Archivos del modelo, elección de cuantización | Tu propia máquina |
| Ollama | Experimentos locales, herramientas personales | Descargas de modelos, espacio en disco | Tu propia máquina |
| API alojada | Tráfico irregular o temprano, sin operaciones de GPU | Una clave de API y tu código | Por token, nada en reposo |
La tabla omite las cifras de velocidad a propósito. El rendimiento depende del modelo, la cuantización, la longitud del prompt y el tamaño del batch, por lo que un número de la configuración de otra persona rara vez se traslada a la tuya.
Lo que renuncia una API alojada y lo que ofrece
La opción alojada descrita en este sitio es una API de solo texto, compatible con OpenAI, que ejecuta un único modelo de pesos abiertos, operada por un proveedor independiente y ajustada para responder sin rechazos de contenido para uso adulto lícito. El ID del modelo es uncensored. Soporta streaming, llamadas a funciones y modo JSON, con una ventana de contexto de 100.000 tokens.
Lo que pierdes es claro. No puedes elegir ni cambiar los pesos. No puedes hacer fine-tuning. No hay embeddings, ni generación de imágenes, audio o video, y el servicio está sujeto a límites de peticiones: una clave completa permite 8 peticiones simultáneas y 300 peticiones por minuto, y una clave de prueba permite 2 y 60. Tampoco es la API oficial de ningún proveedor de modelos.
Lo que obtienes a cambio es cero infraestructura. No hay GPU que comprar, ningún motor que actualizar ni costo en reposo. Pagas $0,15 por 1M de tokens de entrada y $0,50 por 1M de tokens de salida desde crédito prepago que no caduca, y las peticiones que fallan o son rechazadas no se cobran. La página de precios tiene los montos de recarga y bonificaciones.
Costos que la gente olvida al autoalojarse
El precio de una GPU es solo la primera línea del presupuesto. Los equipos que migran de una API a sus propios servidores suelen sorprenderse con las segundas y terceras líneas.
- Margen de memoria. Los pesos no son lo único que necesita memoria de GPU. El caché KV crece con cada petición simultánea y cada token de contexto, por lo que una tarjeta que carga el modelo cómodamente aún puede quedarse sin espacio con 20 usuarios simultáneos con prompts largos.
- Tiempo inactivo. Las horas nocturnas y de fin de semana cuestan lo mismo que las horas pico. El escalado automático ayuda, pero iniciar un nodo de GPU y cargar pesos grandes toma minutos, no segundos.
- Actualizaciones y roturas. Los motores de inferencia se actualizan con frecuencia. Una actualización del controlador o una nueva versión del motor puede cambiar el comportamiento, y alguien tiene que probarlo antes de que llegue a producción.
- Seguridad y gestión de abusos. Con tu propio despliegue, la política de filtrado, el registro y la gestión de abusos son tuyos para diseñar y asumir.
Nada de esto significa que el autoalojamiento sea una mala idea. Significa que la comparativa debe incluir tiempo de personal, no solo el precio por hora de una máquina.
Una verificación de costos que puedes ejecutar con tus propios números
La forma honesta de comparar es calcular el precio de tu carga de trabajo real. Supongamos que una app usa 100M de tokens de entrada y 20M de tokens de salida en un mes.
- Entrada: 100 x $0,15 = $15.
- Salida: 20 x $0,50 = $10.
- Total: $25 por mes.
Ahora coloca al lado el costo mensual de tu alternativa: el alquiler del servidor o GPU, la energía si es tu propio hardware, y las horas que alguien dedica a mantenerlo en funcionamiento. Consulta los precios actuales de hardware o GPUs en la nube tú mismo, ya que cambian con frecuencia. Si tu alternativa cuesta menos que la factura de la API a tu volumen, y puedes mantener la máquina ocupada, el autoalojamiento gana en dinero. Si la factura de la API es menor, o si tu carga es intermitente, la opción alojada gana.
El caso inverso también importa. Con 10 veces ese volumen, el mismo cálculo da $250 al mes, y una GPU dedicada ejecutando un modelo que tú elegiste puede empezar a verse mejor, especialmente si necesitas un modelo que este servicio no ofrece. Vuelve a hacer el cálculo cuando tu uso cambie.
Mismo código cliente en ambos lados
Una propiedad útil de esta categoría es que vLLM, llama.cpp, Ollama y la mayoría de los servicios alojados exponen el formato de petición de OpenAI. El código de tu aplicación no necesita saber cuál está detrás de la URL. Solo cambian la base URL, la clave y el nombre del modelo. Aquí está el cliente para el endpoint alojado:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
Si más adelante migras a tu propio servidor, editas la URL base y el nombre del modelo y dejas el resto igual. Eso hace que empezar en la versión alojada sea de bajo riesgo, que puedas medir tus volúmenes reales de tokens y que decidas sobre el hardware con datos. El inicio rápido cubre streaming, herramientas y modo JSON, y hay una clave de prueba disponible desde la página de claves.
Cuál deberías elegir
- Quieres probar ideas esta semana: usa una API alojada, o Ollama si tienes una computadora capaz y quieres todo local.
- Necesitas un modelo exacto o un ajuste fino privado: vLLM o SGLang en GPUs rentadas o propias.
- Ejecutas un modelo fijo a escala en hardware NVIDIA con un equipo de plataforma: TensorRT-LLM vale la pena probarlo.
- Necesitas operación sin conexión o una huella pequeña: llama.cpp con un modelo cuantizado.
- Necesitas un modelo de texto con pocas denegaciones y sin trabajo de hardware: el endpoint alojado aquí, con los límites anteriores en mente.
Más guías
Preguntas y respuestas
¿Es vLLM mejor que llama.cpp?
Apuntan a configuraciones diferentes. vLLM está diseñado para servir a muchos usuarios en GPUs de servidor, mientras que llama.cpp está diseñado para ejecutar modelos cuantizados en una sola máquina, incluyendo CPUs y portátiles.
¿Puedo usar el SDK de OpenAI con estos frameworks?
Generalmente sí. vLLM, el servidor de llama.cpp y Ollama ofrecen todos endpoints compatibles con OpenAI, y esta API alojada también. Cambias la URL base, la clave y el nombre del modelo.
¿Cuándo el autoalojamiento se vuelve más barato que una API?
Cuando el costo mensual de tu hardware y mantenimiento es menor a lo que te costarían tus tokens en la API, y puedes mantener el hardware ocupado. Evalúa tu propia carga de trabajo a $0,15 y $0,50 por 1M de tokens para averiguarlo.
¿La API alojada me permite elegir el modelo?
No. Sirve un modelo bajo el ID uncensored. Si necesitas pesos específicos, necesitas ejecutarlos tú mismo.
Tu clave está a un clic de distancia
Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.
Obtener clave de API