RU ▾
Получить API-ключ

LLM Inference APIРуководство

Сравнение фреймворков для инференса LLM с хостинговым API

Это сравнение фреймворков для инференса LLM охватывает движки, которые вы можете запустить самостоятельно (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang), и сопоставляет их с хостинговым API, совместимым с OpenAI. Правильный выбор зависит от вашего оборудования, трафика и объема операционных задач.

Обновлено:

Иллюстрация нескольких серверных стоек и одного облачного узла, сравнивающая самостоятельные движки инференса с хостинговым API

Ключевые моменты

  1. vLLM, SGLang и TensorRT-LLM созданы для серверов GPU с множеством одновременных пользователей; llama.cpp и Ollama предназначены для одного компьютера, включая ноутбуки.
  2. Самостоятельный хостинг даёт контроль над весами и путём данных, но вы платите за оборудование и его обслуживание даже в простое.
  3. Хостинговое API не требует затрат в простое и оплачивается за каждый токен, что подходит для неравномерного или начального трафика.
  4. Большинство этих инструментов используют формат API OpenAI, поэтому переход между ними обычно означает изменение базового URL.

Два вопроса, которые определяют большинство решений

Перед сравнением движков ответьте на два вопроса. Во-первых, нужно ли вам самостоятельно выбирать модель? Если вы должны запустить один конкретный набор весов, хостинговый сервис с одной моделью вам не подойдет, и фреймворк — единственный вариант. Во-вторых, насколько стабилен ваш трафик? GPU, который работает круглосуточно, — это разумное вложение. GPU, который обрабатывает всплеск вечером и простаивает остальное время, — нет.

Если ответ на первый вопрос — «любая способная модель, которая не отказывает в обычных запросах от взрослых пользователей, подходит», а на второй — «неравномерный», хостинговое API, вероятно, будет проще. Если вам нужна конкретная дообученная модель, есть стабильная высокая нагрузка или нужно хранить каждый байт на своих машинах, посмотрите на фреймворки ниже.

Фреймворки по отдельности

vLLM

Движок с открытым исходным кодом для GPU. Он известен непрерывным батчингом, который держит GPU загруженным за счет добавления новых запросов в текущий батч, и страничной адресацией кэша KV, которая экономит память. Поставляется с HTTP-сервером, совместимым с OpenAI. Это сильный вариант по умолчанию, если у вас есть GPU уровня дата-центра и много одновременных пользователей. Установка включает драйверы CUDA, согласованные версии и планирование памяти модели.

SGLang

Еще один фреймворк с открытым исходным кодом, ориентированный на высокопроизводительный инференс на GPU, с функциями структурированного вывода и повторного использования префикса. Он относится к той же категории, что и vLLM, и команды часто сравнивают оба варианта на своей рабочей нагрузке перед выбором. Относитесь к любым опубликованным бенчмаркам с осторожностью: результаты меняются в зависимости от модели, оборудования, длины промпта и версии.

TensorRT-LLM

Библиотека NVIDIA для компиляции и запуска моделей на GPU NVIDIA. Она может извлечь много производительности из этого оборудования, но требует более сложного процесса сборки и развертывания и привязывает вас к стеку одного поставщика. Это имеет смысл, если вы запускаете фиксированную модель в масштабе на картах NVIDIA и у вас есть инженеры для ее поддержки.

llama.cpp

Реализация на C/C++, которая запускает квантованные модели в формате GGUF на процессорах, Apple Silicon и многих GPU. Включает llama-server, который предоставляет эндпоинт в стиле OpenAI. Квантование уменьшает необходимую память, но за счет некоторой потери качества вывода, которое зависит от агрессивности квантования. Это практичный выбор для ноутбука, домашнего сервера или инструмента для офлайн-использования.

Ollama

Удобная оболочка для запуска моделей локально: вы загружаете модель по имени, а она управляет загрузкой, хранением и локальным сервером, включая эндпоинт, совместимый с OpenAI. Она отлично подходит для экспериментов и личного использования. Она предназначена для одного пользователя или небольшой группы, а не для обслуживания активного публичного приложения.

Рядом

ВариантЛучшее решениеВы управляетеМодель ценообразования
vLLM / SGLangМножество пользователей на серверных GPUДрайверы, GPU, масштабирование, обновленияОборудование, независимо от того, загружено оно или простаивает
TensorRT-LLMФиксированная модель в масштабе на картах NVIDIAСборки, развертывание, настройкаОборудование плюс время инженеров
llama.cppНоутбуки, маленькие серверы, автономное использованиеФайлы моделей, выбор квантованияВаша собственная машина
OllamaЛокальные эксперименты, личные инструментыЗагрузки моделей, место на дискеВаша собственная машина
Хостинговое APIНеравномерный или начальный трафик, отсутствие операций с GPUAPI-ключ и ваш кодОплата за токен, в простое ничего

В таблице намеренно отсутствуют показатели скорости. Пропускная способность зависит от модели, квантования, длины промпта и размера батча, поэтому цифры из чужой настройки редко переносятся на вашу.

Чем жертвует хостинговое API и что оно дает

Описанный на этом сайте хостинговый вариант — это API только для текста, совместимое с OpenAI, работающее на одной модели с открытыми весами, управляемое независимым провайдером и настроенное на ответы без отказов по содержанию для законного использования взрослыми. Идентификатор модели — uncensored. Поддерживается потоковая передача, вызов функций и JSON-режим, контекстное окно на 100 000 токенов.

Понятно, чего вы лишаетесь. Вы не можете выбрать или заменить веса. Вы не можете выполнить дообучение. Нет эмбеддингов, нет генерации изображений, аудио или видео, и сервис ограничен лимитами запросов: полный ключ позволяет 8 одновременных запросов и 300 запросов в минуту, а пробный ключ — 2 и 60. Это также не официальное API какого-либо поставщика моделей.

Что вы получаете взамен — отсутствие инфраструктуры. Нет GPU, который нужно покупать, нет движка, который нужно обновлять, и нет затрат в простое. Вы платите $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов из предоплаченного баланса, который не сгорает, и запросы, которые завершаются ошибкой или отклоняются, не оплачиваются. На странице цен указаны суммы пополнения и бонусы.

Затраты, которые забывают при самостоятельном хостинге

Цена GPU — это только первая строка бюджета. Команды, переходящие с API на собственные серверы, часто удивляются второй и третьей строкам.

  • Запас памяти. Веса — не единственное, что требует памяти GPU. KV-кэш растет с каждым одновременным запросом и каждым токеном контекста, поэтому карта, которая загружает модель комфортно, всё равно может не хватить памяти при 20 одновременных пользователях с длинными промптами.
  • Время простоя. Ночные и выходные часы стоят столько же, сколько пиковые. Автоскейлинг помогает, но запуск GPU-узла и загрузка больших весов занимают минуты, а не секунды.
  • Обновления и поломки. Движки часто выпускают обновления. Обновление драйвера или новая версия движка могут изменить поведение, и кто-то должен протестировать это перед выводом в продакшн.
  • Безопасность и обработка злоупотреблений. При собственном развертывании политика фильтрации, логирование и реакция на злоупотребления — это то, что вы проектируете и за что отвечаете сами.

Ничто из этого не означает, что самостоятельный хостинг — плохая идея. Это означает, что сравнение должно включать время сотрудников, а не только почасовую стоимость машины.

Проверка стоимости, которую вы можете провести по своим данным

Честный способ сравнения — оценить стоимость вашей реальной нагрузки. Допустим, приложение использует 100 млн входных токенов и 20 млн выходных токенов за месяц.

  • Вход: 100 x $0,15 = $15.
  • Выход: 20 x $0,50 = $10.
  • Итого: $25 за месяц.

Теперь поставьте рядом ежемесячную стоимость вашей альтернативы: сервер или аренду GPU, электроэнергию, если это ваше оборудование, и часы, которые кто-то тратит на его поддержку. Проверьте текущие цены на оборудование или облачные GPU самостоятельно, так как они часто меняются. Если ваша альтернатива обходится дешевле, чем счёт за API при вашем объёме, и вы можете держать машину загруженной, самостоятельный хостинг выигрывает по деньгам. Если счёт за API ниже, или если ваша нагрузка скачкообразная, выигрывает хостинг.

Обратный случай тоже важен. При объёме в 10 раз больше те же расчёты дают $250 в месяц, и выделенный GPU с выбранной вами моделью может начать выглядеть лучше, особенно если вам нужна модель, которую не предлагает этот сервис. Пересчитайте стоимость, когда изменится ваша нагрузка.

Одинаковый код клиента с обеих сторон

Полезное свойство этой категории заключается в том, что vLLM, llama.cpp, Ollama и большинство хостинг-сервисов предоставляют OpenAI-формат запросов. Коду вашего приложения не нужно знать, что находится за URL. Меняются только базовый URL, ключ и имя модели. Вот клиент для хостингового эндпоинта:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir short story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)

Если позже вы перенесёте инфраструктуру на свой сервер, вы измените базовый URL и имя модели, а остальное оставите без изменений. Это позволяет начать работу на хостинге с минимальными рисками, измерить реальный объём токенов и принять решение о закупке оборудования на основе данных. Быстрый старт охватывает потоковую передачу, инструменты и JSON-режим, а пробный ключ доступен на странице ключей.

Какой из них выбрать

  • Вы хотите опробовать идеи на этой неделе: используйте хостинговый API или Ollama, если у вас есть мощный компьютер и вы хотите всё держать локально.
  • Вам нужна точная модель или приватная дообученная версия: vLLM или SGLang на арендованных или собственных GPU.
  • Вы запускаете фиксированную модель в масштабе на оборудовании NVIDIA с командой платформы: стоит протестировать TensorRT-LLM.
  • Вам нужна работа в автономном режиме или минимальный размер: llama.cpp с квантованной моделью.
  • Вам нужна текстовая модель с небольшим количеством отказов и без работы с оборудованием: хостинговый эндпоинт здесь, учитывая указанные выше лимиты.

Вопросы и ответы

vLLM лучше, чем llama.cpp?

Они предназначены для разных сценариев. vLLM создан для обслуживания множества пользователей на серверных GPU, тогда как llama.cpp предназначен для запуска квантованных моделей на одной машине, включая процессоры и ноутбуки.

Могу ли я использовать SDK OpenAI с этими фреймворками?

В целом да. vLLM, сервер llama.cpp и Ollama предоставляют эндпоинты, совместимые с OpenAI, как и этот хостинговый API. Вы меняете базовый URL, ключ и имя модели.

Когда самостоятельный хостинг становится дешевле API?

Когда ежемесячная стоимость вашего оборудования и поддержки ниже, чем стоимость вашего объёма токенов в API, и вы можете держать оборудование загруженным. Оцените свою нагрузку по цене $0,15 и $0,50 за 1 млн токенов, чтобы узнать.

Позволяет ли хостинговый API мне выбрать модель?

Нет. Он предоставляет одну модель под идентификатором uncensored. Если вам нужны конкретные веса, вам нужно запустить их самостоятельно.

Ваш ключ — в одной форме от вас

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ