LLM Inference APIKılavuz
LLM Çıkarım Çerçevesi Karşılaştırması vs Barındırılan API
Bu LLM çıkarım çerçevesi karşılaştırması, kendi başınıza çalıştırabileceğiniz motorları (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) kapsar ve bunları OpenAI uyumlu bir barındırılan API ile karşılaştırır. Doğru seçim donanımınıza, trafiğinize ve operasyon iş yükünden ne kadar almak istediğinize bağlıdır.
Güncelleme:

Temel noktalar
- vLLM, SGLang ve TensorRT-LLM, eşzamanlı çok sayıda kullanıcı için GPU sunucuları için tasarlanmıştır; llama.cpp ve Ollama ise dizüstü bilgisayarlar dahil tek bir makine içindir.
- Kendi kendine barındırma, ağırlıklar ve veri yolu üzerinde kontrol sağlar; ancak donanım ve bakım maliyetini boşta bile ödersiniz.
- Barındırılan API, bekleme durumunda sıfır maliyetle çalışır ve token başına faturalandırılır; bu da değişken veya erken aşama trafiği için uygundur.
- Bu araçların çoğu OpenAI API formatını destekler; bu nedenle geçiş genellikle bir temel URL değişikliği gerektirir.
Çoğunu belirleyen iki soru
Motorları karşılaştırmadan önce iki soruyu yanıtlayın. İlk olarak, modeli kendiniz seçmeniz mi gerekiyor? Belirli bir ağırlık kümesini çalıştırmanız gerekiyorsa, tek bir model sunan barındırılan bir hizmet size yardımcı olamaz ve çerçeve tek yoldur. İkinci olarak, trafiğiniz ne kadar istikrarlı? Günde yirmi dört saat dolu kalan bir GPU para için iyi bir yatırımdır. Akşamüstü bir artışa hizmet edip geri kalanında boşta kalan bir GPU değildir.
İlk sorunun cevabı "sıradan yetişkin istekleri reddetmeyen herhangi bir yetenekli model yeterlidir" ve ikinci sorunun cevabı "düzensiz" ise, barındırılan API muhtemelen daha basit bir seçenektir. Belirli bir ince ayara ihtiyacınız varsa, istikrarlı yüksek yükünüz varsa veya her baytı kendi makinelerinizde tutmak zorundaysanız, aşağıdaki çerçevelere bakın.
Çerçeveler, tek tek
vLLM
GPU'lar için açık kaynaklı bir hizmet motoru. Sürekli toplu işleme ile GPU'yu meşgul tutar ve KV önbelleği için sayfalı yaklaşımı ile daha az bellek harcar. OpenAI uyumlu bir HTTP sunucusu sunar. Veri merkezi sınıfı bir GPU ve çok sayıda eşzamanlı kullanıcı varsa güçlü bir varsayılan seçenektir. Kurulum CUDA sürücülerini, eşleşen sürümleri ve model bellek planlamasını içerir.
SGLang
Yüksek verimli GPU hizmetlemesi için tasarlanmış başka bir açık kaynaklı hizmet çerçevesi; yapılandırılmış çıktı ve önek yeniden kullanım özellikleri sunar. vLLM ile aynı kategoridedir ve ekipler genellikle bir seçim yapmadan önce kendi iş yüklerinde her ikisini de test eder. Yayınlanan tüm testlere şüpheyle yaklaşın: sonuçlar model, donanım, istem uzunluğu ve sürüme göre değişir.
TensorRT-LLM
NVIDIA'nın modelleri NVIDIA GPU'larında derlemek ve çalıştırmak için kütüphanesi. Bu donanımdan çok performans almanızı sağlar; ancak daha ağır bir derleme ve dağıtım süreci ve tek bir tedarikçi yığınına bağlılık gerektirir. Sabit bir modeli NVIDIA kartlarda ölçeklendirerek çalıştırıyorsanız ve bakım için mühendisleriniz varsa mantıklıdır.
llama.cpp
GGUF formatında nicemlenmiş modelleri CPU'larda, Apple Silicon ve birçok GPU'da çalıştıran bir C/C++ uygulaması. OpenAI tarzı bir uç nokta sunan llama-server içerir. Nicemleme, agresifliğine bağlı olarak bazı kalite kaybı pahasına gereken belleği küçültür. Bir dizüstü bilgisayar, ev sunucusu veya çevrimdışı bir araç için pratik bir seçenektir.
Ollama
Modelleri yerelde çalıştırmak için dostça bir sarmalayıcı: model adıyla çeker, indirmeleri, depolamayı ve OpenAI uyumlu bir uç nokta içeren yerel sunucuyu halleder. Denemeler ve kişisel kullanım için mükemmeldir. Tek kullanıcı veya birkaç kullanıcı içindir; yoğun bir halka açık uygulamaya hizmet etmek için değildir.
Yan yana
| Seçenek | En iyi uyum | Siz yönetirsiniz | Maliyet modeli |
|---|---|---|---|
| vLLM / SGLang | Sunucu GPU'larında çok sayıda kullanıcı | Sürücüler, GPU'lar, ölçeklendirme, güncellemeler | Donanım, meşgul veya boşta |
| TensorRT-LLM | NVIDIA kartlarda ölçeklendirilmiş sabit model | Derlemeler, dağıtım, ayarlar | Donanım ve mühendislik süresi |
| llama.cpp | Dizüstü bilgisayarlar, küçük sunucular, çevrimdışı kullanım | Model dosyaları, sıkıştırma seçimi | Kendi makineniz |
| Ollama | Yerel deneyler, kişisel araçlar | Model indirmeleri, disk alanı | Kendi makineniz |
| Barındırılan API | Düzensiz veya erken trafik, GPU operasyonu yok | Bir API anahtarı ve kodunuz | Token başına, bekleme durumunda sıfır |
Tablo, bilinçli olarak hız verilerini içermez. Verimlilik modele, sıkıştırmaya, istem uzunluğuna ve toplu iş boyutuna bağlıdır; bu nedenle başkasının kurulumundan gelen bir sayı genellikle size aktarılmaz.
Barındırılan API'nin vazgeçtiği ve sunduğu
Bu sitede açıklanan barındırılan seçenek, bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış, metin tabanlı, OpenAI uyumlu bir API'dir. Model kimliği uncensored'dir. Akış, fonksiyon çağırma ve JSON modunu destekler; 100.000 token'lık bir bağlam penceresine sahiptir.
Vazgeçeceğiniz şey nettir. Ağırlıkları seçemez veya değiştiremezsiniz. İnce ayar yapamazsınız. Gömme, görüntü, ses veya video oluşturma yoktur ve hizmet hız limitlerine bağlıdır: tam anahtar eşzamanlı 8 istek ve dakika başına 300 istek; deneme anahtarı ise 2 ve 60'a izin verir. Ayrıca herhangi bir model satıcısının resmi API'si değildir.
Karşılığında aldığınız şey sıfır altyapıdır. Satın alınacak GPU, güncellenecek motor veya boşta kalma maliyeti yoktur. Ön ödemeli krediden 1M giriş token'ı başına $0,15 ve 1M çıktı token'ı başına $0,50 ödersiniz; bu kredi hiç sona ermez. Başarısız olan veya reddedilen istekler için ücret alınmaz. Fiyatlandırma sayfası bakiye yükleme miktarlarını ve bonusları içerir.
Kendi kendine barındırırken unutulacak maliyetler
Bir GPU'nun fiyatı bütçenin sadece ilk satırıdır. API'den kendi sunucularına geçen ekipler genellikle ikinci ve üçüncü satırlardan şaşırır.
- Bellek payı. Ağırlıklar, GPU belleği gerektiren tek şey değildir. KV önbelleği her eşzamanlı istek ve bağlam token'ı ile büyür; bu nedenle modeli rahatça yükleyen bir kart, uzun istemlerle 20 eşzamanlı kullanıcıda bile yer kalmamasıyla karşılaşabilir.
- Boşta kalma süresi. Gece ve hafta sonu saatleri zirve saatleriyle aynı maliyettir. Otomatik ölçeklendirme yardımcı olur, ancak bir GPU düğümünü başlatmak ve büyük ağırlıkları yüklemek saniyeler değil, dakikalar sürer.
- Yükseltmeler ve bozulmalar. Sunum motorları sık sık sürüm yayınlar. Bir sürücü güncellemesi veya yeni bir motor sürümü davranışı değiştirebilir ve birisi bunu üretim ortamında görmeden önce test etmelidir.
- Güvenlik ve kötüye kullanma yönetimi. Kendi dağıtımınızla birlikte filtreleme politikası, günlük kaydı ve kötüye kullanma yanıtı da sizin tasarımınız ve sorumluluğunuzdadır.
Bunların hiçbiri kendi kendine barındırmanın kötü bir fikir olduğu anlamına gelmez. Karşılaştırmaya yalnızca makinenin saatlik fiyatı değil, personel süresi de dahil edilmelidir.
Kendi verilerinizle yapabileceğiniz bir maliyet kontrolü
Karşılaştırmayı dürüst yapmak için gerçek iş yükünüzün fiyatını belirleyin. Diyelim ki bir uygulama bir ayda 100M giriş token'ı ve 20M çıkış token'ı kullanıyor.
- Giriş: 100 x $0,15 = $15.
- Çıkış: 20 x $0,50 = $10.
- Toplam: Ay için $25.
Şimdi alternatifinizin aylık maliyetini bunun yanına koyun: sunucu veya GPU kiralama, kendi donanımınızsa elektrik ve onu çalıştırmak için harcanan saatler. Donanım veya bulut GPU fiyatları sık sık değiştiği için güncel fiyatları kendiniz kontrol edin. Alternatifiniz, hacminizdeki API faturasından daha ucuzsa ve makineyi meşgul tutabiliyorsanız, kendi kendine barındırma para açısından kazanır. API faturası daha düşükse veya yükünüz dalgalıysa, barındırılan yol kazanır.
Ters durum da önemlidir. Hacmi 10 katına çıkardığınızda, aynı hesaplamalar ayda $250 verir ve seçtiğiniz bir modeli çalıştıran özel bir GPU daha iyi görünmeye başlayabilir, özellikle bu hizmetin sunmadığı bir modele ihtiyacınız varsa. Kullanımınız değiştiğinde hesaplamayı tekrar yapın.
Her iki tarafta da aynı istemci kodu
Bu kategorinin yararlı bir özelliği, vLLM, llama.cpp, Ollama ve çoğu barındırılan hizmetin OpenAI istek formatını sunmasıdır. Uygulama kodunuzun URL'nin arkasında hangisinin olduğunu bilmesi gerekmez. Yalnızca base URL, anahtar ve model adı değişir. Barındırılan uç nokta için istemci şudur:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a helpful writing assistant."},
{"role": "user", "content": "Give me three opening lines for a noir short story."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
Daha sonra kendi sunucunuza geçerseniz, temel URL'yi ve model adını düzenlersiniz ve geri kalanını olduğu gibi bırakırsınız. Bu, barındırılan tarafta başlamanızı, gerçek token hacimlerinizi ölçmenizi ve verilerle donanım hakkında karar vermenizi düşük riskli kılar. hızlı başlangıç akışı, araçları ve JSON modunu kapsar ve deneme anahtarı anahtar sayfasından mevcuttur.
Hangisini seçmelisiniz
- Bu hafta fikirleri denemek istiyorsunuz: barındırılan bir API kullanın veya yetkin bir bilgisayarınız varsa ve her şeyi yerelde tutmak istiyorsanız Ollama kullanın.
- Tam bir modele veya özel bir ince ayara ihtiyacınız varsa: kiralanan veya sahip olunan GPU'larda vLLM veya SGLang.
- NVIDIA donanımında platform ekibiyle ölçekli bir sabit model çalıştırıyorsunuz: TensorRT-LLM test etmeye değer.
- Çevrimdışı çalışma veya küçük bir iz alanı ihtiyacınız varsa: nicemlenmiş bir modelle llama.cpp.
- Az reddedilen ve donanım kurulumu gerektirmeyen bir metin modeline ihtiyacınız varsa: yukarıdaki limitler göz önünde bulundurularak buradaki barındırılan uç nokta.
Daha fazla kılavuz
Sorular ve cevaplar
vLLM, llama.cpp'den daha mı iyi?
Farklı kurulumları hedeflerler. vLLM, sunucu GPU'larında birçok kullanıcıya hizmet vermek için tasarlanmıştır; llama.cpp ise CPU'lar ve dizüstü bilgisayarlar dahil olmak üzere tek bir makinede nicetlenmiş modelleri çalıştırmak için tasarlanmıştır.
Bu çerçevelerle OpenAI SDK'sını kullanabilir miyim?
Genellikle evet. vLLM, llama.cpp'nin sunucusu ve Ollama OpenAI uyumlu uç noktalar sunar ve bu barındırılan API de öyle. Base URL'yi, anahtarı ve model adını değiştirirsiniz.
Kendi kendine barındırma, bir API'den ne zaman daha ucuz olur?
Donanım ve bakımın aylık maliyeti, token hacminizin API'deki maliyetinden düşükse ve donanımı meşgul tutabiliyorsanız. Kendi iş yükünüzü 1M token başına $0,15 ve $0,50 ile değerlendirerek bulun.
Barındırılan API bana model seçme imkanı tanıyor mu?
Hayır. uncensored ID'si altında tek bir modeli sunar. Belirli ağırlıklara ihtiyacınız varsa, bunları kendiniz çalıştırmanız gerekir.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve temel URL'yi değiştirin. Kurulum bu kadar.
API anahtarı al