LLM Inference APIKılavuz
En ucuz LLM Inference API: Gerçek Maliyeti Nasıl Değerlendirirsiniz
Token başına fiyat sadece hikayenin bir parçasıdır. Faturanızı belirleyen sayılarla çıkarım API'lerini nasıl karşılaştıracağınızı, örnek oranlarımızla birlikte burada açıklıyoruz.
Güncelleme:


Temel noktalar
- Herhangi bir OpenAI SDK'sını https://api.llminferenceapi.com/v1 adresine yönlendirin, model ID'si olarak uncensored'ı kullanın ve anahtarınızı Bearer token olarak gönderin.
- İki uç nokta mevcuttur: POST /v1/chat/completions ve GET /v1/models.
- Akış, fonksiyon çağırma ve JSON modu standart istek alanları üzerinden çalışır.
- Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir; 429 yanıtı hangi limite ulaştığınızı gösterir.
Milyon token başına fiyat sadece başlangıçtır
en ucuz llm çıkarım api, iş yükünüz için en düşük maliyete sahip olandır; bu her zaman fiyat sayfasındaki en düşük rakam değildir. İki sağlayıcı aynı başlangıç fiyatını listeleyebilir, ancak çıkış tokenları, uzun istemler, başarısız çağrılar ve minimum bakiye yükleme maliyetlerini eklediğinizde faturalarınız çok farklı çıkabilir.
Seçim yapmadan önce dört parçalı bir kontrol yapın: girdi fiyatı, çıktı fiyatı, modelin uzun bağlamı nasıl işlediği ve peşin ödediğiniz miktar. Bu makale her birini adım adım açıklar, örnek olarak kendi fiyatlarımızı gösterir ve diğer sağlayıcıların sayılarını size bırakır. Mevcut fiyatlandırmalarını kontrol edin ve sayıları aynı formüllere yerleştirin.
Girdi ve çıktı tokenları
Neredeyse tüm LLM API'leri girdi ve çıktıyı ayrı ayrı faturalandırır ve çıktı genellikle daha pahalıdır. Oranlarımız 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir. Bu, çıktının girdi fiyatının üç katından biraz daha fazla olduğunu gösterir; bu nedenle trafik karışımınız sonucu değiştirir.
Karışık fiyat, girdi ve çıktı tokenlarının oranına göre nasıl değişir:
| Girdi : çıktı oranı | 1M toplam token için toplam maliyet | 1M başına ortalama |
|---|---|---|
| 1 : 1 | 0.5M x $0,15 + 0.5M x $0,50 = $0,325 | $0,325 |
| 3 : 1 | 0.75M x $0,15 + 0.25M x $0,50 = $0,2375 | $0,2375 |
| 10 : 1 | yaklaşık 0.909M x $0,15 + 0.091M x $0,50 = $0,1818 | yaklaşık $0,18 |
| 1 : 3 | 0.25M x $0,15 + 0.75M x $0,50 = $0,4125 | $0,4125 |
Özetleyici çok okur ve az yazar, bu nedenle 10:1 satırının yakınında yer alır. Bir hikaye oluşturucu kısa bir istemden çok yazar ve 1:3'ün yakınında yer alır. İki sağlayıcıyı karşılaştırırken kendi oranınız için her iki satırı da hesaplayın. Giriş için daha ucuz olan bir sağlayıcı, yoğun üretim iş yüklerinde dezavantajlı olabilir.
Bağlam uzunluğu faturayı değiştirir
Sohbet uygulamaları her turda tüm sohbet geçmişini yeniden gönderir. Bir sohbet 20 tura ulaşırsa, 20. tur önceki 19 değişimi girdi olarak taşır. Bu nedenle bir konuşmanın maliyeti, uzunluğundan daha hızlı artar.
Hesaplanmış bir örnek. Her tur 300 token kullanıcı metni ve 300 token yanıt ekler ve sistem istemi 500 token uzunluğundadır. n. turdaki girdi 500 + (n - 1) x 600 + 300 token şeklindedir. 20 tur için toplam 20 x 800 + 600 x 190 = 130.000 girdi tokenı ve 20 x 300 = 6.000 çıktı tokenı olur. Girdi maliyeti 130.000 x $0,15 / 1M = $0,0195 ve çıktı maliyeti 6.000 x $0,50 / 1M = $0,003'tür; bu nedenle tüm 20 turluk konuşma $0,0225 tutarındadır.
Kesin rakamdan ziyade şekil önemlidir: uzun sohbetlerde giriş baskındır. Ucuz giriş fiyatı sunan bir sağlayıcı, ucuz çıkış fiyatı sunan birinden burada size daha fazla yardımcı olur. Eski istekleri kısaltmak veya özetlemek en büyük maliyeti düşürür. Bağlam penceresimiz 100.000 token'dır (istem ve tamamlama metni birlikte); bu nedenle çok uzun belgeler sığar, ancak her gönderdiğinizde giriş token'ları olarak ücretlendirilirler.
Kontrol edilecek gizli maliyetler
- Minimum bakiye yükleme. Bizimkisi $20'dir, $500'a kadar herhangi bir tam miktarla. Düşük token başına fiyata sahip ancak yüksek minimum yükleme gerektiren bir sağlayıcı, küçük bir proje için daha pahalıya mal olabilir.
- Son kullanma tarihi. Süresi dolan kredi, harcamayabileceğiniz kredidir. Bizimkiler asla süresi dolmaz.
- Abonelikler. Aylık bir ücret, token başı ödeme hizmetini sabit bir maliyete dönüştürür. Bizim hizmetimiz ise kullandıkça ödemelidir.
- Başarısızlıklar için ücretler. Başarısız veya reddedilen istekler burada ücretlendirilmez. Karşılaştırdığınız herhangi bir sağlayıcıda bunu kontrol edin.
- Hız limitleri. Düşük istek tavanına sahip ucuz bir fiyat, ikinci bir hesap satın almaya veya iş akışınızı yavaşlatmaya zorlayabilir. Bu tam anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir.
- Ödeme ücretleri ve bonuslar. $50'den başlayan yüklemelerde %5, $100'den %10 ve $200'den %15 ek kredi ekliyoruz; bu nedenle $200'lik bir bakiye yükleme $230 değerinde kredi sağlar.
Hesaplanmış örneklerle oranlarımız
Aşağıdaki tüm rakamlar 1M girdi başına $0,15 ve 1M çıktı başına $0,50 kullanır.
| İş yükü | Tokenlar | Maliyet |
|---|---|---|
| Bir sohbet turu: 2.000 girdi, 500 çıktı | 2.500 | $0,0003 + $0,00025 = $0,00055 |
| 1.000 böyle tur | 2.5M | $0,55 |
| 10.000 makaleyi özetle: her biri için 3.000 girdi, 200 çıktı | 32M | $4,50 + $1,00 = $5,50 |
| 5.000 hikaye oluştur: her biri için 300 girdi, 1.500 çıktı | 9M | $0,225 + $3,75 = $3,975 |
Özetleyici satırını kontrol edin: 10.000 x 3.000 = 30M girdi tokenı ve 30 x $0,15 = $4,50. 10.000 x 200 = 2M çıktı tokenı ve 2 x $0,50 = $1,00. Toplam $5,50'dir. Hikaye satırı için: 5.000 x 300 = 1.5M girdi, bu $0,225'tir ve 5.000 x 1.500 = 7.5M çıktı, bu $3,75'tir. Toplam $3,975'tir.
fiyatlandırma sayfası oranları ve bonusları listeler ve kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz.
Gerçek maliyetinizi bir betikle ölçün
Tahminlere uzun süre güvenmeyin. 50 temsilî istem çalıştırın ve API'nin tokenları rapor etmesine izin verin. Aşağıdaki kod, usage alanından bir maliyet tahmini yazdırır.
from openai import OpenAI
client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50 # dollars per 1M tokens
def cost(u):
return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000
total = 0.0
for p in open("prompts.txt"):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p.strip()}],
)
total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))Ortalama değerini beklenen aylık istek sayınızla çarpın. Düşündüğünüz her sağlayıcı için bunu yapın ve bir örnek yanıt okuyarak kaliteyi döngüde tutun. Bir görev için iki deneme gerektiren daha ucuz bir model daha ucuz değildir.
Bir saatte bitirebileceğiniz beş adımlı karşılaştırma
- Gerçek istemlerin bir örneğinden, istek başına beklenen girdi ve çıktı tokenlarını yazın.
- Her sağlayıcının girdi ve çıktı fiyatlarıyla çarpın, istek başına ve aylık olarak.
- Sabit maliyetleri ekleyin: minimum bakiye yükleme, abonelik ve kullanmadan önce süresi dolacak herhangi bir kredi.
- Her modelde aynı 20 istemi çalıştırın ve yanıtları puanlayın, böylece token başına maliyet yerine iyi bir yanıt başına maliyeti karşılaştırın.
- Limitleri zirve trafiğinizle karşılaştırın. Aynı anda 8'den fazla istek gerekiyorsa, bunun yerine bir kuyruk kullanıp kullanamayacağınızı sorun.
Sonuç, sağlayıcı başına bir satır ve iş yükünüz için aylık bir rakam içeren bir tablodur. Bu tablo, başlıktaki sorunun gerçek cevabıdır ve bir sağlayıcı fiyatlarını değiştirene kadar geçerliliğini korur; bu nedenle birkaç ayda bir tekrar kontrol edin. Çerçeve karşılaştırması, kendi donanımınızda modeller de çalıştırıyorsanız yardımcı olur ve yaygın sohbet API hataları sayfası, aynı geçmişi iki kez yeniden göndermek gibi faturaları sessizce artıran hataları listeler.
Ucuz seçeneğin yapamadığı şeyler
Hangi sağlayıcıyı seçerseniz seçin, maliyeti dört şekilde azaltabilirsiniz. Kısa bir yanıtın yeterli olduğu yerlerde max_tokens değerini sınırlayın, çünkü çıktı daha pahalı taraftadır. Sistem istemini kısaltın ve modelin artık ihtiyaç duymadığı dönüşleri kaldırın. Sınıflandırma gibi basit işleri, sıkı çıktı formatlarına sahip kısa istemlere yönlendirin. Ve bir düzenlemeden sonra bir istem şablonunun boyutunun sessizce iki katına çıktığını fark etmek için özelliğe göre tokenları günlüğe kaydedin. Bu alışkanlıklar, birkaç kuruş için sağlayıcı değiştirmekten daha fazla tasarruf sağlar.
Bu hizmet yalnızca metin içindir. Gömme (embedding), görüntü veya ses üretimi ve ince ayar (fine-tuning) özelliği yoktur; bu nedenle bunlara ihtiyacınız varsa, bunlar için başka bir sağlayıcıya ödeme yapmanız gerekir. Bağımsız bir sağlayıcıdan bir açık ağırlıklı modeli çalıştırır; yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmıştır ve herhangi bir model satıcısının resmi API'si değildir. Reşit olmayanları içeren cinsel içerik asla kabul edilmez.
Sizin için en ucuz olup olmadığı, bu tek modelin göreviniz için yeterli olup olmadığına bağlıdır. Önce ücretsiz test edin: yeni kullanıcılar API anahtarı sayfası üzerinde tek tıkla $0,50 deneme kredisi alabilir, kart gerekmez. Ardından belgeleri okuyun. Temel kavramlara yeni başlıyorsanız, LLM çıkarımı nedir yukarıda kullanılan terimleri kapsar.
Daha fazla kılavuz
Sorular ve cevaplar
Bir sohbet mesajı ne kadar tutar?
2.000 giriş ve 500 çıktı tokenı içeren bir dönüş $0,00055 tutarındadır, bu nedenle 1.000 dönüş $0,55 tutarındadır.
Aylık bir ücret var mı?
Hayır. Ön ödemeli krediden kullandıkça öde sistemiyle çalışır ve kredi süresi dolmaz.
Başarısız istekler ücretlendirilir mi?
Hayır. Başarısız veya reddedilen istekler için ücret alınmaz.
En düşük fiyat her zaman en iyi teklif midir?
Hayır. Çıktı oranı, bağlam penceresi uzunluğu, minimum bakiye yükleme ve yanıt kalitesi gerçek maliyeti değiştirir.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.
API anahtarı al