TR ▾
API anahtarı al

LLM Inference APIKılavuz

LLM API Aylık Maliyet: Dört Gerçekçi Senaryo

Dört aylık fatura, 1M giriş token başına $0,15 ve 1M çıkış token başına $0,50 üzerinden satır satır hesaplanmıştır; ayrıca kendi trafiğinizin fiyatını belirleyen bir betik içerir.

Güncelleme:

Her biri bir aylık maliyet senaryosunu temsil eden, içi parlayan küplerle doldurulmuş dört yükselen cam bar
Bir çıkarım API çağrısını temsil eden, bir terminalden bulut kapısına akan veri paketlerinin izometrik illüstrasyonu

Temel noktalar

  1. Herhangi bir OpenAI SDK'sını https://api.llminferenceapi.com/v1 adresine yönlendirin, model ID olarak uncensored'ı kullanın ve anahtarınızı Bearer token olarak gönderin.
  2. İki uç nokta mevcuttur: POST /v1/chat/completions ve GET /v1/models.
  3. Akış, fonksiyon çağırma ve JSON modu standart istek alanları üzerinden çalışır.
  4. Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek yapmanıza izin verir; 429 yanıtı hangi limite takıldığınızı gösterir.

Dört senaryoyu bir bakışta

aylık llm api maliyetini hesaplamaya çalışıyorsanız, tek bir ortalama yeterli değildir çünkü faturalar gönderdiğiniz istek sayısına ve uzunluklarına bağlıdır. Aşağıda, 1M giriş tokenı başına $0,15 ve 1M çıkış tokenı başına $0,50 fiyatlandırmasıyla dört gerçekçi senaryo verilmiştir. Her biri, kendi varsayımlarınızı yerleştirebilmeniz için varsayımlarını gösterir.

SenaryoAylık istek sayısıİstek başına tokenlar (giriş / çıkış)Aylık maliyet
Hobi sohbet botu6001,500 / 300$0.225
Discord topluluğu9,0003,000 / 400$5,85
1.000 kullanıcılı uygulama40,0002,500 / 500$25,00
Toplu iş hattı200,0001.200 / 250$61,00

Makalenin geri kalanı aritmetiği ve her sayıyı etkileyen faktörleri gösterir.

Senaryo 1: bir hobi botu

Günde yaklaşık 20 mesajı yanıtlayan kişisel bir bot çalıştırıyorsunuz; bu da aylık 600 mesaj eder. Her mesaj kısa bir sistem istemi ve bazı geçmiş veriler içerir; yaklaşık 1.500 giriş tokenı ve ortalama 300 tokenlık bir yanıt söz konusudur.

  • Girdi: 600 x 1.500 = 0.9M token, bu da 0.9 x $0,15 = $0,135 tutarındadır.
  • Çıkış: 600 x 300 = 0.18M token, bu da 0.18 x $0,50 = $0,09 tutarındadır.
  • Toplam: ayda $0,225.

Bu, minimum $20 bakiye yükleme işleminin diğer her şeyden daha uzun sürdüğü durumdur. Bu hızda kredi yedi yıldan fazla süreyi kapsayacaktır. Kredi hiç sona ermez, bu nedenle hobi projesi, süre saymadan bir bakiye yükleme üzerinde kalabilir.

Senaryo 2: bir Discord topluluk botu

Aktif bir sunucudaki bir bot günde 300 istek işler, yani aylık 9.000 istek işler. Bot son kanal bağlamını okur, bu nedenle her çağrı yaklaşık 3.000 giriş tokenı içerir ve bot yaklaşık 400 tokenlık yanıt verir.

  • Girdi: 9.000 x 3.000 = 27M token, yani 27 x $0,15 = $4,05.
  • Çıkış: 9.000 x 400 = 3.6M token, yani 3.6 x $0,50 = $1,80.
  • Toplam: ayda $5,85.

Giriş tarafına dikkat edin. Her çağrıda eklenen bağlamı iki katına çıkarmak, faturanın daha büyük kısmını iki katına çıkarırken yanıt uzunluğu neredeyse önemli değildir. Botlar, son yirmi mesaj yerine son altı mesajı göndererek tasarruf edebilir. Ayrıca hız limitlerini kontrol edin: tam anahtar aynı anda 8 istek ve dakikada 300 istek yapmanızı sağlar; bu yükün çok üzerindedir ancak yoğun bir sunucuda bir iş parçacığı hızlandığında ani artışlar (spike) yaşanabilir. İstekleri bot içinde sıraya alırsanız limitler içinde kalırsınız.

Senaryo 3: 1.000 kullanıcılı bir uygulama

Ayda 1.000 kullanıcının her birinin 40 istek gönderdiğini varsayalım, bu da 40.000 istek yapar. Bir istek 2.500 girdi token (sistem istemi ve geçmiş) içerir ve 500 token döndürür.

  • Girdi: 40.000 x 2.500 = 100M token, yani 100 x $0,15 = $15,00.
  • Çıkış: 40.000 x 500 = 20M token, yani 20 x $0,50 = $10,00.
  • Toplam: ayda $25,00, kullanıcı başına 2.5 sent.

Burada çıkış, tokenların yalnızca altıda biri olmasına rağmen faturanın %40'ını oluşturur çünkü token başına maliyeti üç katından fazladır. Kısa yanıtlar maliyet açısından verimli olur. 500 token yerine 250 tokenlık yanıtlar isterseniz, çıkış satırı $5,00'a düşer ve toplam $20,00'a iner. $20'lik bir bakiye yükleme bu uygulamayı bir ay için karşılar; +%10 bonus ile birlikte $110 kredi sağlayan $100'lik bir bakiye yükleme ise yaklaşık beş ayı karşılar.

Senaryo 4: bir toplu iş hattı

Toplu işler belge sayısına göre ölçeklenir. Ayda 200.000 öğeyi etiketlediğinizi veya yeniden yazdığınızı varsayalım; her biri 1.200 girdi token ve 250 token sonuç içerir.

  • Girdi: 200.000 x 1.200 = 240M token, yani 240 x $0,15 = $36,00.
  • Çıkış: 200.000 x 250 = 50M token, yani 50 x $0,50 = $25,00.
  • Toplam: ayda $61,00.

Toplu işler için önemli olan limit fiyat değil, işleyiş kapasitesidir. 8 eşzamanlı istekle iş süresi, istek sayısının 8'e bölünmesi ve ortalama istek süresiyle çarpılmasıyla bulunur. Programlamayı yapmadan önce kendi gecikme süreniz için aritmetiği çalıştırın ve concurrency hatasını tetiklememek için işçi havuzunuzu 8 veya daha azda tutun. Başarısız istekler ücretlendirilmez, bu nedenle yeniden denemeler ek maliyet yaratmaz.

Kendi ayınızı tahmin edin

Formül kısadır: aylık maliyet = istekler x (girdi tokenlar x $0,15 + çıktı tokenlar x $0,50) / 1.000.000. Bu betik bunu yapar ve ayrıca önce bir örnek çalıştırırsanız gerçek token sayılarını da okur.

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

def monthly(requests, tokens_in, tokens_out):
    return requests * (tokens_in * 0.15 + tokens_out * 0.50) / 1_000_000

print(monthly(40_000, 2_500, 500))   # 25.0

# sample 20 real prompts, then use the measured averages
ins, outs = [], []
for p in open("prompts.txt").read().splitlines()[:20]:
    r = client.chat.completions.create(
        model="uncensored", messages=[{"role": "user", "content": p}])
    ins.append(r.usage.prompt_tokens)
    outs.append(r.usage.completion_tokens)
print(monthly(10_000, sum(ins) / len(ins), sum(outs) / len(outs)))

Örnek çalıştırma bir santimin çok küçük bir kısmına mal olur. Yeni kullanıcılar API anahtarı sayfasından ücretsiz deneme kredisi olarak $0,50 talep edebilir ve hiçbir şey ödemeden çalıştırabilir; fiyatlama sayfası ise oranları ve bakiye yükleme bonuslarını gösterir.

Faturayı en çok etkileyen faktörler

Dört senaryonun tümünde toplamı etkileyen aynı faktörler vardır:

  1. Bağlam boyutu. Geçmiş ve yapıştırılan belgeler girdi maliyetini artırır. Bunları kısaltın.
  2. Çıkış uzunluğu. Çıkış, 1M başına $0.50 tutarındadır; bu nedenle ihtiyacınız olan uzunluğu isteyin ve gerektiğinde max_tokens ayarını yapın.
  3. Yeniden denemeler ve döngüler. Çağrıları tekrarlayan bir hata, bir aylık maliyeti bir saat içinde katlayabilir. Yeniden denemeleri sınırlandırın.
  4. Trafik artışı. Maliyet isteklerle doğru orantılı olarak artar. Kullanıcıları iki katına çıkarırsanız faturayı da iki katına çıkarırsınız.

Bütçe planlama

Senaryolardan projenize en yakını seçin ve ilk ay için gerçek trafiğin bir elektronik tablo kadar düzgün olmadığından emin olmak amacıyla bir güvenlik çarpanı olan iki ile çarpın. Ardından düşük bakiye uyarısı ayarlayın. Her yanıt, X-Balance-USD başlığını taşır; bu sayede uygulamanız kredi seçtiğiniz bir sayının altına düştüğünde size e-posta gönderebilir ve hiçbir şey durmadan önce bakiye yükleyebilirsiniz. Trafiğiniz on katına çıkarsa fatura da on katına çıkar: 10x Discord botu $58.50'a mal olur ve 10.000 kullanıcıya sahip uygulama $250.00'a mal olur. Hiçbir şey basamaklar halinde artmadığı için aşılacak fiyatlandırma kademeleri yoktur.

Finansman

Abonelik olmadan ön ödemeli krediden ödeme yaparsınız; bu nedenle sessiz bir ay neredeyse hiçbir maliyet gerektirmez. Bakiye yükleme işlemleri $20 ile $500 arasında değişir; kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile yapılabilir. $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 bonus sağlanır.

Bu tahminlerin sınırları

Senaryoların göz ardı ettiği iki konu vardır. Birincisi, senaryolar sürekli kullanımı varsayar; ancak gerçek ürünler lansman günü veya viral bir gönderi gibi zirve noktaları içerir ve bir zirve günü bir haftalık bütçeyi tüketebilir. İkincisi, senaryolar istemlerin aynı boyutta kalacağını varsayar. Ürün değişiklikleri genellikle sistem istemini büyütür ve bir çağrıya eklenen 500 tokenlık bir artış, aylık 40.000 kez çağrıldığında 20M giriş tokenı veya $3,00 ekler. Her istem değişikliğinden sonra yeniden ölçüm yapın.

Bunlar hesaplamalardır, kullanımınızla ilgili vaatler değildir. Gerçek istemler değişir ve token sayılarınız gönderdiğiniz dil ve içeriğe bağlıdır. Bu metin tabanlı bir API olduğundan, gömme (embedding), görüntü veya ses maliyetleri bu rakamların dışında kalır. Hizmet, yasal yetişkin kullanım için içerik reddi olmadan yanıt verecek şekilde ayarlanmış bağımsız bir sağlayıcıdan açık ağırlıklı bir model çalıştırır.

Burada kullanılan terimlerin tanımları için LLM çıkarımının ne olduğu sayfasına bakın. Faturaları sessizce artıran hatalar ortak AI sohbet API hataları altında listelenmiştir. dokümantasyon istek formatını kapsar.

Sorular ve cevaplar

Küçük bir botun aylık maliyeti nedir?

Ayda 600 mesaj, 1.500 giriş ve 300 çıkış token ile bir botun maliyeti $0.225'tir.

Token maliyetlerinin üzerinde bir aylık ücret var mı?

Hayır. Ön ödemeli krediden token başına ödeme yaparsınız ve kredi süresi dolmaz.

En küçük bakiye yükleme miktarı nedir?

$20'den $500'a kadar herhangi bir tam tutar. %5, %10 ve %15 bonuslar $50, $100 ve $200'den itibaren geçerlidir.

Başarısız istekler herhangi bir ücret getirir mi?

Hayır. Başarısız veya reddedilen istekler için ücret alınmaz.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al