TR ▾
API anahtarı al

LLM Inference APIKılavuz

LLM Çıkarımı Nedir? Tokenlar, Gecikme ve Maliyet

LLM çıkarımının ne olduğunu soruyorsanız, kısa cevap şudur: eğitilmiş bir dil modelinin isteminizi okuyup yanıtı tek tek tokenlar halinde yazdığı adımdır. Bu sayfa bunun nasıl çalıştığını ve maliyetini açıklar.

Güncelleme:

İşleme odasına giren ve çıkan tokenları temsil eden, LLM çıkarımını gösteren izometrik illüstrasyon

Temel noktalar

  1. Çıkarım, çıktı üretmek için bitmiş bir modeli çalıştırmaktır; eğitim, modeli oluşturan daha erken ve çok daha pahalı adımdır.
  2. Bir istek iki aşamalıdır: istemin okunması (prefill) ve cevabın tek tek tokenlar halinde yazılması (decoding).
  3. Maliyet ve hız token sayılarına bağlıdır; bu nedenle girdi uzunluğu, çıktı uzunluğu ve bağlam penceresi her şeyden daha önemlidir.
  4. Barındırılan bir API ile token başına ödeme yaparsınız ve GPU'lara gerek kalmadan işlemlerinizi yürütürsünüz; kendi donanımınızla ise makine meşgul veya boş olsun, makine için ödeme yaparsınız.

Bir paragrafta Çıkarım

Büyük dil modeli, ağırlıklar olarak adlandırılan sayılardan oluşan bir dosyadır. Eğitim, modele devasa miktarda metin göstererek bu sayıları ayarlayan süreçtir. Çıkarım, bitmiş ağırlıkları kullanarak bir yanıt aldığınızda gerçekleşen her şeydir. Bir modele gönderdiğiniz her sohbet mesajı, her otomatik tamamlama önerisi ve metin döndüren her API çağrısı bir çıkarım isteğidir.

Ayrım önemlidir çünkü bu iki işin ekonomisi farklıdır. Eğitim bir kez (veya birkaç kez) gerçekleşir ve büyük bir küme gerektirir. Çıkarım, biri istem gönderdiğinde her seferinde gerçekleşir; bu da kullanıcılarınızla ölçeklenen kısımdır. İnsanlar bir AI ürününün çalıştırma maliyetinden bahsettiğinde neredeyse her zaman çıkarım maliyetini kastederler.

Model bir cevabı "aramaz". Olası her sonraki token için bir olasılık hesaplar, birini seçer, metne ekler ve tekrar eder. Bu döngü tüm mekanizmadır ve sayfanın geri kalanı buna daha yakından bakar.

Bir istek sırasında ne olur

Tek bir sohbet isteğini kodunuzdan son karaktere kadar takip edin.

  1. Tokenizasyon. Metniniz tokenlara bölünür; tokenlar karakter parçalarıdır. Bir token genellikle kısa bir kelime veya daha uzun bir kelimenin bir parçasıdır. İngilizce için yaygın bir kural yaklaşık dört karakter başına bir token'dır, ancak dil ve kod gibi içeriklere göre değişir.
  2. Prefill. Model tüm istem tokenlarını tek bir geçişte işler. Bu paralel bir iştir ve modelin metni devam ettirmesi için gereken iç durumu oluşturur.
  3. Decoding. Model ilk çıktı tokenını, ardından ikincisini ve böyle devamını üretir. Her yeni token, öncekilerin hepsine bağlıdır; bu nedenle bu aşama sıralıdır. Çoğu istekteki yavaş kısımdır.
  4. Örnekleme. Her adımda model kelime dağarcığındaki her token için bir puha sahiptir. temperature ve top_p gibi ayarlar, bu puanlardan sonraki tokenın nasıl seçileceğini belirler. Düşük bir sıcaklık neredeyse her zaman en olası tokenı seçer; daha yüksek bir çeşitlilik sağlar.
  5. Durdurma. Üretme, model bir metin sonu tokenı yayınladığında, tanımladığınız bir stop dizisine ulaştığında veya token sınırına ulaştığında sona erer.

Prefill ve decoding donanımı farklı şekillerde zorlar. Prefill çoğunlukla ham işlem gücü ile sınırlıdır. Decoding çoğunlukla GPU'nun model ağırlıklarını bellekten ne kadar hızlı okuyabildiği ile sınırlıdır, çünkü her tek token bunlara dokunmalıdır. Bu nedenle uzun bir cevap, aynı boyuttaki uzun bir sorudan belirgin şekilde daha uzun sürer.

Tokenlar, bağlam penceresi ve KV önbelleği

Çıkarımdaki her şey tokenlarla ölçülür. İsteminiz, sistem mesajı, konuşmanın önceki dönüşleri ve yanıt hepsi sayılır. Bağlam penceresi modelin aynı anda tutabileceği maksimum token sayısıdır; istem ve tamamlama birlikte. Bu hizmette bağlam penceresi 100,000 token'dır ve tamamlama, istemin serbest bıraktığı her şeyi kullanabilir.

Her yeni token için tüm konuşmayı yeniden hesaplamaktan kaçınmak için çıkarım motorları bir KV önbelleği tutar: zaten işlenmiş tokenlar için ara anahtarlar ve değerler. Önbellek bağlamın uzunluğuyla büyür ve GPU belleği alır. Bu, uzun bağlamların sunumunun pahalı olmasının ana nedenidir ve bir sunucunun aynı anda sınırlı sayıda uzun isteği işleyebilmesinin nedenidir.

Siz bir geliştirici olarak pratik bir sonuç: Her dönüşte tam geçmişi yeniden gönderen bir sohbet, o geçmişi her seferinde tekrar öder. Bir konuşma 20,000 tokena ulaşırsa, her yeni mesaj bu 20,000 girdi tokenını beraberinde taşır. Eski dönüşleri kısaltmak veya özetlemek, sunucu tarafında değişiklik gerektirmeyen en ucuz hız ve maliyet optimizasyonudur.

Gecikme: İki sayının nedeni

İnsanlar genellikle bir modelin ne kadar hızlı olduğunu sorar, ancak iki ayrı ölçüm vardır.

  • İlk token süresi. Herhangi bir metin görünmeden önce ne kadar beklediğiniz. Ağ süresi, sunucudaki kuyruk ve prefill'i içerir. Uzun istemler bunu artırır.
  • Üretme hızı. İlk token'dan sonra tokenların ne kadar hızlı geldiği. Model boyutu, donanım ve aynı GPU'nun o anda hizmet verdiği diğer istek sayısına bağlıdır.

Akış, bu bölünme nedeniyle vardır. stream: true ile sunucu tokenları üretildikçe gönderir, böylece kullanıcı tam cevabı beklemek yerine ilk tokenın ardından okumaya başlar. Toplam süre aynıdır ancak arayüz çok daha hızlı hissettirir. Sohbet, rol yapma ve yazma araçları için akış neredeyse her zaman doğru varsayılandır.

Eşzamanlılığı planlarken hatırlamanız gereken bir ayrıntı: Akışlı bir istek, ilk token gelmeden önce değil, akış bitene kadar slotunu tutar. Anahtarınız 8 eşzamanlı isteğe izin veriyorsa, havada olan sekiz uzun akım, dokuzuncunun beklemesi veya 429 yanıtı alması anlamına gelir.

Çıkarımın maliyeti, gerçek sayılarla

Barındırılan çıkarım token başına faturalandırılır; çıktı tokenları daha fazla iş gerektirdiğinden girdi ve çıktı için ayrı fiyatlar vardır. Bu hizmet, ön ödemeli kredi ile, abonelik olmadan 1M girdi tokenı başına $0.15 ve 1M çıktı tokenı başına $0.50 ücretlendirir. İşte tipik birkaç istek için bunun nasıl işlediği.

İstekİstek tokenlarıÇıktı tokenlarıMaliyet
Kısa sohbet mesajı500300$0.000075 + $0.00015 = $0.000225
Geçmişli sohbet2,000500$0.0003 + $0.00025 = $0.00055
Uzun belge özeti30,0001,000$0.0045 + $0.0005 = $0.005
Tam 100,000 tokenlık istem, kısa yanıt100,000500$0.015 + $0.00025 = $0.01525

Matematik basittir: Token sayısını bir milyona bölün ve fiyatla çarpın. Geçmişli sohbet satırı için, 2,000 / 1,000,000 x $0.15 = $0.0003 ve 500 / 1,000,000 x $0.50 = $0.00025, bu da $0.00055'e ulaşır. Bunun gibi bin istek $0.55'e mal olur.

Bütçeleme yaparken yardımcı olan iki faturalandırma detayı vardır. Başarısız veya reddedilen istekler için ücret alınmaz ve kredi süresi dolmaz, bu nedenle bakiye yüklemek azalan bir saat değildir. Her yanıt, kodunuzun ayrı bir çağrı yapmadan kalan bakiyeyi izlemesini sağlayan X-Balance-USD başlığını taşır.

Barındırılan çıkarım veya kendi GPU'nuz

Çıkarım elde etmenin iki yolu vardır. GPU kiralayabilir veya satın alabilir, bir sunucu motoru kurabilir ve modeli kendiniz çalıştırabilirsiniz. Veya bir API'yi arayabilir ve donanımı başkalarının işletmesini sağlayabilirsiniz.

Kendiniz çalıştırmak size model dosyaları, ayarlar ve veri yolu üzerinde tam kontrol sağlar. Fiyat operasyonel iştir: ağırlıklar ve KV önbelleği ile uyumlu donanım seçmek, sürücüleri ve motorları güncel tutmak, trafik artışlarını yönetmek ve sessiz saatler boyunca makine için ödemektir. Barındırılan bir API bunu token başına bir faturaya dönüştürür. Trafiğiniz düzensizse veya bir fikri hala test ediyorsanız bu genellikle daha hızlı bir yoldur.

Burada anlatılan hizmet, barındırılan, OpenAI uyumlu, yalnızca metin API'sidir. Bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin kullanım için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modeli çalıştırır. Herhangi bir model satıcısının resmi API'si değildir; görsel, ses veya video üretmez, gömme oluşturmaz veya modelleri ince ayar yapmaz. Bunlardan herhangi birine ihtiyacınız varsa, farklı bir araca ihtiyacınız vardır. Az sayıda reddedilme ile düz metin üretme ihtiyacınız varsa, hızlı başlangıç kurulumu gösterir ve fiyatlandırma sayfası bakiye yükleme seçeneklerini listeler.

Kendi çıkarım çağrınızı deneyin

Kavramı somutlaştırmanın en hızlı yolu bir istek göndermek ve döndürülen sayıları okumaktır. bir anahtar oluşturma sonrası, bu curl komutu uç noktaya bir sohbet tamamlama isteği gönderir:

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
    "max_tokens": 120
  }'

JSON yanıtı, usage nesnesi ile prompt_tokens, completion_tokens ve total_tokens içerir. Bunları yukarıdaki fiyatlarla çarpın ve çağrının kesin maliyetini elde edin. OpenAI SDK ile Python'da aynı şey:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
    max_tokens=120,
)

u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Yeni kullanıcılar, kayıt olduktan sonra anahtar sayfasında tek tıkla $0.50 deneme kredisi talep edebilir. Kart gerektirmez, 7 gün sürer ve yukarıdaki fiyatlarla yaklaşık iki bin kısa sohbet mesajını karşılar. Bir şey tanımadığınız bir hata döndürürse, sorun giderme makalesi yaygın nedenleri listeler.

Sorular ve cevaplar

Çıkarım, model çalıştırmakla aynı şey mi?

Evet. Eğitilmiş bir modeli yeni girdi üzerinde çalıştırıp çıktı üretmek çıkarımdır. Ağırlıkları ayarlayan eğitim ise farklı ve daha erken bir adımdır.

Neden çıktı, girdiden daha pahalı?

Girdi tokenları paralel bir işlemde birlikte işlenirken, çıktı tokenları tek tek üretilir. Sağlayıcılar daha yavaş olan sıralı kısmı daha yüksek fiyattan fiyatlandırır ve bu hizmet 1M token başına $0.15 yerine $0.50 ücretlendirme yapar.

Daha uzun bir bağlam penceresi istekleri yavaşlatır mı?

Genellikle evet. Daha uzun bir istek, daha fazla ön işleme ve daha büyük bir KV önbelleği anlamına gelir, bu nedenle ilk token süresi artar. Sadece gerçekten gönderdiğiniz ve aldığınız tokenlar için ödeme yaparsınız, 100.000 token penceresinin kullanılmayan kısmı için değil.

Bir çıkarım API'si kullanmak için bir GPU'ya ihtiyacım var mı?

Hayır. Sağlayıcı donanımı çalıştırır. Herhangi bir makineden, bir dizüstü bilgisayardan veya küçük bir sunucudan HTTPS istekleri gönderirsiniz.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar.

API anahtarı al