TR ▾
API anahtarı al

LLM Inference APIKılavuz

LLM Inference API: Akış, Araçlar ve JSON Modu

Bir LLM çıkarım API'si size HTTPS üzerinden bir istek gönderme ve yanıt olarak metin alma imkanı tanır; tarafınızda GPU gerekmez. Bu sayfa, ilk istekten akışa, araçlara, JSON moduna ve hız limitlerine kadar OpenAI uyumlu bir uç noktaya yönelik çalışan bir kurulumu gösterir.

Güncelleme:

Bir çıkarım API çağrısını temsil eden, bir terminalden bulut kapısına akan veri paketlerinin izometrik illüstrasyonu

Temel noktalar

  1. Herhangi bir OpenAI SDK'sını https://api.llminferenceapi.com/v1 adresine yönlendirin, model ID'si olarak uncensored'ı kullanın ve anahtarınızı Bearer token olarak gönderin.
  2. İki uç nokta mevcuttur: POST /v1/chat/completions ve GET /v1/models.
  3. Akış, fonksiyon çağırma ve JSON modu standart istek alanları üzerinden çalışır.
  4. Tam bir anahtar dakikada 300 istek ve eşzamanlı 8 istek yapmanızı sağlar; 429 yanıtı hangi limite ulaştığınızı söyler.

İlk çağrıdan önce ihtiyacınız olanlar

Üç şeye ihtiyacınız var: bir base URL, bir anahtar ve bir model adı. Base URL https://api.llminferenceapi.com/v1 şeklindedir, model ID'si uncensored'dir ve anahtar, Google veya e-posta ve şifre ile giriş yaptıktan sonra API anahtarı sayfasından gelir. Yeni kullanıcılar tek tıkla orada 0,50 $ deneme kredisi talep edebilir. Kart gerektirmez, 7 gün sürer ve kişi başı bir kezle sınırlıdır.

Servis yalnızca metin içerir. POST /v1/chat/completions ve GET /v1/models uç noktalarını sunar. Embedding rotası, görüntü veya ses üretimi ve ince ayar (fine-tuning) yoktur. Bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin kullanım için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı model çalıştırır. Herhangi bir model satıcısının resmi API'si değildir. Tek bir katı kural geçerlidir: reşit olmayanların cinselleştirilmesini içeren içeriklere izin verilmez.

Anahtarı kaynak kodunda değil, bir ortam değişkeninde tutun. Aşağıdaki örnekler dilin izin verdiği yerde API_KEY'den okur.

İlk isteğiniz

curl ile başlayın, çünkü tam olarak ağ üzerinden giden verileri gösterir.

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "List three uses of a message queue."}
    ],
    "temperature": 0.7
  }'

Yanıt, normal sohbet tamamlama nesnesidir: choices[0].message.content metni içerir ve usage token sayılarını içerir. Modelleri GET /v1/models ile de listeleyebilirsiniz; bu, başka bir şeyi hata ayıklamadan önce anahtarın ve URL'nin doğru olup olmadığını doğrulamanın hızlı bir yoludur.

Resmi OpenAI SDK ile Python'da yalnızca kurucu değişir:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)

Ve Node.js'te:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llminferenceapi.com/v1",
  apiKey: process.env.API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);

Tamamlama, isteminizden sonra kalan 100.000 token penceresinin ne kadarı kaldıysa onu kullanabilir, bu nedenle max_tokens isteğe bağlıdır. Maliyet veya uzunluk için katı bir üst sınır istediğinizde yine de ayarlayın. temperature, top_p, stop, seed ve frekans ile var olma cezaları gibi örnekleme kontrolleri iletilir.

Başlangıçtan itibaren bilinmesi değerli iki ayar vardır. seed, örnekleme testler için yeterli ölçüde tekrarlanabilir hale gelir; bu, bir istemin iki sürümünü karşılaştırırken ve farkın istemden kaynaklanmasını istediğinizde yardımcı olur. stop, model bunları yazdığı anda üretimi durduran bir veya daha fazla dize alır; bu, bir yanıtı bir ayırıcıda kesmek ve atmanız gereken tokenlar için ödeme yapmamak için ucuz bir yoldur.

Akış yanıtları

stream: true ile sunucu, SSE üzerinden yanıt verir ve metni küçük parçalar halinde gönderir. Kullanıcılar ilk kelimeleri hızlı görür; bu sohbet arayüzleri için önemlidir. Kullanım verileri akışın sonunda ulaşır.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Gözden kaçırılması kolay iki nokta vardır. Birincisi, son parça kullanım verileri ve boş bir choices listesi taşıyabilir, bu nedenle indekslemeden önce choices'in boş olmadığını kontrol edin. İkincisi, akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar. Bir istemci bir akış açar ve sonuna kadar okumazsa, bu slot meşgul kalır ve sonraki istekleriniz bir concurrency hatasıyla karşılaşabilir. Akışları her zaman kapatın veya tamamen tüketin.

Araç çağırma

Fonksiyon çağırma, modelin kodunuzun bir fonksiyonu çalıştırmasını ve sonucu kullanmasını sağlar. Fonksiyonları tools içinde tanımlarsınız, seçimi isteğe bağlı olarak tool_choice ile yönlendirirsiniz, modelin istediği her şeyi çalıştırırsınız ve sonucu role: "tool" ile bir mesaj olarak geri gönderirsiniz.

import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its id.",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"order_id": args["order_id"], "status": "shipped"}
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": json.dumps(result),
        })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

function.arguments'i her zaman savunmacı bir şekilde ayrıştırın. Bir dil modeli tarafından üretilen bir JSON dizgesidir ve nadir durumlarda bozuk olabilir veya tanımlamadığınız bir alan içerebilir. Üzerinde işlem yapmadan önce doğrulayın, özellikle fonksiyon verileri değiştiriyorsa. Fonksiyon çağrıları akış ile de çalışır; bu durumda tool_calls, ayrıştırmadan önce indekslerine göre birleştirmeniz gereken parçalar halinde gelir.

Sohbet geçmişini yönetme

API durum bilgisi taşımaz. Önceki istekleri hatırlamaz, bu nedenle çoklu sohbet yalnızca kodunuz her seferinde önceki dönüşleri tekrar gönderdiği için çalışır. Bir mesaj listesi tutun, kullanıcının yeni mesajını ekleyin, uç noktayı çağırın, ardından bir sonraki dönüş için asistanın yanıtını ekleyin.

history = [{"role": "system", "content": "You are a patient writing coach."}]

def chat(user_text):
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=history)
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))

Her dönüş geçmişi yeniden gönderdiği için, girdi tokenları sohbetin uzunluğuyla birlikte artar. Pencere 100.000 token tutar; bu çoğu konuşma için yeterlidir, ancak limitlere ulaşmadan çok önce maliyet yükselir. Yaygın bir desen, sistem mesajını ve son birkaç dönüşü tutmak ve eski dönüşleri modelin kendisinin yazdığı kısa bir özetle değiştirmektir. Geçmişin ne kadar büyük olduğunu görmek için her çağrıdan sonra usage.prompt_tokens'i okuyun.

JSON modu

Makine tarafından okunabilir bir çıktıya ihtiyacınız olduğunda, response_format'i {"type": "json_object"} olarak ayarlayın ve istemde JSON istediğinizi belirtin. Beklediğiniz anahtarları açıklamak sonucu çok daha kararlı hale getirir.

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
        {"role": "user", "content": "Describe a short story about a lost robot."},
    ],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

JSON modu, çıktının JSON olarak ayrıştırılmasını sağlar ancak şemanızı zorlamaz. Anahtarları kodda kontrol edin ve bir değer eksikse bir yedek plan tutun. Yanıt, bir token limitine ulaştığı için kesilirse JSON eksik olacaktır, bu nedenle yapılandırılmış çıktı için max_tokens'i çok düşük ayarlamayın.

Bir şeyler ters gittiğinde kısa bir kontrol listesi

Çoğu ilk gün sorunu bir avuç nedenden kaynaklanır ve bunları sırayla elenerek dışlayabilirsiniz.

  1. Base URL. /v1 ile bitmelidir. SDK /chat/completions'i kendisi ekler, bu nedenle zaten yolu içeren bir URL çalışmaz.
  2. Anahtar başlığı. Anahtar, Authorization: Bearer ardından anahtar gelir. Anahtarla birlikte kopyalanan rastgele bir boşluk veya yeni satır, kimlik doğrulama hatalarının sık bir nedenidir.
  3. Model kimliği. uncensored'i tam olarak kullanın. Diğer sağlayıcıların model adları burada geçerli değildir.
  4. İstek boyutu. Gövde sınırı 8 MB'tır ve istem ile tamamlama 100.000 tokena sığmalıdır.
  5. Bakiye. Sorunun kredi olup olmadığını görmek için herhangi bir yanıtta X-Balance-USD başlığına bakın.
  6. İstek kimliğini tırnak içinde yazın. destek ile iletişime geçtiğinizde, isteğin bulunabilmesi için başarısız yanıtın X-Request-Id değerini dahil edin.

Bir reddiye (refusal) bir hata ile aynı olmadığını unutmayın. Model, yasal yetişkin kullanım için içerik reddini önlemeye ayarlandığı için, filtreli servislerdekilerden daha azını göreceksiniz, ancak model yine de belirsiz bir isteme karşı reddedebilir veya zayıf bir yanıt verebilir. Daha açık bir sistem mesajı, genellikle daha yüksek bir temperature'dan daha iyi düzeltir.

Limitler, başlıklar ve yeniden denemeler

Tam bir anahtar dakikada 300 istek ve eşzamanlı 8 istek yapmanızı sağlar. Bir deneme anahtarı eşzamanlı 2 istek ve dakikada 60 istek yapmanızı sağlar. İstek gövdesi 8 MB'a kadar olabilir. Her yanıt X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency taşır; bunlar günlük tutma ve bir yönetici ekranında bakiye gösterme için kullanışlıdır.

Bir limiti aştığınızda API HTTP 429 döndürür. rate_limited hata kodu dakikada çok fazla istek anlamına gelir ve concurrency aynı anda çok fazla istek anlamına gelir. Geçici aşırı yüklenmede ayrıca Retry-After: 5 başlığı ile 429 da alırsınız. Basit bir yeniden deneme sarmalayıcı üç durumu da kapsar:

import time
from openai import RateLimitError

def ask(messages, tries=4):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = 5 if attempt == 0 else 5 * (attempt + 1)
            retry_after = getattr(e.response, "headers", {}).get("retry-after")
            time.sleep(int(retry_after) if retry_after else wait)
    raise RuntimeError("still rate limited after retries")

Bir işçi havuzu için, yeniden denemelere güvenmek yerine havuz boyutunu eşzamanlılık limitinizle sınırlayın. Tam bir anahtar üzerinde sekiz işçi nadiren bir concurrency hatası görür. Beklenmeyen hatalara ulaşırsanız, hata ayıklama makalesi yaygın nedenları inceler.

Ödeme

Faturalandırma, ön ödemeli krediden pay-as-you-go'dur: 1M girdi token başı 0,15 $ ve 1M çıktı token başı 0,50 $, abonelik yoktur. Başarısız veya reddedilen istekler için ücret alınmaz ve kredi asla sona ermez. 1.500 girdi token ve 400 çıktı token içeren bir istek 1.500 / 1.000.000 x 0,15 $ + 400 / 1.000.000 x 0,50 $ = 0,000225 $ + 0,0002 $ = 0,000425 $'e mal olur.

Yüklemeler 20 $ ile 500 $ arasında herhangi bir tam miktardadır; 50 $'den itibaren %5 bonus, 100 $'den itibaren %10 ve 200 $'den itibaren %15 bonus vardır. Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz. İstemler eğitim için kullanılmaz. fiyatlandırma sayfası detayları listeler ve hızlı başlangıç kurulum adımlarını kısa biçimde tekrarlar.

Sorular ve cevaplar

Resmi OpenAI kütüphanesini bu API ile kullanabilir miyim?

Evet. Python veya Node için OpenAI SDK'sını yükleyin, base URL'yi https://api.llminferenceapi.com/v1, olarak ayarlayın, anahtarınızı geçin ve model ID'si olarak uncensored'ı kullanın.

API fonksiyon çağırma'yı destekliyor mu?

Evet. Araçları ve isteğe bağlı olarak tool_choice'u geçin, ardından her sonucu role: tool mesajı olarak döndürün. Akışlı tool_calls da desteklenir.

Burada 429 hatası ne anlama gelir?

Bir limite ulaştınız. rate_limited kodu, dakika başına çok fazla istek anlamına gelir; concurrency, aynı anda çok fazla istek anlamına gelir ve Retry-After: 5 başlığı geçici bir aşırı yüklenmeyi işaret eder. Bekleyin ve yeniden deneyin.

Embedding veya görüntü için kullanabilir miyim?

Hayır. API yalnızca metin içerir ve sohbet tamamlamaları ile bir model listesi sunar.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulumun tamamı bu kadar.

API anahtarı al