LLM Inference APIPanduan
LLM Inference API: Streaming, Alat, dan Mode JSON
API inferensi LLM memungkinkan Anda mengirim prompt melalui HTTPS dan mendapatkan teks yang dihasilkan kembali, tanpa GPU di sisi Anda. Halaman ini menunjukkan pengaturan yang berfungsi terhadap endpoint yang kompatibel OpenAI, mulai dari permintaan pertama hingga streaming, alat, mode JSON, dan batas laju.
Diperbarui:

Poin utama
- Arahkan SDK OpenAI apa pun ke https://api.llminferenceapi.com/v1, gunakan ID model uncensored, dan kirimkan kunci Anda sebagai token Bearer.
- Dua endpoint tersedia: POST /v1/chat/completions dan GET /v1/models.
- Streaming, pemanggilan alat, dan mode JSON bekerja melalui bidang permintaan standar.
- Kunci penuh memungkinkan 8 permintaan konkuren dan 300 per menit; respons 429 memberi tahu Anda batas mana yang Anda capai.
Yang Anda butuhkan sebelum panggilan pertama
Anda memerlukan tiga hal: URL dasar, kunci, dan nama model. URL dasarnya adalah https://api.llminferenceapi.com/v1, ID modelnya adalah uncensored, dan kunci diperoleh dari halaman kunci API setelah Anda masuk dengan Google atau dengan email dan kata sandi. Pengguna baru dapat mengklaim kredit uji coba senilai $0,50 di sana dengan satu klik. Tidak memerlukan kartu, berlaku selama 7 hari, dan dibatasi satu per orang.
Layanan ini hanya teks. Layanan ini menyediakan endpoint POST /v1/chat/completions dan GET /v1/models. Tidak ada rute embeddings, tidak ada pembuatan gambar atau audio, dan tidak ada fine-tuning. Layanan ini menjalankan satu model bobot terbuka, dioperasikan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun. Satu aturan keras berlaku: konten yang menyeksualisasi anak di bawah umur tidak diperbolehkan.
Simpan kunci dalam variabel lingkungan, bukan dalam kode sumber. Contoh di bawah ini membacanya dari API_KEY di mana bahasa mengizinkannya.
Permintaan pertama Anda
Mulailah dengan curl, karena itu menunjukkan apa yang sebenarnya dikirim melalui jaringan.
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "List three uses of a message queue."}
],
"temperature": 0.7
}'
Balasan adalah objek penyelesaian obrolan biasa: choices[0].message.content berisi teks dan usage berisi jumlah token. Anda juga dapat mencantumkan model dengan GET /v1/models, yang merupakan cara cepat untuk mengonfirmasi bahwa kunci dan URL benar sebelum Anda melakukan debug apa pun.
Di Python dengan SDK OpenAI resmi, hanya konstruktor yang berubah:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List three uses of a message queue."}],
)
print(resp.choices[0].message.content)
Dan di Node:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llminferenceapi.com/v1",
apiKey: process.env.API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "List three uses of a message queue." }],
});
console.log(resp.choices[0].message.content);
Penyelesaian mungkin menggunakan sisa jendela 100.000 token setelah prompt Anda, sehingga max_tokens bersifat opsional. Tetapkan saja ketika Anda ingin batas keras pada biaya atau panjang. Kontrol sampling seperti temperature, top_p, stop, seed dan penalti frekuensi serta kehadiran diteruskan.
Dua pengaturan layak diketahui sejak awal. seed membuat sampling dapat diulang cukup untuk pengujian, yang membantu ketika Anda membandingkan dua versi prompt dan ingin perbedaan berasal dari prompt, bukan dari keberuntungan. stop mengambil satu atau lebih string yang mengakhiri generasi segera setelah model menulisnya, cara murah untuk memotong balasan pada pemisah dan menghindari membayar token yang akan Anda buang.
Respons streaming
Dengan stream: true server menjawab melalui server-sent events dan mengirim teks dalam delta kecil. Pengguna melihat kata-kata pertama dengan cepat, yang penting dalam antarmuka obrolan. Angka penggunaan tiba di akhir aliran.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a lighthouse."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
Dua poin mudah terlewatkan. Pertama, chunk terakhir dapat membawa penggunaan dan daftar choices kosong, jadi periksa bahwa choices tidak kosong sebelum mengindeksnya. Kedua, permintaan yang di-stream memegang slot konkurensinya hingga stream berakhir. Jika klien membuka stream dan tidak pernah membacanya hingga akhir, slot itu tetap sibuk dan permintaan Anda berikutnya dapat mencapai kesalahan concurrency. Selalu tutup atau konsumsi stream sepenuhnya.
Pemanggilan alat
Pemanggilan alat memungkinkan model meminta kode Anda menjalankan fungsi dan menggunakan hasilnya. Anda mendeskripsikan fungsi dalam tools, opsional mengarahkan pilihan dengan tool_choice, eksekusi apa pun yang diminta model, dan kirimkan output kembali sebagai pesan dengan role: "tool".
import json
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its id.",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1043?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
Selalu uraikan function.arguments secara defensif. Itu adalah string JSON yang dihasilkan oleh model bahasa, dan pada kasus langka dapat rusak atau berisi bidang yang tidak Anda definisikan. Validasi sebelum Anda bertindak, terutama ketika fungsi mengubah data. Panggilan alat juga berfungsi dengan streaming, dalam hal ini tool_calls tiba sebagai fragmen yang harus Anda gabungkan berdasarkan indeks sebelum penguraian.
Mengelola riwayat percakapan
API ini tanpa keadaan. API ini tidak mengingat permintaan sebelumnya, sehingga obrolan multi-gilir hanya berfungsi karena kode Anda mengirim giliran sebelumnya lagi setiap kali. Simpan daftar pesan, tambahkan pesan baru pengguna, panggil endpoint, lalu tambahkan balasan asisten sebelum giliran berikutnya.
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=history)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a ghost story."))
print(chat("Make it set on a ferry."))
Karena setiap giliran mengirim ulang riwayat, token input tumbuh dengan panjang obrolan. Jendela memegang 100.000 token, yang cukup untuk sebagian besar percakapan, tetapi biaya meningkat jauh sebelum Anda mencapai batas. Pola umum adalah menyimpan pesan sistem dan beberapa giliran terakhir, dan mengganti giliran lama dengan ringkasan singkat yang ditulis oleh model itu sendiri. Baca usage.prompt_tokens setelah setiap panggilan untuk melihat seberapa besar riwayat telah menjadi.
Mode JSON
Ketika Anda membutuhkan output yang dapat dibaca mesin, atur response_format ke {"type": "json_object"} dan katakan dalam prompt bahwa Anda menginginkan JSON. Mendeskripsikan kunci yang Anda harapkan membuat hasil jauh lebih stabil.
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON only, using the keys title, tags and summary."},
{"role": "user", "content": "Describe a short story about a lost robot."},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
Mode JSON membuat output dapat di-parse sebagai JSON, tetapi tidak memaksakan skema Anda. Periksa kunci dalam kode, dan simpan cadangan untuk kasus di mana nilai hilang. Jika balasan terpotong karena mencapai batas token, JSON akan tidak lengkap, jadi jangan atur max_tokens terlalu rendah untuk output terstruktur.
Daftar periksa singkat saat sesuatu gagal
Kebanyakan masalah hari pertama berasal dari sejumlah penyebab, dan Anda dapat menyingkirkan mereka secara berurutan.
- Base URL. Harus berakhir dengan
/v1. SDK menambahkan/chat/completionssendiri, sehingga URL dengan jalur yang sudah termasuk tidak akan berfungsi. - Header kunci. Kunci masuk ke
Authorization: Bearerdiikuti oleh kunci. Spasi atau baris baru yang dicopy bersama kunci adalah penyebab umum kesalahan autentikasi. - ID Model. Gunakan
uncensoredsecara tepat. Nama model vendor lain tidak valid di sini. - Ukuran permintaan. Batas tubuh adalah 8 MB, dan prompt plus penyelesaian harus muat dalam 100.000 token.
- Saldo. Lihat header
X-Balance-USDpada respons apa pun untuk melihat apakah saldo adalah masalahnya. - Kutip ID permintaan. Jika Anda menghubungi dukungan, sertakan nilai
X-Request-Iddari respons yang gagal sehingga permintaan dapat ditemukan.
Perhatikan bahwa penolakan bukan sama dengan kesalahan. Karena model disesuaikan untuk menghindari penolakan konten untuk penggunaan dewasa yang sah, Anda akan melihat lebih sedikit daripada layanan yang disensor, tetapi model masih dapat menolak atau memberikan jawaban lemah untuk prompt yang kabur. Pesan sistem yang lebih jelas biasanya memperbaiki itu lebih baik daripada suhu yang lebih tinggi.
Batas, header, dan percobaan ulang
Kunci penuh memungkinkan 8 permintaan konkuren dan 300 permintaan per menit. Kunci trial memungkinkan 2 permintaan konkuren dan 60 per menit. Tubuh permintaan dapat hingga 8 MB. Setiap respons membawa X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency, yang berguna untuk logging dan untuk menampilkan saldo di layar admin.
Ketika Anda melebihi batas, API mengembalikan HTTP 429. Kode kesalahan rate_limited berarti terlalu banyak permintaan per menit, dan concurrency berarti terlalu banyak sekaligus. Pada kelebihan beban sementara Anda juga mendapatkan 429, dengan header Retry-After: 5. Pembungkus retry sederhana mencakup ketiganya:
import time
from openai import RateLimitError
def ask(messages, tries=4):
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = 5 if attempt == 0 else 5 * (attempt + 1)
retry_after = getattr(e.response, "headers", {}).get("retry-after")
time.sleep(int(retry_after) if retry_after else wait)
raise RuntimeError("still rate limited after retries")
Untuk kumpulan pekerja, batasi ukuran kumpulan pada batas konkurensi Anda, bukan mengandalkan percobaan ulang. Delapan pekerja pada kunci penuh jarang melihat kesalahan concurrency. Jika Anda mengalami kesalahan tak terduga, artikel pemecahan masalah membahas penyebab umum.
Membayarnya
Penagihan adalah bayar sesuai penggunaan dari saldo prabayar: $0,15 per 1M token input dan $0,50 per 1M token output, tanpa langganan. Permintaan yang gagal atau ditolak tidak dibebankan, dan saldo tidak pernah kedaluwarsa. Permintaan dengan 1.500 token input dan 400 token output biaya 1.500 / 1.000.000 x $0,15 + 400 / 1.000.000 x $0,50 = $0,000225 + $0,0002 = $0,000425.
Isi saldo adalah jumlah bulat dari $20 hingga $500, dengan bonus 5% dari $50, 10% dari $100, dan 15% dari $200. Anda dapat membayar dengan kripto (USDT di TRC20, USDC di Base). Prompt tidak digunakan untuk pelatihan. Halaman harga mencantumkan detailnya, dan quickstart mengulangi langkah-langkah penyiapan dalam bentuk singkat.
Panduan lainnya
Tanya jawab
Bisakah Anda menggunakan pustaka resmi OpenAI dengan API ini?
Ya. Instal SDK OpenAI untuk Python atau Node, atur Base URL ke https://api.llminferenceapi.com/v1, masukkan kunci Anda, dan gunakan ID model uncensored.
Apakah API mendukung pemanggilan fungsi?
Ya. Teruskan alat dan opsional tool_choice, lalu kembalikan setiap hasil sebagai pesan dengan role tool. tool_calls yang di-stream juga didukung.
Apa arti error 429 di sini?
Anda terkena batas. Kode rate_limited berarti terlalu banyak permintaan per menit, concurrency berarti terlalu banyak secara bersamaan, dan header Retry-After: 5 menandakan kelebihan beban sementara. Tunggu dan coba lagi.
Bisakah Anda menggunakannya untuk embedding atau gambar?
Tidak. API ini hanya teks dan menawarkan penyelesaian obrolan serta daftar model.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja untuk pengaturannya.
Dapatkan kunci API