ID ▾
Dapatkan kunci API

LLM Inference APIPanduan

Apa Itu LLM Inference? Token, Latensi, dan Biaya

Jika Anda bertanya tentang inferensi LLM, versi singkatnya adalah: ini adalah langkah di mana model bahasa yang telah dilatih membaca prompt Anda dan menulis balasan, satu token pada satu waktu. Halaman ini menjelaskan bagaimana hal itu bekerja dan berapa biayanya.

Diperbarui:

Ilustrasi isometrik token yang mengalir masuk dan keluar dari ruang pemrosesan, mewakili inferensi LLM

Poin utama

  1. Inferensi adalah menjalankan model yang sudah selesai untuk menghasilkan output; pelatihan adalah langkah sebelumnya yang jauh lebih mahal yang menciptakan model tersebut.
  2. Sebuah permintaan memiliki dua fase: membaca prompt (prefill) dan menulis jawaban token demi token (decoding).
  3. Biaya dan kecepatan keduanya mengikuti jumlah token, sehingga panjang input, panjang output, dan jendela konteks lebih penting daripada hal lain apa pun.
  4. Dengan API yang dihosting, Anda membayar per token dan melewatkan GPU; dengan perangkat keras Anda sendiri, Anda membayar mesin apakah sibuk atau tidak.

Inferensi dalam satu paragraf

Model bahasa besar adalah file berisi angka, yang disebut bobot. Pelatihan adalah proses yang menetapkan angka-angka itu dengan menunjukkan jumlah teks yang sangat besar kepada model. Inference adalah segala sesuatu yang terjadi setelahnya, ketika Anda menggunakan bobot yang sudah selesai untuk mendapatkan jawaban. Setiap pesan obrolan yang Anda kirim ke model, setiap saran autocomplete, dan setiap panggilan API yang mengembalikan teks adalah permintaan inference.

Pembedaan ini penting karena dua pekerjaan ini memiliki ekonomi yang berbeda. Pelatihan terjadi sekali (atau beberapa kali) dan membutuhkan klaster besar. Inference terjadi setiap kali seseorang mengirim prompt, sehingga itu adalah bagian yang diskalakan sesuai dengan pengguna Anda. Ketika orang berbicara tentang biaya menjalankan produk AI, mereka hampir selalu berarti biaya inference.

Model tidak "mencari" jawaban. Model menghitung probabilitas untuk setiap token berikutnya yang mungkin, memilih satu, menambahkannya ke teks, dan mengulangi. Loop itu adalah mekanisme utuhnya, dan sisa halaman ini adalah tinjauan lebih dekat tentang hal itu.

Apa yang terjadi selama satu permintaan

Ambil satu permintaan obrolan dan ikuti dari kode Anda hingga karakter terakhir.

  1. Tokenisasi. Teks Anda dipisahkan menjadi token, yang merupakan potongan karakter. Token sering berupa kata pendek atau bagian dari kata yang lebih panjang. Aturan praktis yang umum untuk bahasa Inggris adalah sekitar empat karakter per token, tetapi ini bervariasi tergantung bahasa dan konten seperti kode.
  2. Prefill. Model memproses semua token prompt dalam satu langkah. Ini adalah pekerjaan paralel dan membangun keadaan internal yang dibutuhkan model untuk melanjutkan teks.
  3. Decoding. Model menghasilkan token output pertama, lalu yang kedua, dan seterusnya. Setiap token baru bergantung pada semua token sebelumnya, sehingga fase ini bersifat berurutan. Ini adalah bagian yang lambat dari sebagian besar permintaan.
  4. Sampling. Pada setiap langkah, model memiliki skor untuk setiap token dalam kosakatanya. Pengaturan seperti temperature dan top_p menentukan bagaimana token berikutnya dipilih dari skor tersebut. Suhu rendah memilih token yang paling mungkin hampir setiap saat; suhu yang lebih tinggi memungkinkan lebih banyak variasi.
  5. Penghentian. Pembuatan berakhir ketika model mengeluarkan token akhir teks, ketika mencapai urutan stop yang Anda tentukan, atau ketika mencapai batas token.

Prefill dan decoding membebani perangkat keras dengan cara yang berbeda. Prefill terutama dibatasi oleh komputasi mentah. Decoding terutama dibatasi oleh seberapa cepat GPU dapat membaca bobot model dari memori, karena setiap token tunggal perlu menyentuhnya. Itulah mengapa jawaban panjang membutuhkan waktu lebih lama secara visual dibandingkan pertanyaan panjang dengan ukuran yang sama.

Token, jendela konteks, dan KV cache

Semuanya dalam inference diukur dalam token. Prompt Anda, pesan sistem, putaran percakapan sebelumnya, dan balasan semuanya dihitung. Jendela konteks adalah jumlah maksimum token yang dapat ditampung model sekaligus, baik prompt maupun penyelesaian bersama-sama. Pada layanan ini, jendela konteksnya adalah 100.000 token, dan penyelesaian dapat menggunakan apa pun yang tersisa dari prompt.

Untuk menghindari menghitung ulang seluruh percakapan untuk setiap token baru, mesin inference menyimpan KV cache: kunci dan nilai antara untuk token yang telah diproses. Cache tumbuh seiring dengan panjang konteks dan mengambil memori GPU. Ini adalah alasan utama mengapa konteks panjang mahal untuk dilayani, dan alasan mengapa server hanya dapat menangani sejumlah permintaan panjang terbatas pada satu waktu.

Konsekuensi praktis bagi Anda sebagai pengembang: obrolan yang mengirim ulang riwayat lengkap pada setiap putaran membayar riwayat itu lagi setiap kali. Jika percakapan tumbuh menjadi 20.000 token, setiap pesan baru membawa 20.000 token input tersebut bersama dengannya. Memangkas atau meringkas putaran lama adalah pengoptimalan kecepatan dan biaya termurah yang tersedia untuk Anda, dan itu tidak memerlukan perubahan di sisi server.

Latensi: mengapa ada dua angka

Orang sering bertanya seberapa cepat modelnya, tetapi ada dua pengukuran terpisah.

  • Waktu hingga token pertama. Berapa lama Anda menunggu sebelum teks apa pun muncul. Ini mencakup waktu jaringan, antrian di server, dan prefill. Prompt panjang mendorongnya naik.
  • Kecepatan pembuatan. Seberapa cepat token tiba setelah yang pertama. Ini bergantung pada ukuran model, perangkat keras, dan berapa banyak permintaan lain yang dilayani GPU yang sama pada saat itu.

Streaming ada karena pemisahan ini. Dengan stream: true, server mengirim token saat token tersebut dihasilkan, sehingga pengguna mulai membaca setelah token pertama daripada menunggu jawaban lengkap. Waktu totalnya sama, tetapi antarmuka terasa jauh lebih cepat. Untuk obrolan, roleplay, dan alat penulisan, streaming hampir selalu menjadi default yang tepat.

Satu detail yang perlu diingat ketika Anda merencanakan konkurensi: permintaan yang di-streaming memegang slotnya hingga stream berakhir, bukan hingga token pertama tiba. Jika kunci Anda mengizinkan 8 permintaan konkuren, delapan stream panjang yang sedang berjalan berarti yang kesembilan harus menunggu atau mendapatkan respons 429.

Biaya inference, dengan angka nyata

Inference yang dihosting ditagihkan per token, dengan harga terpisah untuk input dan output karena token output membutuhkan lebih banyak pekerjaan. Layanan ini membebankan $0,15 per 1 juta token input dan $0,50 per 1 juta token output, dari saldo prabayar tanpa langganan. Berikut adalah bagaimana itu bekerja untuk beberapa permintaan tipikal.

PermintaanToken inputToken outputBiaya
Pesan obrolan pendek500300$0.000075 + $0.00015 = $0.000225
Obrolan dengan riwayat2,000500$0.0003 + $0.00025 = $0.00055
Ringkasan dokumen panjang30,0001,000$0.0045 + $0.0005 = $0.005
Prompt 100.000 token penuh, balasan pendek100,000500$0.015 + $0.00025 = $0.01525

Matematiknya sederhana: bagi jumlah token dengan satu juta dan kalikan dengan harganya. Untuk baris obrolan dengan riwayat, 2.000 / 1.000.000 x $0,15 = $0,0003 dan 500 / 1.000.000 x $0,50 = $0,00025, yang jumlahnya menjadi $0,00055. Seribu permintaan seperti itu biaya $0,55.

Dua detail penagihan membantu ketika Anda membuat anggaran. Permintaan yang gagal atau ditolak tidak dikenakan biaya, dan kredit tidak kedaluwarsa, sehingga isi saldo bukanlah jam yang berjalan turun. Setiap respons membawa header X-Balance-USD, yang memungkinkan kode Anda memantau saldo yang tersisa tanpa panggilan terpisah.

Inference yang dihosting atau GPU Anda sendiri

Anda memiliki dua cara untuk melakukan inferensi. Anda dapat menyewa atau membeli GPU, memasang mesin serving, dan menjalankan model sendiri. Atau Anda dapat memanggil API dan membiarkan orang lain mengoperasikan perangkat kerasnya.

Menjalankannya sendiri memberi Anda kontrol penuh atas file model, pengaturan, dan jalur data. Harganya adalah pekerjaan operasional: memilih perangkat keras yang sesuai dengan bobot plus KV cache, memperbarui driver dan mesin, menangani lonjakan lalu lintas, dan membayar mesin selama jam-jam sepi. API yang dihosting mengubahnya menjadi tagihan per token. Ini biasanya rute yang lebih cepat ketika lalu lintas Anda tidak merata atau Anda masih menguji ide.

Layanan yang dijelaskan di sini adalah API teks-only yang kompatibel dengan OpenAI dan dihosting. Layanan ini menjalankan satu model open-weight, dioperasikan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun, dan tidak menghasilkan gambar, audio, atau video, membuat embedding, atau fine-tune model. Jika Anda membutuhkan salah satu dari itu, Anda membutuhkan alat yang berbeda. Jika Anda membutuhkan pembuatan teks biasa dengan sedikit penolakan, panduan awal menunjukkan pengaturannya, dan halaman harga mencantumkan opsi isi saldo.

Coba panggilan inference sendiri

Cara tercepat untuk membuat konsep ini konkret adalah dengan mengirim satu permintaan dan membaca angka yang dikembalikannya. Setelah membuat kunci, perintah curl ini mengirim penyelesaian obrolan ke endpoint:

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
    "max_tokens": 120
  }'

Respons JSON mencakup objek usage dengan prompt_tokens, completion_tokens, dan total_tokens. Kalikan angka-angka tersebut dengan harga di atas dan Anda memiliki biaya tepat dari panggilan tersebut. Hal yang sama dalam Python dengan SDK OpenAI:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
    max_tokens=120,
)

u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Pengguna baru dapat mengklaim $0,50 kredit uji coba gratis dengan satu klik di halaman kunci setelah masuk. Ini tidak memerlukan kartu, berlangsung selama 7 hari, dan pada harga di atas, ini mencakup sekitar dua ribu pesan obrolan pendek. Jika sesuatu mengembalikan kesalahan yang tidak Anda kenali, artikel pemecahan masalah mencantumkan penyebab umum.

Tanya jawab

Apakah inference sama dengan menjalankan model?

Ya. Menjalankan model yang telah dilatih pada input baru untuk menghasilkan output adalah inference. Pelatihan, yang menyesuaikan bobot, adalah langkah yang berbeda dan lebih awal.

Mengapa output lebih mahal daripada input?

Token input diproses bersama dalam satu langkah paralel, sedangkan token output dihasilkan satu per satu. Penyedia membebani bagian yang lebih lambat dan berurutan dengan harga lebih tinggi, dan layanan ini mengenakan biaya $0,50 dibandingkan $0,15 per 1 juta token.

Apakah jendela konteks yang lebih panjang membuat permintaan menjadi lebih lambat?

Biasanya ya. Prompt yang lebih panjang berarti lebih banyak pekerjaan prefis dan cache KV yang lebih besar, sehingga waktu hingga token pertama meningkat. Anda hanya membayar token yang benar-benar Anda kirim dan terima, bukan untuk bagian jendela 100.000 token yang tidak terpakai.

Apakah saya memerlukan GPU untuk menggunakan API inferensi?

Tidak. Penyedia menjalankan perangkat kerasnya. Anda mengirim permintaan HTTPS dari mesin apa pun, termasuk laptop atau server kecil.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API