LLM Inference APIPanduan
API Inference LLM Termurah: Cara Menilai Biaya Nyata
Harga per token hanyalah sebagian dari cerita. Berikut cara membandingkan API inferensi berdasarkan angka yang menentukan tagihan Anda, dengan tarif kami sebagai contoh perhitungan yang terpecahkan.
Diperbarui:


Poin utama
- Arahkan SDK OpenAI apa pun ke https://api.llminferenceapi.com/v1, gunakan ID model uncensored, dan kirimkan kunci Anda sebagai token Bearer.
- Dua endpoint tersedia: POST /v1/chat/completions dan GET /v1/models.
- Streaming, pemanggilan alat, dan mode JSON bekerja melalui bidang permintaan standar.
- Kunci penuh memungkinkan 8 permintaan konkuren dan 300 per menit; respons 429 memberi tahu Anda batas mana yang Anda capai.
Harga per juta token hanyalah awal
API inferensi LLM termurah adalah yang memiliki biaya terendah untuk beban kerja Anda, yang tidak selalu angka terendah di halaman harga. Dua penyedia dapat mencantumkan harga utama yang sama dan menghasilkan tagihan yang sangat berbeda setelah Anda menghitung token output, prompt panjang, panggilan gagal dan minimum isi ulang.
Gunakan pemeriksaan empat bagian sebelum memilih: harga input, harga output, apa yang dilakukan model dengan konteks panjang, dan apa yang Anda bayar di muka. Artikel ini membahas setiap bagian, menunjukkan harga kami sebagai contoh perhitungan, dan membiarkan angka penyedia lain menjadi tanggung jawab Anda. Periksa harga terbaru mereka dan masukkan angka ke dalam rumus yang sama.
Token input versus output
Hampir setiap LLM API membebankan input dan output secara terpisah, dan output biasanya lebih mahal. Tarif kami adalah $0,15 per 1 juta token input dan $0,50 per 1 juta token output. Itu membuat output sedikit lebih dari tiga kali harga input, jadi campuran lalu lintas Anda mengubah hasilnya.
Berikut cara harga gabungan bergerak dengan rasio token input terhadap output:
| Rasio input : output | Biaya untuk 1M total token | Rata-rata per 1 juta |
|---|---|---|
| 1 : 1 | 0,5 juta x $0,15 + 0,5 juta x $0,50 = $0,325 | $0,325 |
| 3 : 1 | 0,75 juta x $0,15 + 0,25 juta x $0,50 = $0,2375 | $0,2375 |
| 10 : 1 | sekitar 0,909 juta x $0,15 + 0,091 juta x $0,50 = $0,1818 | sekitar $0,18 |
| 1 : 3 | 0,25 juta x $0,15 + 0,75 juta x $0,50 = $0,4125 | $0,4125 |
Sebuah perangkum membaca banyak dan menulis sedikit, jadi ia berada di dekat baris 10 : 1. Sebuah generator cerita menulis banyak dari prompt pendek dan berada di dekat 1 : 3. Saat Anda membandingkan dua penyedia, hitung kedua baris untuk rasio Anda sendiri. Penyedia yang lebih murah pada input bisa kalah pada beban kerja yang berat generasi.
Panjang konteks mengubah tagihan
Aplikasi chat mengirim ulang seluruh percakapan pada setiap giliran. Jika sebuah chat tumbuh menjadi 20 giliran, giliran 20 membawa semua 19 pertukaran sebelumnya sebagai input. Biaya sebuah percakapan oleh karena itu tumbuh lebih cepat daripada panjangnya.
Contoh perhitungan. Setiap giliran menambahkan 300 token teks pengguna dan 300 token balasan, dan prompt sistem adalah 500 token. Input pada giliran n adalah 500 + (n - 1) x 600 + 300 token. Ditotalkan selama 20 giliran itu adalah 20 x 800 + 600 x 190 = 130.000 token input, ditambah 20 x 300 = 6.000 token output. Biaya input adalah 130.000 x $0,15 / 1M = $0,0195 dan biaya output adalah 6.000 x $0,50 / 1M = $0,003, jadi seluruh percakapan 20 giliran biayanya $0,0225.
Angka pastinya kurang penting daripada bentuknya: input mendominasi dalam chat panjang. Sebuah penyedia dengan harga input murah membantu Anda lebih di sini daripada satu dengan harga output murah. Memangkas giliran lama, atau merangkumnya, memangkas biaya terbesar. Jendela konteks kami adalah 100.000 token, prompt plus penyelesaian, jadi dokumen yang sangat panjang muat, tetapi mereka memakan token input setiap kali Anda mengirimkannya.
Biaya tersembunyi yang perlu diperiksa
- Minimum isi ulang. Kami adalah $20, dengan jumlah bulat apa pun hingga $500. Penyedia dengan harga per token rendah tetapi minimum besar dapat lebih mahal untuk proyek kecil.
- Kedaluwarsa. Kredit yang kedaluwarsa adalah kredit yang mungkin Anda sia-siakan. Kredit kami tidak pernah kedaluwarsa.
- Langganan. Biaya bulanan mengubah layanan per-token menjadi biaya tetap. Kami menggunakan model bayar sesuai penggunaan.
- Biaya untuk kegagalan. Permintaan yang gagal atau ditolak tidak ditagih di sini. Periksa itu pada setiap penyedia yang Anda bandingkan.
- Batas laju. Harga murah dengan batas permintaan rendah memaksa Anda membeli akun kedua atau memperlambat pipa Anda. Kunci penuh di sini memungkinkan 8 permintaan konkuren dan 300 per menit.
- Biaya pembayaran dan bonus. Kami menambahkan +5% kredit dari $50, +10% dari $100 dan +15% dari $200, jadi top-up $200 memberikan $230.
Tarif kami dengan contoh perhitungan
Semua angka di bawah ini menggunakan $0,15 per 1 juta input dan $0,50 per 1 juta output.
| Beban kerja | Token | Biaya |
|---|---|---|
| Satu giliran chat: 2.000 masuk, 500 keluar | 2.500 | $0.0003 + $0.00025 = $0.00055 |
| 1.000 giliran seperti itu | 2,5 juta | $0,55 |
| Ringkaskan 10,000 artikel: 3,000 input, 200 output masing-masing | 32 juta | $4,50 + $1,00 = $5,50 |
| Hasilkan 5,000 cerita: 300 input, 1,500 output masing-masing | 9 juta | $0,225 + $3,75 = $3,975 |
Periksa baris peringkasan: 10.000 x 3.000 = 30M token input, dan 30 x $0,15 = $4,50. 10.000 x 200 = 2M token output, dan 2 x $0,50 = $1,00. Totalnya adalah $5,50. Untuk baris cerita: 5.000 x 300 = 1,5M input, yang sebesar $0,225, dan 5.000 x 1.500 = 7,5M output, yang sebesar $3,75. Totalnya adalah $3,975.
Halaman harga mencantumkan tarif dan bonus, dan Anda dapat membayar dengan kripto (USDT pada TRC20, USDC pada Base).
Ukur biaya nyata Anda dengan skrip
Jangan terlalu lama mempercayai estimasi. Jalankan 50 prompt perwakilan dan biarkan API melaporkan token. Kode di bawah ini mencetak estimasi biaya dari bidang usage.
from openai import OpenAI
client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50 # dollars per 1M tokens
def cost(u):
return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000
total = 0.0
for p in open("prompts.txt"):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p.strip()}],
)
total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))Kalikan rata-rata dengan permintaan bulanan yang Anda harapkan. Lakukan hal yang sama dengan setiap penyedia yang Anda pertimbangkan, dan pertahankan kualitas dalam loop dengan membaca sampel jawaban. Model yang lebih murah yang membutuhkan dua upaya per tugas tidak lebih murah.
Perbandingan lima langkah yang bisa Anda selesaikan dalam satu jam
- Tuliskan token input dan output yang Anda harapkan per permintaan, dari sampel prompt nyata.
- Kalikan dengan harga input dan output setiap penyedia, per permintaan dan per bulan.
- Tambahkan biaya tetap: minimal isi ulang, langganan, dan kredit apa pun yang kedaluwarsa sebelum Anda menggunakannya.
- Jalankan 20 prompt yang sama pada setiap model dan skor jawabannya, sehingga Anda membandingkan biaya per jawaban bagus, bukan biaya per token.
- Periksa batas-batas terhadap lalu lintas puncak Anda. Jika Anda membutuhkan lebih dari 8 permintaan sekaligus, tanyakan apakah Anda dapat menjalankan antrian sebagai gantinya.
Hasilnya adalah tabel dengan satu baris per penyedia dan angka bulanan untuk beban kerja Anda. Tabel itu adalah jawaban nyata untuk pertanyaan dalam judul, dan tetap valid hingga penyedia mengubah harganya, jadi periksa kembali setiap beberapa bulan. Perbandingan kerangka kerja membantu jika Anda juga menjalankan model di perangkat keras sendiri, dan halaman kesalahan API chat umum mencantumkan kesalahan yang diam-diam meningkatkan tagihan, seperti mengirim ulang riwayat yang sama dua kali.
Yang tidak bisa dilakukan oleh opsi murah
Terlepas dari penyedia yang Anda pilih, Anda dapat memotong biaya dalam empat cara. Batasi max_tokens di mana jawaban pendek sudah cukup, karena output adalah sisi yang lebih mahal. Pangkas prompt sistem dan lepaskan giliran yang tidak lagi dibutuhkan model. Rute tugas sederhana, seperti klasifikasi, ke prompt pendek dengan format output yang ketat. Dan log token per fitur, sehingga Anda memperhatikan ketika satu template prompt diam-diam menggandakan ukurannya setelah edit. Kebiasaan ini menghemat lebih banyak daripada mengganti penyedia untuk beberapa sen.
Layanan ini hanya teks. Ini tidak memiliki embedding, pembuatan gambar atau audio dan tidak ada fine-tuning, jadi jika Anda membutuhkan itu, Anda akan membayar penyedia lain untuk itu. Ini menjalankan satu model bobot terbuka dari penyedia independen, disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dan itu bukan API resmi dari vendor model mana pun. Konten seksual yang melibatkan anak di bawah umur tidak pernah diizinkan.
Apakah ini yang termurah untuk Anda tergantung pada apakah model tunggal ini cukup baik untuk tugas Anda. Uji secara gratis terlebih dahulu: pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API, tanpa perlu kartu. Kemudian baca dokumentasi. Jika Anda baru dalam dasar-dasarnya, apa itu inferensi LLM mencakup istilah yang digunakan di atas.
Panduan lainnya
Tanya jawab
Berapa biaya satu pesan obrolan?
Satu giliran dengan 2.000 token input dan 500 token output berharga $0,00055, jadi 1.000 giliran berharga $0,55.
Apakah ada biaya bulanan?
Tidak. Ini adalah sistem bayar sesuai penggunaan dari saldo prabayar, dan saldo tidak pernah kedaluwarsa.
Apakah permintaan yang gagal dibebankan biaya?
Tidak. Permintaan yang gagal atau ditolak tidak dikenakan biaya.
Apakah harga terendah selalu menjadi penawaran terbaik?
Tidak. Bagian output, panjang konteks, top-up minimum dan kualitas jawaban semuanya mengubah biaya sebenarnya.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja keseluruhan pengaturannya.
Dapatkan kunci API