LLM Inference APIमार्गदर्शिका
सबसे सस्ता LLM Inference API: वास्तविक लागत कैसे मापें
प्रति टोकन कीमत कहानी का केवल एक हिस्सा है। यहाँ बताया गया है कि आपके बिल को निर्धारित करने वाली संख्याओं का उपयोग करके इनफरेंस APIs की तुलना कैसे करें, हमारी दरों को एक कार्य उदाहरण के रूप में उपयोग करते हुए।
अपडेट किया गया:


मुख्य बिंदु
- किसी भी OpenAI SDK को https://api.llminferenceapi.com/v1 पर निर्देशित करें, मॉडल ID uncensored का उपयोग करें और अपनी कुंजी Bearer टोकन के रूप में भेजें।
- दो एंडपॉइंट उपलब्ध हैं: POST /v1/chat/completions और GET /v1/models।
- स्ट्रीमिंग, टूल कॉलिंग और JSON मोड मानक अनुरोध फ़ील्ड्स के माध्यम से काम करते हैं।
- एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 की अनुमति देती है; एक 429 प्रतिक्रिया आपको बताती है कि आपने कौन सी सीमा को छू लिया है।
प्रति मिलियन टोकन की कीमत केवल शुरुआत है
सबसे सस्ता LLM inference API वह है जिसका आपकी वर्कलोड के लिए कम से कम लागत होती है, जो कि प्राइसिंग पेज पर सबसे कम संख्या नहीं भी हो सकती है। दो प्रदाता समान हेडलाइन प्राइस लिस्ट कर सकते हैं, लेकिन आउटपुट टोकन, लंबे प्रॉम्प्ट, फेल कॉल्स और न्यूनतम टॉप-अप की गणना करने पर बिल बहुत अलग आ सकते हैं।
चुनने से पहले एक चार-भाग वाली जाँच करें: इनपुट की कीमत, आउटपुट की कीमत, मॉडल लंबे कॉन्टेक्स्ट के साथ क्या करता है, और आप अग्रिम में क्या भुगतान करते हैं। यह आर्टिकल प्रत्येक बिंदु पर चर्चा करता है, हमारी कीमतों को एक उदाहरण के रूप में दिखाता है, और अन्य प्रोवाइडरों की संख्याओं को आप पर छोड़ देता है। उनकी वर्तमान प्राइसिंग जाँचें और फॉर्मूले में अंक डालें।
इनपुट बनाम आउटपुट टोकन
लगभग हर एलएलएम एपीआई इनपुट और आउटपुट की अलग-अलग बिलिंग करता है, और आउटपुट आमतौर पर महंगा होता है। हमारे रेट $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन हैं। इससे आउटपुट की कीमत इनपुट से तीन गुना से अधिक हो जाती है, इसलिए आपके ट्रैफिक का मिक्स परिणाम को बदल देता है।
इनपुट और आउटपुट टोकन के अनुपात के साथ ब्लेंडेड प्राइस कैसे बदलता है:
| इनपुट : आउटपुट अनुपात | 1M कुल टोकन के लिए लागत | प्रति 1M औसत |
|---|---|---|
| 1 : 1 | 0.5M x $0.15 + 0.5M x $0.50 = $0.325 | $0.325 |
| 3 : 1 | 0.75M x $0.15 + 0.25M x $0.50 = $0.2375 | $0.2375 |
| 10 : 1 | लगभग 0.909M x $0.15 + 0.091M x $0.50 = $0.1818 | लगभग $0.18 |
| 1 : 3 | 0.25M x $0.15 + 0.75M x $0.50 = $0.4125 | $0.4125 |
एक सारांशकारक बहुत कुछ पढ़ता है और कम लिखता है, इसलिए यह 10 : 1 वाली पंक्ति के पास बैठता है। एक कहानी जनरेटर एक छोटे प्रॉम्प्ट से बहुत कुछ लिखता है और 1 : 3 के पास बैठता है। जब आप दो प्रदाताओं की तुलना करते हैं, तो अपने अनुपात के लिए दोनों पंक्तियों की गणना करें। एक प्रदाता जो इनपुट पर सस्ता है, वह जनरेशन-हेवी वर्कलोड पर हार सकता है।
कॉन्टेक्स्ट लेंथ बिल को बदल देती है
चैट ऐप्स हर टर्न पर पूरी बातचीत फिर से भेजते हैं। यदि एक चैट 20 टर्न तक बढ़ जाती है, तो टर्न 20 में 19 पिछली अदला-बदली इनपुट के रूप में होती है। इसलिए एक बातचीत की लागत उसकी लंबाई से तेजी से बढ़ती है।
एक गणना उदाहरण। हर टर्न में 300 टोकन यूजर टेक्स्ट और 300 टोकन रिप्लाई जोड़ता है, और सिस्टम प्रॉम्प्ट 500 टोकन है। टर्न n पर इनपुट 500 + (n - 1) x 600 + 300 टोकन है। 20 टर्न के लिए जोड़ने पर यह 20 x 800 + 600 x 190 = 130,000 इनपुट टोकन, प्लस 20 x 300 = 6,000 आउटपुट टोकन होता है। इनपुट की लागत 130,000 x $0.15 / 1M = $0.0195 है और आउटपुट की लागत 6,000 x $0.50 / 1M = $0.003 है, इसलिए पूरी 20-टर्न बातचीत की लागत $0.0225 है।
सटीक संख्या से आकार कम मायने रखता है: लंबी चैट में इनपुट हावी होता है। एक प्रदाता जिसकी इनपुट कीमत सस्ती है, यहाँ आपको अधिक मदद करता है। पुराने टर्न को काटना या उन्हें समराइज करना सबसे बड़ी लागत काटता है। हमारी कॉन्टेक्स्ट विंडो 100,000 टोकन की है, प्रॉम्प्ट प्लस कंप्लीशन, इसलिए बहुत लंबे दस्तावेज़ फिट हो जाते हैं, लेकिन उन्हें भेजने पर हर बार इनपुट टोकन की लागत आती है।
छुपी हुई लागतें जिन्हें जाँचना है
- न्यूनतम टॉप-अप। हमारा $20 है, $500 तक किसी भी पूर्ण राशि के साथ। एक प्रदाता जिसकी प्रति-टोकन कीमत कम है लेकिन न्यूनतम राशि बड़ी है, वह छोटे प्रोजेक्ट के लिए अधिक खर्च कर सकता है।
- समाप्ति। जो क्रेडिट समाप्त हो जाता है, वह क्रेडिट आप बर्बाद कर सकते हैं। हमारा क्रेडिट कभी समाप्त नहीं होता।
- सदस्यता। मासिक शुल्क एक प्रति-टोकन सेवा को एक निश्चित लागत में बदल देता है। हमारा उपयोग-के-अनुसार भुगतान है।
- विफलता शुल्क विफल या अस्वीकृत अनुरोधों का यहाँ शुल्क नहीं लिया जाता। तुलना करने वाले किसी भी प्रदाता पर इसे जाँचें।
- रेट लिमिट कम अनुरोध सीमा वाले सस्ते मूल्य में आपको दूसरा खाता खरीदने या पाइपलाइन धीमी करने के लिए मजबूर किया जाता है। यहाँ एक पूर्ण कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति देती है।
- भुगतान शुल्क और बोनस हम $50 से +5% क्रेडिट, $100 से +10% और $200 से +15% जोड़ते हैं, इसलिए $200 का टॉप-अप $230 देता है।
हमारे दरों के साथ कार्य उदाहरण
नीचे दिए गए सभी आंकड़े $0.15 प्रति 1M इनपुट और $0.50 प्रति 1M आउटपुट का उपयोग करते हैं।
| वर्कलोड | टोकन | लागत |
|---|---|---|
| एक चैट टर्न: 2,000 इन, 500 आउट | 2,500 | $0.0003 + $0.00025 = $0.00055 |
| 1,000 ऐसे टर्न | 2.5M | $0.55 |
| 10,000 लेखों का सारांश: 3,000 इन, 200 आउट प्रत्येक | 32M | $4.50 + $1.00 = $5.50 |
| 5,000 कहानियाँ जनरेट करें: 300 इन, 1,500 आउट प्रत्येक | 9M | $0.225 + $3.75 = $3.975 |
समराइज़र पंक्ति की जाँच करें: 10,000 x 3,000 = 30M इनपुट टोकन, और 30 x $0.15 = $4.50. 10,000 x 200 = 2M आउटपुट टोकन, और 2 x $0.50 = $1.00. कुल $5.50 है। कहानी पंक्ति के लिए: 5,000 x 300 = 1.5M इनपुट, जो $0.225 है, और 5,000 x 1,500 = 7.5M आउटपुट, जो $3.75 है। कुल $3.975 है।
मूल्य निर्धारण पृष्ठ दरें और बोनस सूचीबद्ध करता है, और आप क्रिप्टो (TRC20 पर USDT, Base पर USDC) से भुगतान कर सकते हैं।
स्क्रिप्ट के साथ अपनी वास्तविक लागत मापें
अनुमानों पर लंबे समय तक भरोसा न करें। 50 प्रतिनिधि प्रॉम्प्ट चलाएँ और API से टोकन की रिपोर्ट लें। नीचे दिया गया कोड usage फ़ील्ड से लागत अनुमान प्रिंट करता है।
from openai import OpenAI
client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50 # dollars per 1M tokens
def cost(u):
return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000
total = 0.0
for p in open("prompts.txt"):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p.strip()}],
)
total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))औसत को अपने अपेक्षित मासिक अनुरोधों से गुणा करें। जिस प्रदाता पर आप विचार कर रहे हैं, उसके साथ वही करें, और उत्तरों के नमूने को पढ़कर गुणवत्ता को लूप में रखें। एक सस्ता मॉडल जो प्रत्येक कार्य के लिए दो प्रयासों की आवश्यकता है, वह सस्ता नहीं है।
एक पाँच-चरण की तुलना जिसे आप एक घंटे में पूरा कर सकते हैं
- वास्तविक प्रॉम्प्ट के नमूने से, प्रत्येक अनुरोध के लिए अपने अपेक्षित इनपुट और आउटपुट टोकन लिखें।
- प्रत्येक प्रदाता की इनपुट और आउटपुट कीमत से, प्रति अनुरोध और प्रति माह, गुणा करें।
- स्थिर लागत जोड़ें: न्यूनतम टॉप-अप, सदस्यता, और कोई भी क्रेडिट जो उपयोग करने से पहले समाप्त हो जाता है।
- प्रत्येक मॉडल पर समान 20 प्रॉम्प्ट चलाएँ और उत्तरों का स्कोर दें, ताकि आप लागत प्रति अच्छा उत्तर की तुलना कर सकें, न कि लागत प्रति टोकन।
- अपने पीक ट्रैफ़िक के सापेक्ष लिमिट की जाँच करें। यदि आपको एक साथ 8 से अधिक अनुरोधों की आवश्यकता है, तो पूछें कि क्या आप इसके बजाय कतार चला सकते हैं।
परिणाम एक तालिका है जिसमें प्रत्येक प्रदाता के लिए एक पंक्ति और आपकी कार्यभार के लिए मासिक आंकड़ा होता है। वह तालिका शीर्षक में पूछे गए प्रश्न का वास्तविक उत्तर है, और यह तब तक मान्य रहती है जब तक कोई प्रदाता अपनी कीमतें नहीं बदलता, इसलिए हर कुछ महीनों में इसे फिर से जांचें। फ्रेमवर्क तुलना मदद करती है यदि आप अपने स्वयं के हार्डवेयर पर मॉडल भी चलाते हैं, और सामान्य चैट API गलतियाँ पेज उन त्रुटियों की सूची देता है जो बिल चुपचाप बढ़ाती हैं, जैसे कि एक ही इतिहास को दो बार फिर से भेजना।
सस्ता विकल्प क्या नहीं कर सकता
कोई भी प्रदाता चुनने पर, आप चार तरीकों से लागत कम कर सकते हैं। जहाँ छोटा उत्तर पर्याप्त हो, वहाँ max_tokens को कैप करें, क्योंकि आउटपुट महंगा पक्ष है। सिस्टम प्रॉम्प्ट को ट्रिम करें और उन टर्न्स को ड्रॉप करें जिनकी मॉडल को अब आवश्यकता नहीं है। सरल जॉब्स, जैसे क्लासिफिकेशन, को स्ट्रिक्ट आउटपुट फॉर्मेट वाले शॉर्ट प्रॉम्प्ट्स पर रूट करें। और टोकन प्रति फीचर लॉग करें, ताकि आपको पता चले कि संपादन के बाद एक प्रॉम्प्ट टेम्पलेट का आकार चुपचाप दोगुना हो रहा है। ये आदतें प्रदाता बदलने से कहीं ज्यादा बचाती हैं, भले ही कुछ पैसे के लिए।
यह सेवा केवल टेक्स्ट है। इसमें एम्बेडिंग, इमेज या ऑडियो जनरेशन और फाइन-ट्यूनिंग नहीं है, इसलिए यदि आपको उनकी आवश्यकता है, तो आपको उनके लिए किसी अन्य प्रदाता को भुगतान करना होगा। यह एक स्वतंत्र प्रदाता से एक ओपन-वेट मॉडल चलाता है, जिसे कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड किया गया है, और यह किसी भी मॉडल विक्रेता की आधिकारिक API नहीं है। नाबालिगों से संबंधित यौन सामग्री कभी भी अनुमत नहीं है।
क्या यह आपके लिए सबसे सस्ता है, यह इस बात पर निर्भर करता है कि क्या वह एकल मॉडल आपके कार्य के लिए पर्याप्त है। पहले इसे मुफ़्त में आज़माएँ: नए उपयोगकर्ता API कुंजी पेज पर एक क्लिक से $0.50 का ट्रायल क्रेडिट प्राप्त कर सकते हैं, कार्ड की आवश्यकता नहीं है। फिर दस्तावेज़ पढ़ें। यदि आप बुनियादी बातों में नए हैं, तो LLM इन्फ़रेंस क्या है ऊपर उपयोग किए गए शब्दों को कवर करता है।
अधिक गाइड
प्रश्न और उत्तर
एक चैट संदेश की लागत कितनी है?
2,000 इनपुट और 500 आउटपुट टोकन वाले एक टर्न की लागत $0.00055 होती है, इसलिए 1,000 टर्न की लागत $0.55 होती है।
क्या कोई मासिक शुल्क है?
नहीं। यह प्रीपेड क्रेडिट से पे-एज़-यू-गो है, और क्रेडिट कभी समाप्त नहीं होता।
क्या विफल अनुरोधों का बिल किया जाता है?
नहीं। विफल या अस्वीकृत अनुरोधों पर कोई शुल्क नहीं लगाया जाता।
क्या सबसे कम कीमत हमेशा सबसे अच्छा सौदा होती है?
नहीं। आउटपुट हिस्सा, संदर्भ लंबाई, न्यूनतम टॉप-अप और उत्तर की गुणवत्ता सभी वास्तविक लागत को बदल देते हैं।
आपकी कुंजी बस एक फॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, आधार URL बदलें। यही संपूर्ण सेटअप है।
API कुंजी पाएँ