LLM Inference APIमार्गदर्शिका
LLM API मासिक लागत: चार यथार्थवादी परिदृश्य
चार मासिक बिल की पंक्तिवार गणना $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन पर की गई है, साथ ही एक स्क्रिप्ट है जो आपकी स्वयं की ट्राफिक की कीमत निर्धारित करती है।
अपडेट किया गया:


मुख्य बिंदु
- किसी भी OpenAI SDK को https://api.llminferenceapi.com/v1 पर पॉइंट करें, मॉडल ID uncensored का उपयोग करें और अपनी कुंजी Bearer टोकन के रूप में भेजें।
- दो एंडपॉइंट उपलब्ध हैं: POST /v1/chat/completions और GET /v1/models।
- स्ट्रीमिंग, टूल कॉलिंग और JSON मोड मानक अनुरोध फ़ील्ड्स के माध्यम से काम करते हैं।
- एक पूर्ण कुंजी 8 समानांतर अनुरोधों और प्रति मिनट 300 की अनुमति देती है; एक 429 प्रतिक्रिया आपको बताती है कि आपने कौन सी सीमा को छू लिया है।
चारों परिदृश्य एक नज़र में
यदि आप मासिक LLM API लागत की गणना करना चाहते हैं, तो एक औसत संख्या काम नहीं करती, क्योंकि बिल इस बात पर निर्भर करता है कि आप कितने अनुरोध भेजते हैं और वे कितने लंबे हैं। नीचे चार यथार्थवादी सेटअप दिए गए हैं, जिनकी कीमत इनपुट टोकन के प्रति 1M के लिए $0.15 और आउटपुट टोकन के प्रति 1M के लिए $0.50 है। प्रत्येक में अपनी धारणाएँ दी गई हैं ताकि आप अपनी खुद की लागू कर सकें।
| परिदृश्य | प्रतिमाह अनुरोध | प्रति अनुरोध टोकन (इनपुट / आउटपुट) | मासिक लागत |
|---|---|---|---|
| शौकिया चैट बॉट | 600 | 1,500 / 300 | $0.225 |
| Discord समुदाय | 9,000 | 3,000 / 400 | $5.85 |
| 1,000 उपयोगकर्ताओं वाला ऐप | 40,000 | 2,500 / 500 | $25.00 |
| बैच पाइपलाइन | 200,000 | 1,200 / 250 | $61.00 |
लेख का शेष भाग गणित और प्रत्येक संख्या को प्रभावित करने वाले कारकों को दर्शाता है।
परिदृश्य 1: एक शौकिया बॉट
आप एक व्यक्तिगत बॉट चलाते हैं जो दिन में लगभग 20 संदेशों का जवाब देता है, यानी महीने में 600। प्रत्येक संदेश में एक छोटा सिस्टम प्रॉम्प्ट और कुछ इतिहास होता है, लगभग 1,500 इनपुट टोकन, और जवाब औसतन 300 टोकन का होता है।
- इनपुट: 600 x 1,500 = 0.9M टोकन, जिसकी लागत 0.9 x $0.15 = $0.135 है।
- आउटपुट: 600 x 300 = 0.18M टोकन, जिसकी लागत 0.18 x $0.50 = $0.09 है।
- कुल: मासिक $0.225।
यह वह स्थिति है जहाँ न्यूनतम $20 टॉप-अप बाकी सब कुछ से कहीं ज़्यादा देर तक चलता है। इस दर से यह सात साल से ज़्यादा के उपयोग को कवर करेगा। क्रेडिट कभी समाप्त नहीं होता, इसलिए एक शौक का प्रोजेक्ट एक टॉप-अप पर बिना समय की चिंता किए रख सकता है।
परिदृश्य 2: एक Discord समुदाय बॉट
एक सक्रिय सर्वर में एक बॉट दिन में 300 अनुरोध संभालता है, या महीने में 9,000। यह हालिया चैनल संदर्भ पढ़ता है, इसलिए प्रत्येक कॉल में लगभग 3,000 इनपुट टोकन होते हैं, और यह लगभग 400 के साथ जवाब देता है।
- इनपुट: 9,000 x 3,000 = 27M टोकन, इसलिए 27 x $0.15 = $4.05।
- आउटपुट: 9,000 x 400 = 3.6M टोकन, इसलिए 3.6 x $0.50 = $1.80।
- कुल: मासिक $5.85।
इनपुट पक्ष पर ध्यान दें। प्रत्येक कॉल में डाले गए संदर्भ को दोगुना करने से बिल के बड़े हिस्से को दोगुना कर देता है, जबकि जवाब की लंबाई नगण्य होती है। कई बॉट पिछले छह संदेश भेजकर पिछले बीस संदेशों के बजाय पैसे बचाते हैं। रेट लिमिट भी जाँचें: एक पूर्ण कुंजी एक साथ 8 अनुरोध और प्रति मिनट 300 की अनुमति देती है, जो इस लोड से कहीं अधिक है, लेकिन एक व्यस्त सर्वर फिर भी तब स्पाइक कर सकता है जब कोई थ्रेड तेज़ी से बढ़े। बॉट में अनुरोध कतारबद्ध करें और आप लिमिट के भीतर रहेंगे।
परिदृश्य 3: 1,000 उपयोगकर्ताओं वाला एक ऐप
मान लीजिए कि 1,000 मासिक उपयोगकर्ताओं में से प्रत्येक 40 अनुरोध भेजता है, जिससे 40,000 अनुरोध बनते हैं। एक अनुरोध में 2,500 इनपुट टोकन (सिस्टम प्रॉम्प्ट और इतिहास) होते हैं और 500 टोकन लौटाता है।
- इनपुट: 40,000 x 2,500 = 100M टोकन, इसलिए 100 x $0.15 = $15.00।
- आउटपुट: 40,000 x 500 = 20M टोकन, इसलिए 20 x $0.50 = $10.00।
- कुल: मासिक $25.00, या प्रति उपयोगकर्ता 2.5 सेंट।
यहाँ आउटपुट बिल का 40% है, भले ही यह टोकन का केवल एक छठा हिस्सा है, क्योंकि प्रति टोकन इसकी लागत तीन गुना से अधिक है। छोटे जवाब फायदेमंद होते हैं। यदि आप 500 टोकन के बजाय 250 टोकन के जवाब मांगते, तो आउटपुट लाइन $5.00 हो जाती और कुल $20.00 हो जाता। एक $20 का टॉप-अप उस ऐप को एक महीने के लिए कवर कर देता, और एक $100 का टॉप-अप, जिसके साथ +10% बोनस आता है और इसलिए $110 क्रेडिट देता है, लगभग पाँच महीने कवर कर सकता है।
परिदृश्य 4: एक बैच पाइपलाइन
बैच जॉब दस्तावेज़ों की संख्या के अनुसार स्केल होते हैं। मान लीजिए कि आप एक महीने में 200,000 आइटम को टैग या रीराइट करते हैं, जिनमें से प्रत्येक में 1,200 इनपुट टोकन और 250 टोकन का परिणाम है।
- इनपुट: 200,000 x 1,200 = 240M टोकन, इसलिए 240 x $0.15 = $36.00।
- आउटपुट: 200,000 x 250 = 50M टोकन, इसलिए 50 x $0.50 = $25.00।
- कुल: $61.00 प्रति माह।
बैच वर्क के लिए मायने रखने वाली सीमा थ्रूपुट है, न कि कीमत। 8 समानांतर अनुरोधों पर, जॉब का समय अनुरोधों की संख्या को 8 से भाग देने और औसत अनुरोध अवधि से गुणा करने के बराबर होता है। शेड्यूल प्लान करने से पहले अपनी विलंबता के लिए अंकगणित करें, और अपने वर्कर पूल को 8 या उससे कम रखें ताकि आप concurrency त्रुटि न ट्रिगर करें। असफल अनुरोधों के लिए चार्ज नहीं किया जाता, इसलिए उन्हें दोबारा चलाने से कोई लागत नहीं लगती।
अपने माह का अनुमान लगाएं
सूत्र छोटा है: मासिक लागत = अनुरोध x (इनपुट टोकन x $0.15 + आउटपुट टोकन x $0.50) / 1,000,000। यह स्क्रिप्ट इसे करती है और यदि आप पहले एक नमूना चलाते हैं तो यह वास्तविक टोकन गणना भी पढ़ती है।
from openai import OpenAI
client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
def monthly(requests, tokens_in, tokens_out):
return requests * (tokens_in * 0.15 + tokens_out * 0.50) / 1_000_000
print(monthly(40_000, 2_500, 500)) # 25.0
# sample 20 real prompts, then use the measured averages
ins, outs = [], []
for p in open("prompts.txt").read().splitlines()[:20]:
r = client.chat.completions.create(
model="uncensored", messages=[{"role": "user", "content": p}])
ins.append(r.usage.prompt_tokens)
outs.append(r.usage.completion_tokens)
print(monthly(10_000, sum(ins) / len(ins), sum(outs) / len(outs)))सैंपल रन का खर्च एक सेंट का अंश होता है। नए उपयोगकर्ता API कुंजी पृष्ठ पर $0.50 का ट्रायल क्रेडिट दावा कर सकते हैं और इसे बिना कुछ दिए चला सकते हैं, और मूल्य निर्धारण पृष्ठ पर दरें और टॉप-अप बोनस दिखाए गए हैं।
बिल में सबसे अधिक परिवर्तन
चारों परिदृश्यों में, कुल राशि को प्रभावित करने वाले समान कारक हैं:
- कॉन्टेक्स्ट विंडो का आकार। इतिहास और पेस्ट किए गए दस्तावेज़ इनपुट लागत बढ़ाते हैं। उन्हें कम करें।
- आउटपुट की लंबाई। आउटपुट की लागत $0.50 प्रति 1M है, इसलिए अपनी आवश्यक लंबता मांगें और जहाँ मदद मिले,
max_tokensसेट करें। - पुनरावृत्ति और लूप। एक बग जो कॉल को दोहराता है, वह एक महीने की लागत को एक घंटे में बढ़ा सकता है। पुनरावृत्तियों पर सीमा लगाएँ।
- ट्रैफ़िक वृद्धि। लागत अनुरोधों के साथ रैखिक रूप से बढ़ती है। उपयोगकर्ता दोगुने करें, बिल दोगुना करें।
बजट की योजना बनाना
अपने प्रोजेक्ट के सबसे निकटतम परिदृश्य चुनें और पहले महीने के लिए सुरक्षा कारक दो से गुणा करें, क्योंकि असली ट्रैफ़िक दुर्लभ रूप से ही स्प्रेडशीट जितना समान होता है। फिर एक कम बैलेंस अलर्ट सेट करें। हर प्रतिक्रिया में X-Balance-USD हेडर होता है, इसलिए आपकी ऐप आपकी ईमेल भेज सकती है जब क्रेडिट आपकी चुनी हुई संख्या से कम हो जाए, और आप कुछ भी रुकने से पहले टॉप-अप कर सकते हैं। यदि आपका ट्रैफ़िक दस गुना बढ़ता है, बिल दस गुना बढ़ता है: 10x वाले Discord बॉट की लागत $58.50 होगी, और 10,000 उपयोगकर्ताओं वाले ऐप की $250.00। कदमों में कूद नहीं होती, इसलिए कोई मूल्य निर्धारण स्तर नहीं है जिसे आप बढ़ा सकते हैं।
इसे वित्त देना
आप प्रीपेड क्रेडिट से भुगतान करते हैं, कोई सब्सक्रिप्शन नहीं, इसलिए एक शांत महीने की लागत लगभग शून्य होती है। टॉप-अप $20 से $500 तक होते हैं, क्रिप्टो (TRC20 पर USDT, Base पर USDC) द्वारा, $50 से +5%, $100 से +10% और $200 से +15% बोनस के साथ।
इन अनुमानों की सीमाएँ
दो चीजें जिन्हें परिदृश्यों में छोड़ दिया गया है। पहला, वे स्थिर उपयोग मानते हैं, जबकि वास्तविक उत्पादों में शिखर होते हैं, जैसे कि लॉन्च का दिन या एक वायरल थ्रेड, और एक शिखर का दिन बजट का एक सप्ताह उपयोग कर सकता है। दूसरा, वे मानते हैं कि प्रॉम्प्ट का आकार समान रहता है। उत्पाद परिवर्तन अक्सर सिस्टम प्रॉम्प्ट को बढ़ाते हैं, और एक कॉल में 500 टोकन की वृद्धि जो महीने में 40,000 बार की जाती है, 20M इनपुट टोकन या $3.00 जोड़ती है। प्रत्येक प्रॉम्प्ट परिवर्तन के बाद पुनः मापें।
ये गणनाएँ हैं, आपकी उपयोग के बारे में वादे नहीं। वास्तविक प्रॉम्प्ट भिन्न होते हैं, और आपके टोकन गणनाएँ उस भाषा और उस सामग्री पर निर्भर करती हैं जिसे आप भेजते हैं। यह एक टेक्स्ट-ओनली API है, इसलिए एम्बेडिंग्स, इमेज या ऑडियो की लागत इन आंकड़ों के बाहर है। सेवा एक स्वतंत्र प्रदाता से एक ओपन-वेट मॉडल चलाती है, जिसे कानूनी वयस्कों के उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड किया गया है।
यहाँ उपयोग किए गए शब्दों की परिभाषाओं के लिए, LLM इन्फ़रेंस क्या है देखें। बिल बढ़ाने वाली चुपके से हुई गलतियों की सूची AI चैट API की आम गलतियाँ के तहत दी गई है। दस्तावेज़ीकरण में अनुरोध का प्रारूप बताया गया है।
अधिक गाइड
प्रश्न और उत्तर
एक छोटे बॉट की मासिक लागत कितनी होती है?
एक बॉट जिसके महीने में 600 संदेश होते हैं, 1,500 इनपुट और 300 आउटपुट टोकन के साथ, की लागत $0.225 है।
क्या टोकन लागतों के अलावा कोई मासिक शुल्क है?
नहीं। आप प्रीपेड क्रेडिट से टोकन के लिए भुगतान करते हैं, और क्रेडिट कभी समाप्त नहीं होता।
न्यूनतम टॉप-अप राशि क्या है?
$20, $500 तक किसी भी पूर्ण राशि में। $50, $100 और $200 से 5%, 10% और 15% बोनस लागू होते हैं।
क्या विफल अनुरोधों का कोई खर्च आता है?
नहीं। विफल या अस्वीकृत अनुरोधों पर कोई शुल्क नहीं लगाया जाता।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।
API कुंजी पाएँ