LLM Inference APIमार्गदर्शिका
LLM इनफरेंस क्या है? टोकन, लेटेंसी और लागत
यदि आप पूछ रहे हैं कि LLM इनफरेंस क्या है, तो संक्षिप्त संस्करण यह है: यह वह चरण है जहाँ एक प्रशिक्षित भाषा मॉडल आपके प्रॉम्प्ट को पढ़ता है और एक टोकन एक समय में जवाब लिखता है। यह पृष्ठ समझाता है कि यह कैसे काम करता है और इसकी लागत क्या है।
अपडेट किया गया:

मुख्य बिंदु
- इनफरेंस एक पूर्ण मॉडल को चलाकर आउटपुट उत्पन्न करना है; ट्रेनिंग वह पूर्व, बहुत अधिक महंगा चरण है जिसने मॉडल बनाया था।
- एक अनुरोध में दो चरण होते हैं: प्रॉम्प्ट पढ़ना (प्रीफिल) और टोकन-दर-टोकन जवाब लिखना (डिकोडिंग)।
- लागत और गति दोनों टोकन संख्या का पालन करते हैं, इसलिए इनपुट लंबाई, आउटपुट लंबाई और कॉन्टेक्स्ट विंडो सबसे अधिक मायने रखते हैं।
- एक होस्टेड API के साथ आप प्रति टोकन भुगतान करते हैं और GPU से बचते हैं; अपने स्वयं के हार्डवेयर के साथ आप मशीन के लिए भुगतान करते हैं चाहे वह व्यस्त हो या निष्क्रिय।
एक पैराग्राफ में इन्फरेंस
एक बड़ा भाषा मॉडल संख्याओं से भरी एक फ़ाइल है, जिसे वेट्स कहा जाता है। ट्रेनिंग वह प्रक्रिया है जो मॉडल को विशाल मात्रा में टेक्स्ट दिखाकर उन संख्याओं को सेट करती है। इनफरेंस वह सब कुछ है जो उसके बाद होता है, जब आप तैयार वेट्स का उपयोग करके उत्तर प्राप्त करते हैं। मॉडल को भेजी गई हर चैट संदेश, हर ऑटोकम्प्लीट सुझाव और टेक्स्ट लौटाने वाली हर API कॉल एक इनफरेंस अनुरोध है।
यह अंतर इसलिए महत्वपूर्ण है क्योंकि दोनों कार्यों की अर्थव्यवस्था अलग है। ट्रेनिंग एक बार (या कुछ बार) होती है और एक बड़े क्लस्टर की आवश्यकता होती है। इन्फरेंस हर बार होता है जब कोई प्रॉम्प्ट भेजता है, इसलिए यह वह हिस्सा है जो आपके उपयोगकर्ताओं के साथ स्केल करता है। जब लोग AI उत्पाद चलाने की लागत की बात करते हैं, तो वे लगभग हमेशा इन्फरेंस की लागत को ही समझते हैं।
मॉडल उत्तर "खोजता" नहीं है। यह हर संभावित अगले टोकन के लिए एक प्रायिकता की गणना करता है, एक चुनता है, टेक्स्ट में जोड़ता है और दोहराता है। वह लूप ही पूरा तंत्र है, और इस पेज का शेष भाग इसका करीब से अवलोकन है।
एक अनुरोध के दौरान क्या होता है
एकल चैट अनुरोध लें और इसे अपने कोड से अंतिम अक्षर तक ट्रैस करें।
- टोकन विभाजन। आपका टेक्स्ट टोकन में विभाजित हो जाता है, जो अक्षरों के टुकड़े होते हैं। एक टोकन अक्सर एक छोटा शब्द या एक लंबे शब्द का हिस्सा होता है। अंग्रेज़ी के लिए एक सामान्य नियम चार अक्षर प्रति टोकन है, लेकिन यह भाषा और कोड जैसे सामग्री के अनुसार बदलता है।
- पूर्व-भरण। मॉडल सभी प्रॉम्प्ट टोकन को एक पास में प्रोसेस करता है। यह समानांतर कार्य है और यह मॉडल की आवश्यक आंतरिक स्थिति बनाता है ताकि टेक्स्ट को जारी रखा जा सके।
- डिकोडिंग। मॉडल पहला आउटपुट टोकन, फिर दूसरा, और इसी तरह उत्पन्न करता है। हर नया टोकन उसके पहले वाले सभी टोकन पर निर्भर करता है, इसलिए यह चरण क्रमागत है। यह अधिकांश अनुरोधों का धीमा हिस्सा है।
- सैंपलिंग। प्रत्येक चरण पर मॉडल के पास अपने शब्दकोश में प्रत्येक टोकन के लिए एक स्कोर होता है।
temperatureऔरtop_pजैसे सेटिंग्स तय करती हैं कि उन स्कोरों से अगला टोकन कैसे चुना जाए। कम तापमान लगभग हर बार सबसे संभावित टोकन चुनता है; उच्चतर तापमान अधिक विविधता की अनुमति देता है। - रोकना। जनरेशन तब समाप्त होता है जब मॉडल एक एंड-ऑफ-टेक्स्ट टोकन उत्पन्न करता है, जब यह आपकी परिभाषित
stopश्रृंखला पर पहुँचता है, या जब यह टोकन लिमिट तक पहुँच जाता है।
प्रीफिल और डिकोडिंग हार्डवेयर पर अलग तरीके से तनाव डालते हैं। प्रीफिल मुख्य रूप से रॉ कंप्यूट द्वारा सीमित होता है। डिकोडिंग मुख्य रूप इस बात से सीमित होती है कि GPU मॉडल वेट्स को मेमोरी से कितनी तेज़ी से पढ़ सकता है, क्योंकि हर एक टोकन को उन्हें टच करना पड़ता है। यही कारण है कि एक लंबा उत्तर एक ही आकार के लंबे प्रश्न की तुलना में दिखने में अधिक समय लेता है।
टोकन, कॉन्टेक्स्ट विंडो और KV कैश
इन्फरेंस में हर चीज़ टोकन में मापी जाती है। आपका प्रॉम्प्ट, सिस्टम संदेश, बातचीत के पिछले टर्न्स और जवाब सभी गिने जाते हैं। संदर्भ विंडो टोकन की अधिकतम संख्या है जिसे मॉडल एक साथ रख सकता है, प्रॉम्प्ट और पूर्ण उत्तर मिलाकर। इस सर्विस पर संदर्भ विंडो 100,000 टोकन है, और पूर्ण उत्तर जो कुछ भी प्रॉम्प्ट खाली छोड़ता है उसका उपयोग कर सकता है।
हर नए टोकन के लिए पूरी बातचीता को फिर से कंप्यूट करने से बचने के लिए, इन्फरेंस इंजन एक KV कैश रखते हैं: पहले से प्रोसेस किए गए टोकन के लिए मध्यवर्ती कुंजियाँ और मान। कैश संदर्भ की लंबाई के साथ बढ़ता है और GPU मेमोरी लेता है। यह लंबे संदर्भ को सर्व करने का खर्चीला होने का मुख्य कारण है, और वह कारण है कि एक सर्वर एक साथ सीमित संख्या में लंबे अनुरोधों को ही हैंडल कर सकता है।
आपके जैसे डेवलपर के लिए एक व्यावहारिक परिणाम: हर टर्न पर पूरा इतिहास रिसेंड करने वाली एक चैट हर बार उस इतिहास के लिए भुगतान करती है। यदि एक बातचीता 20,000 टोकन तक बढ़ जाती है, तो हर नए संदेश के साथ वे 20,000 इनपुट टोकन भी आते हैं। पुराने टर्न्स को काटना या सारांश बनाना आपकी उपलब्ध सबसे सस्ती स्पीड और लागत अनुकूलन है, और इसमें सर्वर साइड कोई बदलाव की आवश्यकता नहीं है।
लैटेंसी: दो अंक क्यों होते हैं
लोग अक्सर पूछते हैं कि एक मॉडल कितना तेज़ है, लेकिन दो अलग माप हैं।
- पहले टोकन तक समय। आप कितनी देर प्रतीक्षा करते हैं जब तक कोई टेक्स्ट नहीं दिखता। इसमें नेटवर्क टाइम, सर्वर पर कतार में लगना और प्रीफिल शामिल है। लंबे प्रॉम्प्ट इसे बढ़ाते हैं।
- जनरेशन गति। पहला टोकन आने के बाद टोकन कितनी तेज़ी से आते हैं। यह मॉडल के आकार, हार्डवेयर और उसी GPU पर उसी समय कितने अन्य अनुरोध हैं, इस पर निर्भर करता है।
स्ट्रीमिंग इसी विभाजन के कारण मौजूद है। stream: true के साथ सर्वर टोकन तभी भेजता है जब वे तैयार होते हैं, इसलिए उपयोगकर्ता पूरा जवाब इंतज़ार करने के बजाय पहले टोकन के बाद पढ़ना शुरू कर देता है। कुल समय समान रहता है, लेकिन इंटरफ़ेस बहुत तेज़ लगता है। चैट, रोलप्ले और लेखन टूल्स के लिए, स्ट्रीमिंग लगभग हमेशा सही डिफ़ॉल्ट होती है।
कॉन्करेंसी (concurrency) की योजना बनाते समय याद रखने वाला एक विवरण: एक स्ट्रीम किए गए अनुरोध का स्लॉट तब तक बंद रहता है जब तक स्ट्रीम खत्म न हो जाए, न कि जब तक पहला टोकन न आ जाए। यदि आपकी कुंजी 8 समानांतर अनुरोधों की अनुमति देती है, तो आठ लंबी स्ट्रीम चल रही होने का मतलब है कि नौवें को इंतज़ार करना पड़ेगा या उसे 429 प्रतिक्रिया मिलेगी।
इनफ़रेंस लागत, वास्तविक संख्याओं के साथ
होस्टेड इनफ़रेंस को टोकन के आधार पर बिल किया जाता है, इनपुट और आउटपुट के लिए अलग-अलग कीमतें होती हैं क्योंकि आउटपुट टोकन में अधिक मेहनत लगती है। इस सेवा की कीमत 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50 है, जो प्रीपेड क्रेडिट से कटती है और इसमें कोई सब्सक्रिप्शन नहीं है। यहाँ कुछ सामान्य अनुरोधों के लिए यह कैसे काम करता है, यह दिखाया गया है।
| अनुरोध | इनपुट टोकन | आउटपुट टोकन | लागत |
|---|---|---|---|
| शॉर्ट चैट संदेश | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| इतिहास के साथ चैट | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| लंबे दस्तावेज़ का सारांश | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| पूरा 100,000-टोकन प्रॉम्प्ट, छोटा जवाब | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
गणना सरल है: टोकन की संख्या को एक मिलियन से विभाजित करें और कीमत से गुणा करें। चैट-विद-हिस्टरी पंक्ति के लिए, 2,000 / 1,000,000 x $0.15 = $0.0003 और 500 / 1,000,000 x $0.50 = $0.00025, जो मिलाकर $0.00055 बनता है। उसी तरह के एक हजार अनुरोधों की लागत $0.55 होगी।
बजट बनाने में दो बिलिंग विवरण मदद करते हैं। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है, और क्रेडिट समाप्त नहीं होता, इसलिए टॉप-अप एक घड़ी की तरह नहीं चलता। हर प्रतिक्रिया में X-Balance-USD हेडर होता है, जो आपके कोड को अलग से कॉल किए बिना शेष बैलेंस देखने देता है।
होस्टेड इनफ़रेंस या अपना खुद का GPU
आपके पास इनफ़रेंस प्राप्त करने के दो तरीके हैं। आप GPUs किराए पर ले सकते हैं या खरीद सकते हैं, एक सर्विंग इंजन इंस्टॉल कर सकते हैं और एक मॉडल को खुद चला सकते हैं। या आप एक API को कॉल कर सकते हैं और हार्डवेयर को किसी अन्य को सौंप सकते हैं।
इसे खुद चलाने से आपको मॉडल फ़ाइलों, सेटिंग्स और डेटा पाथ पर पूर्ण नियंत्रण मिलता है। कीमत ऑपरेशनल कार्य है: वेट्स और KV कैश के लिए उपयुक्त हार्डवेयर चुनना, ड्राइवरों और इंजनों को अपडेट रखना, ट्रैफ़िक स्पाइक को संभालना और शांत घंटों में मशीन के लिए भुगतान करना। एक होस्टेड API इसे प्रति टोकन बिल में बदल देती है। जब आपका ट्रैफ़िक असमान हो या आप किसी विचार का परीक्षण कर रहे हों, तो यह आमतौर पर तेज़ रास्ता होता है।
यहाँ वर्णित सेवा एक होस्टेड, OpenAI-कम्पैटिबल, टेक्स्ट-ओनली API है। यह एक ओपन-वेट मॉडल चलाता है, जो एक स्वतंत्र प्रदाता द्वारा संचालित है और कानूनी वयस्क उपयोग के लिए बिना अस्वीकृत के जवाब देने के लिए ट्यून्ड है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है, और यह इमेज, ऑडियो या वीडियो जनरेट नहीं करता, एम्बेडिंग्स नहीं बनाता या मॉडल फाइन-ट्यून्ड नहीं करता। यदि आपको उनमें से किसी की आवश्यकता है, तो आपको एक अलग टूल की आवश्यकता है। यदि आपको कम अस्वीकृत के साथ सादा पाठ जनरेशन की आवश्यकता है, तो त्वरित प्रारंभ सेटअप दिखाता है, और मूल्य निर्धारण पेज टॉप-अप विकल्पों की सूची बनाता है।
खुद एक इनफ़रेंस कॉल आज़माएं
संकल्पना को ठोस बनाने का सबसे तेज़ तरीका एक अनुरोध भेजना और उससे लौटे नंबर पढ़ना है। कुंजी बनाने के बाद, यह curl कमांड एंडपॉइंट पर एक चैट पूर्णता अनुरोध भेजता है:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
JSON प्रतिक्रिया में usage ऑब्जेक्ट होता है जिसमें prompt_tokens, completion_tokens और total_tokens होते हैं। ऊपर दिए गए दामों से उनका गुणा करें और आपको कॉल का सटीक खर्च मिल जाता है। OpenAI SDK के साथ Python में वही:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
नए उपयोगकर्ता साइन-अप के बाद कुंजी पृष्ठ पर एक क्लिक से $0.50 का ट्रायल क्रेडिट प्राप्त कर सकते हैं। इसके लिए कार्ड की आवश्यकता नहीं है, यह 7 दिनों तक चलता है, और ऊपर दिए गए दामों के साथ यह लगभग दो हज़ार छोटी चैट संदेशों को कवर करता है। यदि आपको कोई त्रुटि मिलती है जिसे आप नहीं पहचानते, तो समस्या निवारण लेख सामान्य कारणों की सूची देता है।
अधिक गाइड
प्रश्न और उत्तर
क्या इनफ़रेंस मॉडल चलाने के समान है?
हाँ। नए इनपुट पर एक प्रशिक्षित मॉडल चलाने के लिए आउटपुट उत्पन्न करना इनफ़रेंस है। प्रशिक्षण, जो वेट्स को समायोजित करता है, एक अलग और पूर्व चरण है।
आउटपुट इनपुट से महंगा क्यों है?
इनपुट टोकन एक समानांतर पास में एक साथ प्रोसेस होते हैं, जबकि आउटपुट टोकन एक-एक करके उत्पन्न होते हैं। प्रदाता धीमे, क्रमिक भाग को अधिक मूल्य निर्धारित करते हैं, और यह सेवा 1M टोकन के लिए $0.50 बनाम $0.15 चार्ज करती है।
क्या एक लंबा कॉन्टेक्स्ट विंडो अनुरोधों को धीमा करता है?
आमतौर पर हाँ। एक लंबा प्रॉम्प्ट का मतलब अधिक प्रिफिल कार्य और एक बड़ा KV कैश है, इसलिए पहला टोकन मिलने में समय लगता है। आप केवल उन टोकन के लिए भुगतान करते हैं जिन्हें आप वास्तव में भेजते और प्राप्त करते हैं, 100,000-टोकन विंडो के अप्रयुक्त भाग के लिए नहीं।
क्या मुझे एक इनफ़रेंस API का उपयोग करने के लिए GPU की आवश्यकता है?
नहीं। प्रदाता हार्डवेयर चलाता है। आप किसी भी मशीन से HTTPS अनुरोध भेजते हैं, जिसमें लैपटॉप या छोटा सर्वर भी शामिल है।
आपकी कुंजी बस एक फॉर्म की दूरी पर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।
API कुंजी पाएँ