HI ▾
API कुंजी पाएँ

LLM Inference APIमार्गदर्शिका

LLM इनफ्रेंस फ्रेमवर्क तुलना बनाम होस्टेड API

यह LLM इनफ्रेंस फ्रेमवर्क तुलना उन इंजनों को कवर करती है जिन्हें आप खुद चला सकते हैं (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) और उन्हें एक होस्टेड OpenAI-कम्पेटिबल API के सामने रखती है। सही चयन आपकी हार्डवेयर, आपके डेटा ट्रैफिक और आपको कितना ऑपरेशंस वर्क करना है, इस पर निर्भर करता है।

अपडेट किया गया:

कई सर्वर टावर और एक क्लाउड नोड का चित्रण, स्व-होस्टेड इनफ्रेंस इंजनों की होस्टेड API से तुलना

मुख्य बिंदु

  1. vLLM, SGLang और TensorRT-LLM कई एक साथ उपयोगकर्ताओं वाले GPU सर्वरों के लिए बने हैं; llama.cpp और Ollama एकल मशीन, जिसमें लैपटॉप शामिल हैं, के लिए बने हैं।
  2. स्व-होस्टिंग वेट्स और डेटा पथ पर नियंत्रण देती है, लेकिन आप हार्डवेयर और रखरखाव के लिए भुगतान करते हैं भले ही वह निष्क्रिय हो।
  3. एक होस्टेड API की लागत निष्क्रिय अवस्था में शून्य होती है और यह प्रति टोकन के लिए बिल किया जाता है, जो असमान या प्रारंभिक ट्राफिक के लिए उपयुक्त है।
  4. इनमें से अधिकांश उपकरण OpenAI API फॉर्मेट का उपयोग करते हैं, इसलिए उनके बीच स्थानांतरित होने से आमतौर पर एक बेस URL बदलने की आवश्यकता होती है।

दो प्रश्न जो अधिकांश निर्णय तय करते हैं

इंजनों की तुलना करने से पहले, दो सवालों के जवाब दें। पहला, क्या आपको मॉडल खुद चुनना है? यदि आपको एक विशिष्ट सेट वेट्स चलाना है, तो एक होस्टेड सर्विस जो एकल मॉडल प्रदान करती है, आपकी मदद नहीं कर सकती, और फ्रेमवर्क एकमात्र रास्ता है। दूसरा, आपका ट्रैफिक कितना स्थिर है? एक GPU जो दिन में चौबीसों घंटे व्यस्त रहता है, पैसे का अच्छा उपयोग है। एक GPU जो शाम को बर्स्ट संभालता है और बाकी समय निष्क्रिय रहता है, वह अच्छा उपयोग नहीं है।

यदि पहले सवाल का जवाब "कोई भी सक्षम मॉडल जो साधारण वयस्क अनुरोधों को रिजेक्ट नहीं करता, ठीक है" है और दूसरे सवाल का जवाब "असमान" है, तो एक होस्टेड API संभवतः सरलतर विकल्प है। यदि आपको किसी विशेष फाइन-ट्यून की आवश्यकता है, स्थिर भारी लोड है, या आपको हर बाइट को अपने मशीनों पर रखना है, तो नीचे दिए गए फ्रेमवर्क्स देखें।

फ्रेमवर्क्स, एक-एक करके

vLLM

GPUs के लिए एक ओपन-सोर्स सर्विंग इंजन। यह कंटिन्यूअस बैचिंग के लिए जाना जाता है, जो नए अनुरोधों को चल रहे बैच में जोड़कर GPU को व्यस्त रखता है, और KV कैश के लिए पेज्ड एप्रोच के लिए जो कम मेमोरी बर्बाद करता है। यह एक OpenAI-कम्पेटिबल HTTP सर्वर प्रदान करता है। यह एक मजबूत डिफ़ॉल्ट विकल्प है जब आपके पास डेटासेंटर-क्लास GPU और कई कॉन्करेंट यूज़र्स हों। सेटअप में CUDA ड्राइवर, मेल खाने वाले वर्शन और मॉडल मेमोरी प्लानिंग शामिल है।

SGLang

एक अन्य ओपन-सोर्स सर्विंग फ्रेमवर्क जो उच्च-थ्रूपुट GPU सर्विंग के लिए बनाया गया है, जिसमें संरचित आउटपुट और पूर्वसंयोजक पुन:उपयोग के लिए फीचर्स हैं। यह vLLM की ही श्रेणी में आता है, और टीम अक्सर एक चुनने से पहले अपने वर्कलोड पर दोनों का बेंचमार्क लेती है। किसी भी प्रकाशित बेंचमार्क को सावधानी से देखें: परिणाम मॉडल, हार्डवेयर, प्रॉम्प्ट लंबाई और वर्शन के साथ बदलते हैं।

TensorRT-LLM

NVIDIA का लाइब्रेरी जो NVIDIA GPUs पर मॉडल को कंपाइल और चलाने के लिए है। यह उस हार्डवेयर से बहुत प्रदर्शन निकाल सकता है, लेकिन भारी बिल्ड और तैनाती प्रक्रिया की कीमत पर और एक विक्रेता के स्टैक से जुड़ाव के साथ। यह तभी समझ में आता है जब आप NVIDIA कार्ड्स पर एक फिक्स्ड मॉडल को स्केल पर चलाते हैं और इसे बनाए रखने के लिए इंजीनियर हों।

llama.cpp

एक C/C++ कार्यान्वयन जो CPUs, Apple Silicon और कई GPUs पर GGUF प्रारूप में क्वांटाइज्ड मॉडल्स को चलाता है। इसमें llama-server शामिल है, जो एक OpenAI-शैली एंडपॉइंट उपलब्ध कराता है। क्वांटीकरण मेमोरी की आवश्यकता को कम करता है, कुछ आउटपुट गुणवत्ता की कीमत पर जो इसकी आक्रामकता पर निर्भर करता है। यह एक लैपटॉप, होम सर्वर या ऑफलाइन टूल के लिए व्यावहारिक विकल्प है।

Ollama

लोकल मॉडल चलाने के लिए एक रैपर: आप नाम से मॉडल खींचते हैं और यह डाउनलोड, स्टोरेज और एक स्थानीय सर्वर, जिसमें एक OpenAI-कम्पेटिबल एंडपॉइंट भी शामिल है, संभालता है। यह प्रयोगों और व्यक्तिगत उपयोग के लिए उत्कृष्ट है। यह एक उपयोगकर्ता या कुछ के लिए बनाया गया है, न कि एक व्यस्त सार्वजनिक ऐप को सर्व करने के लिए।

साइड बाय साइड

विकल्पसर्वोत्तम फिटआप प्रबंधित करते हैंलागत मॉडल
vLLM / SGLangसर्वर GPUs पर कई यूज़र्सड्राइवर, GPUs, स्केलिंग, अपडेट्सहार्डवेयर, चाहे वह व्यस्त हो या बेकार
TensorRT-LLMNVIDIA कार्ड्स पर स्केल पर फिक्स्ड मॉडलबिल्ड्स, डेप्लॉयमेंट, ट्यूनिंगहार्डवेयर और इंजीनियरिंग समय का योग
llama.cppलैपटॉप, छोटे सर्वर, ऑफ़लाइन उपयोगमॉडल फ़ाइलें, क्वांटीज़ेशन विकल्पअपनी मशीन
Ollamaलोकल प्रयोग, व्यक्तिगत टूल्समॉडल डाउनलोड, डिस्क स्थानअपनी मशीन
होस्टेड APIअसमान या शुरुआती ट्रैफ़िक, GPU ऑप्स नहींएक API कुंजी और आपका कोडप्रति टोकन, निष्क्रिय होने पर कुछ नहीं

टेबल में स्पीड फ़िगर जानबूझकर छोड़े गए हैं। थ्रूपुट मॉडल, क्वांटीज़ेशन, प्रॉम्प्ट लंबाई और बैच साइज पर निर्भर करता है, इसलिए किसी दूसरे के सेटअप से कोई नंबर आपके पास आसानी से ट्रांसफ़र नहीं होता।

एक होस्टेड API क्या छोड़ती है, और क्या देती है

इस साइट पर वर्णित होस्टेड विकल्प एक टेक्स्ट-ओनली, OpenAI-कम्पेटिबल API है जो एक ओपन-वेट मॉडल चलाता है, एक स्वतंत्र प्रोवाइडर द्वारा संचालित और कानूनी वयस्क उपयोग के लिए बिना सेंसर जवाब देने के लिए ट्यून्ड। मॉडल आईडी uncensored है। यह स्ट्रीमिंग, टूल कॉलिंग और JSON मोड को सपोर्ट करता है, 100,000-टोकन कॉन्टेक्स्ट विंडो के साथ।

आप जो छोड़ते हैं, वह स्पष्ट है। आप वेट्स को चुन या बदल नहीं सकते। आप फाइन-ट्यून नहीं कर सकते। कोई एम्बेडिंग्स, इमेज, ऑडियो या वीडियो जनरेशन नहीं है, और सर्विस रेट लिमिट्स से बंधी है: एक फुल कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध की अनुमति देती है, और एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। यह किसी भी मॉडल वेंडर की ऑफ़िशियल API भी नहीं है।

जो आप बदले में पाते हैं वह शून्य इन्फ्रास्ट्रक्चर है। खरीदने के लिए कोई GPU नहीं, अपडेट करने के लिए कोई इंजन नहीं और कोई आइडल लागत नहीं। आप प्रीपेड क्रेडिट से प्रति 1M इनपुट टोकन के लिए $0.15 और प्रति 1M आउटपुट टोकन के लिए $0.50 भुगतान करते हैं जो कभी एक्सपायर नहीं होता है, और फेल या रिफ्यूज किए गए अनुरोधों के लिए चार्ज नहीं किया जाता है। प्राइसिंग पेज पर टॉप-अप एमाउंट्स और बोनस हैं।

जब आप सेल्फ-होस्ट करते हैं तो लोग जो कॉस्ट्स भूल जाते हैं

GPU की कीमत बजट की पहली लाइन मात्र है। API से अपने सर्वरों पर जाने वाली टीमें दूसरी और तीसरी लाइनों से हैरान रहती हैं।

  • मेमोरी हेडरूम। वेट्स ही एकमात्र चीज़ नहीं हैं जो GPU मेमोरी की मांग करती हैं। KV कैश हर समानांतर अनुरोध और कॉन्टेक्स्ट के हर टोकन के साथ बढ़ता है, इसलिए एक कार्ड जो मॉडल को आराम से लोड कर सकता है, वह 20 समानांतर यूजर्स के साथ लंबे प्रॉम्प्ट्स पर भी रूम खत्म कर सकता है।
  • आइडल टाइम। रात और वीकेंड के घंटों की कीमत पीक घंटों के समान है। ऑटोस्केलिंग मदद करती है, लेकिन एक GPU नोड शुरू करना और बड़े वेट्स लोड करने में मिनट लगते हैं, सेकंड नहीं।
  • अपग्रेड्स और ब्रेकेज। सर्विंग इंजन अक्सर रिलीज होते हैं। एक ड्राइवर अपडेट या एक नए इंजन वर्शन से व्यवहार बदल सकता है, और किसी को इसे प्रोडक्शन में देखने से पहले टेस्ट करना होगा।
  • सुरक्षा और दुरुपयोग प्रबंधन। अपने स्वयं के डिप्लॉयमेंट के साथ, फिल्टरिंग नीति, लॉगिंग और दुरुपयोग प्रतिक्रिया डिज़ाइन करने और उसकी जवाबदेही आपके पास है।

इसका मतलब यह नहीं है कि सेल्फ-होस्टिंग एक बुरा विचार है। इसका मतलब है कि तुलना में स्टाफ टाइम शामिल होना चाहिए, न कि केवल मशीन की प्रति घंटे की कीमत।

एक कॉस्ट चेक जो आप अपने नंबरों पर चला सकते हैं

तुलना करने का ईमानदार तरीका यह है कि आपका असल वर्कलोड प्राइस करें। मान लीजिए कि एक ऐप एक महीने में 100M इनपुट टोकन और 20M आउटपुट टोकन का उपयोग करता है।

  • इनपुट: 100 x $0.15 = $15।
  • आउटपुट: 20 x $0.50 = $10।
  • कुल: महीने के लिए $25.

अब उसकी तुलना में अपनी वैकल्पिक सेवा का मासिक खर्च लिखें: सर्वर या GPU किराया, पावर (यदि यह आपका अपना हार्डवेयर है), और किसी व्यक्ति द्वारा उसे चलाने में बिताए गए घंटे। हार्डवेयर या क्लाउड GPUs के लिए वर्तमान कीमतें स्वयं जाँचें, क्योंकि वे अक्सर बदलती हैं। यदि आपकी वैकल्पिक सेवा आपकी मात्रा पर API बिल से कम खर्च आती है, और आप मशीन को व्यस्त रख सकते हैं, तो स्व-होस्टिंग पैसे की दृष्टि से बेहतर है। यदि API बिल कम है, या यदि आपका लोड असमान है, तो होस्टेड रास्ता बेहतर है।

विपरीत मामले का भी महत्व है। उस मात्रा के 10 गुना पर, वही गणना मासिक $250 देती है, और एक समर्पित GPU जो आपके द्वारा चुने गए मॉडल को चलाता है, बेहतर लगने लग सकता है, विशेष रूप से यदि आपको उस सेवा द्वारा नहीं दी जाने वाली मॉडल की आवश्यकता है। जब आपकी उपयोगिता बदलती है, तो पुनः गणना करें।

दोनों तरफ समान क्लाइंट कोड

इस श्रेणी का एक उपयोगी गुण यह है कि vLLM, llama.cpp, Ollama और अधिकांश होस्टेड सर्विसें सभी OpenAI अनुरूप प्रारूप प्रदर्शित करते हैं। आपके एप्लिकेशन कोड को यह नहीं पता होना चाहिए कि URL के पीछे कौन सा है। केवल बेस URL, कुंजी और मॉडल का नाम बदलता है। यहाँ होस्टेड एंडपॉइंट के लिए क्लाइंट है:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir short story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)

यदि आप बाद में अपने सर्वर पर स्थानांतरित होते हैं, तो आप बेस URL और मॉडल नाम संपादित करते हैं और शेष अक्षुण्ण रखते हैं। इससे होस्टेड साइड पर शुरू करना कम जोखिम वाला बन जाता है, आप अपने वास्तविक टोकन वॉल्यूम माप सकते हैं और डेटा के आधार पर हार्डवेयर के बारे में निर्णय ले सकते हैं। क्विकस्टार्ट स्ट्रीमिंग, टूल्स और JSON मोड को कवर करता है, और की पेज से ट्रायल कुंजी उपलब्ध है।

आपको कौन सा चुनना चाहिए

  • आप इस सप्ताह विचारों को आज़माना चाहते हैं: एक होस्टेड API का उपयोग करें, या Ollama यदि आपके पास एक सक्षम कंप्यूटर है और आप सब कुछ लोकल चाहते हैं।
  • आपको एक सटीक मॉडल या एक निजी फाइन-ट्यून चाहिए: vLLM या SGLang किराए पर ली गई या स्वामित्व वाली GPUs पर।
  • आप NVIDIA हार्डवेयर पर एक प्लेटफ़ॉर्म टीम के साथ एक स्थिर मॉडल को स्केल पर चलाते हैं: TensorRT-LLM को आज़माना मूल्यवान है।
  • आपको ऑफ़लाइन संचालन या एक छोटा फ़ुटप्रिंट चाहिए: एक क्वांटाइज़्ड मॉडल के साथ llama.cpp।
  • आपको कम अस्वीकृतियों वाले एक टेक्स्ट मॉडल और कोई हार्डवेयर वर्क नहीं चाहिए: यहाँ होस्टेड एंडपॉइंट, ऊपर दी गई सीमाओं को ध्यान में रखते हुए।

प्रश्न और उत्तर

क्या vLLM llama.cpp से बेहतर है?

वे अलग-अलग सेटअप को टारगेट करते हैं। vLLM सर्वर GPUs पर कई उपयोगकर्ताओं को सर्व करने के लिए बनाया गया है, जबकि llama.cpp एकल मशीन पर क्वांटीज़्ड मॉडल को चलाने के लिए बनाया गया है, जिसमें CPUs और लैपटॉप शामिल हैं।

क्या मैं इन फ्रेमवर्क्स के साथ OpenAI SDK का उपयोग कर सकता हूँ?

सामान्यतः हाँ। vLLM, llama.cpp का सर्वर और Ollama सभी OpenAI-अनुकूल एंडपॉइंट प्रदान करते हैं, और यह होस्टेड API भी प्रदान करता है। आप बेस URL, कुंजी और मॉडल का नाम बदलते हैं।

स्व-होस्टिंग API से सस्ता कब बन जाता है?

जब आपकी हार्डवेयर और रखरखाव की मासिक लागत API पर आपके टोकन वॉल्यूम की लागत से कम हो, और आप हार्डवेयर को व्यस्त रख सकें। अपनी वर्कलोड की कीमत $0.15 और $0.50 प्रति 1M टोकन पर रखकर देखें।

क्या होस्टेड API मुझे मॉडल चुनने देता है?

नहीं। यह uncensored आईडी के तहत एक मॉडल सर्व करता है। यदि आपको विशिष्ट वेट्स चाहिए, तो आपको उन्हें खुद चलाना होगा।

आपकी कुंजी बस एक फॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ