इन्फरेंस API: त्वरित प्रारंभ गाइड

बेस URL और प्रमाणीकरण

हमारा API पूरी तरह से OpenAI संगत है। स्विच करने के लिए, अपनी क्लाइंट कॉन्फ़िगरेशन को हमारे बेस URL पर इशारा करने के लिए अपडेट करें और अपनी API कुंजी प्रदान करें। बेस URL है https://api.llminferenceapi.com/v1। प्रमाणीकरण मानक Authorization: Bearer हेडर के माध्यम से संभाला जाता है। आप केवल एक ईमेल और पासवर्ड के साथ साइन अप करने के तुरंत बाद अपनी कुंजी प्राप्त करते हैं—ट्रायल के लिए फ़ोन नंबर या क्रेडिट कार्ड की आवश्यकता नहीं है।

• बेस URL: https://api.llminferenceapi.com/v1
• हेडर: Authorization: Bearer YOUR_API_KEY
• मॉडल ID: uncensored

यह सेटअप किसी भी आधिकारिक OpenAI SDK या संगत क्लाइंट लाइब्रेरी के साथ काम करता है। आप अपनी मौजूदा कोड संरचना बनाए रखते हैं; केवल एंडपॉइंट और कुंजी बदलती है।

पहला अनुरोध

चैट कंप्लीशन एंडपॉइंट पर अपना पहला कॉल करें। मॉडल आईडी uncensored है। यह मॉडल एक ओपन-वेट लार्ज लैंग्वेज मॉडल है जिसे कानूनी वयस्कों के उपयोग के लिए सामग्री अस्वीकार के बिना उत्तर देने के लिए ट्यून्ड किया गया है, न कि GPT या क्लॉड।

Copycurl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

अनुरोध बॉडी में मानक messages सरणी शामिल है। आप तापमान, अधिकतम टोकन और अन्य मानक पैरामीटर निर्दिष्ट कर सकते हैं। API टोकन उपयोग आँकड़ों के साथ एक मानक चैट कंप्लीशन प्रतिक्रिया लौटाता है। यदि आपको 401 त्रुटि मिलती है, तो आपकी कुंजी अमान्य है। 402 त्रुटि का अर्थ है कि आपका प्रीपेड क्रेडिट समाप्त हो गया है।

Python SDK एकीकरण

Python SDK का उपयोग करना सरल है। हमारे बेस URL और अपनी API कुंजी के साथ क्लाइंट को इनिशियलाइज़ करें। कोड संरचना मानक OpenAI पैटर्न की नकल करती है। इससे आपको अपनी एप्लिकेशन लॉजिक को फिर से लिखे बिना हमारे llm proxy सेवा को स्विच करने की अनुमति मिलती है।

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

सुनिश्चित करें कि आप model='uncensored' तर्क पास करें। प्रतिक्रिया ऑब्जेक्ट में जनरेटेड टेक्स्ट और उपयोग मेट्रिक्स शामिल हैं। यह दृष्टिकोण उन डेवलपर्स के लिए आदर्श है जो एक ड्रॉप-इन openai compatible api समाधान चाहते हैं। मानक SDK के अलावा कोई अतिरिक्त निर्भरताओं की आवश्यकता नहीं है।

Node.js SDK उपयोग

Node.js डेवलपर्स के लिए, एकीकरण equally सरल है। अपनी क्लाइंट कॉन्फ़िगरेशन में baseURL और apiKey सेट करें। SDK स्वचालित रूप से हमारे ai chat api एंडपॉइंट्स के लिए HTTP अनुरोध संभालता है।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llminferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

मॉडल ID uncensored के साथ chat.completions.create() कॉल करें। आप प्रतिक्रियाओं को स्ट्रीम कर सकते हैं या उन्हें पूर्ण ऑब्जेक्ट्स के रूप में संभाल सकते हैं। यह लचीलाता बैच प्रसंस्करण और रियल-टाइम उपयोगकर्ता इंटरैक्शन दोनों का समर्थन करता है। API टूल कॉलिंग का समर्थन करता है, जिससे आप ऐसे फ़ंक्शन परिभाषित कर सकते हैं जिनका मॉडल उपयोग कर सकता है।

स्ट्रीमिंग प्रतिक्रियाएं

रियल-टाइम उपयोगकर्ता अनुभवों के लिए, स्ट्रीमिंग सक्षम करें। अपने अनुरोध में stream पैरामीटर को true पर सेट करें। API आंशिक प्रतिक्रियाओं का सर्वर-सेंट इवेंट्स (SSE) स्ट्रीम लौटाता है।

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

प्रत्येक चंक प्रतिक्रिया का एक आंशिक डेल्टा शामिल करता है। आप इन टोकन को उपयोगकर्ता को प्रस्तुत कर सकते हैं जैसे ही वे आते हैं, जिससे अनुभूत विलंबता कम होती है। यह चैट इंटरफेस के लिए महत्वपूर्ण है जहाँ तत्क प्रतिक्रिया की अपेक्षा की जाती है। स्ट्रीमिंग प्रतिक्रिया में गैर-स्ट्रीमिंग अनुरोधों की तरह ही टोकन उपयोग जानकारी शामिल होती है।

सीमाएं, त्रुटियां और संदर्भ

हमारा API इनपुट और आउटपुट दोनों के लिए 100,000 टोकन की कॉन्टेक्स्ट विंडो लागू करता है। यह लंबे दस्तावेज़ों और जटिल बातचीत का समर्थन करता है। रेट लिमिट प्रति कुंजी प्रति मिनट 300 अनुरोध पर सेट है। यदि आप इससे अधिक हो जाते हैं, तो आपको 429 त्रुटि मिलती है। अनुरोध बॉडी 8 MB तक सीमित है।

सामान्य त्रुटियों में 401 (अमान्य कुंजी), 402 (अपर्याप्त क्रेडिट) और 429 (रेट लिमिट) शामिल हैं। क्रेडिट कभी समाप्त नहीं होते, इसलिए आप अपनी सुविधानुसार टॉप-अप कर सकते हैं। प्रीपेड क्रेडिट $10 से शुरू होते हैं, बड़े जमा पर बोनस मिलते हैं। यह pay as you go ai api मॉडल सुनिश्चित करता है कि आप केवल उपयोग के लिए भुगतान करें।