Inference API: คู่มือเริ่มต้นใช้งาน

URL พื้นฐานและการตรวจสอบสิทธิ์

API ของเรา เข้ากันได้กับ OpenAI เพียงอัปเดตการตั้งค่าไคลเอนต์ให้ชี้ไปที่ base URL https://api.llminferenceapi.com/v1 และระบุคีย์ API ใช้ header Authorization: Bearer ตามมาตรฐาน รับคีย์ทันทีหลังสมัครด้วยอีเมลและรหัสผ่าน ไม่ต้องใช้เบอร์โทรหรือบัตรเครดิตสำหรับเครดิตทดลองใช้

• URL พื้นฐาน: https://api.llminferenceapi.com/v1
• ส่วนหัว: Authorization: Bearer YOUR_API_KEY
• รหัสโมเดล: uncensored

การตั้งค่านี้ใช้งานได้กับ SDK ทางการของ OpenAI หรือไลบรารีไคลเอนต์ที่เข้ากันได้ใดๆ คุณคงโครงสร้างโค้ดเดิมของคุณไว้; มีเพียงเอนด์พอยต์และคีย์เท่านั้นที่เปลี่ยนแปลง

คำขอแรก

ทำการเรียกใช้งานเอนด์พอยต์ chat completions ครั้งแรก รหัสโมเดลคือ uncensored โมเดลนี้เป็นโมเดลภาษาขนาดใหญ่แบบเปิดน้ำหนักที่ปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ GPT หรือ Claude

Copycurl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

เนื้อหาคำขอประกอบด้วยอาร์เรย์ messages มาตรฐาน คุณสามารถระบุอุณหภูมิ จำนวนโทเคนสูงสุด และพารามิเตอร์มาตรฐานอื่นๆ ได้ API จะส่งคืนการตอบกลับการเสร็จสิ้นการสนทนามาตรฐานพร้อมสถิติการใช้งานโทเคน หากพบข้อผิดพลาด 401 คีย์ของคุณไม่ถูกต้อง ข้อผิดพลาด 402 หมายความว่าเครดิตแบบเติมเงินล่วงหน้าของคุณหมดแล้ว

การผสานรวม Python SDK

การใช้ Python SDK นั้นตรงไปตรงมา เริ่มต้นไคลเอนต์ด้วย base URL และคีย์ API ของเรา โครงสร้างโค้ดสะท้อนรูปแบบมาตรฐานของ OpenAI สิ่งนี้ช่วยให้คุณสลับบริการ llm proxy ของเราได้โดยไม่ต้องเขียนตรรกะแอปพลิเคชันใหม่

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

ตรวจสอบให้แน่ใจว่าคุณส่งอาร์กิวเมนต์ model='uncensored' ออบเจ็กต์การตอบกลับมีข้อความที่สร้างและเมตริกการใช้งาน วิธีนี้เหมาะสำหรับนักพัฒนาที่ต้องการโซลูชัน openai compatible api ที่พร้อมใช้งานทันที ไม่ต้องใช้ dependencies เพิ่มเติมนอกเหนือจาก SDK มาตรฐาน

การใช้งาน Node.js SDK

สำหรับนักพัฒนา Node.js การผสานรวมง่ายเช่นกัน กำหนดค่า baseURL และ apiKey ในการกำหนดค่าไคลเอนต์ของคุณ SDK จัดการคำขอ HTTP ไปยังเอนด์พอยต์ ai chat api ของเราโดยอัตโนมัติ

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llminferenceapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

เรียกใช้ chat.completions.create() ด้วย ID โมเดล uncensored คุณสามารถสตรีมการตอบกลับหรือจัดการเป็นออบเจ็กต์ที่สมบูรณ์ได้ ความยืดหยุ่นนี้รองรับทั้งการประมวลผลแบบแบตช์และการโต้ตอบของผู้ใช้แบบเรียลไทม์ API รองรับ function calling ซึ่งอนุญาตให้คุณกำหนดฟังก์ชันที่โมเดลสามารถเรียกใช้ได้

การตอบสนองแบบสตรีมมิง

สำหรับประสบการณ์ผู้ใช้แบบเรียลไทม์ ให้เปิดใช้งานสตรีมมิง ตั้งค่าพารามิเตอร์ stream เป็น true ในคำขอของคุณ API จะส่งสตรีม Server-Sent Events (SSE) ของการตอบกลับบางส่วน

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

แต่ละชิ้นมีเดลตาบางส่วนของการตอบสนอง คุณสามารถแสดงโทเคนเหล่านี้ให้ผู้ใช้เห็นเมื่อมาถึง ซึ่งช่วยลดความล่าช้าที่รับรู้ สิ่งนี้สำคัญสำหรับอินเทอร์เฟซการสนทนาที่คาดหวังการตอบกลับทันที การตอบสนองแบบสตรีมมิงรวมถึงข้อมูลการใช้งานโทเคนเดียวกันกับคำขอที่ไม่ใช่สตรีมมิง

ขีดจำกัด ข้อผิดพลาด และบริบท

API ของเราบังคับใช้หน้าต่างบริบท 100,000 โทเคนสำหรับทั้งอินพุตและเอาต์พุตรวมกัน สิ่งนี้รองรับเอกสารยาวและการสนทนาที่ซับซ้อน ขีดจำกัดอัตราถูกตั้งค่าไว้ที่ 300 คำขอต่อนาทีต่อคีย์ หากคุณเกินสิ่งนี้ คุณจะได้รับข้อผิดพลาด 429 ร่างคำขอถูกจำกัดไว้ที่ 8 MB

ข้อผิดพลาดทั่วไป ได้แก่ 401 (คีย์ไม่ถูกต้อง), 402 (เครดิตไม่เพียงพอ) และ 429 (ขีดจำกัดอัตรา) เครดิตไม่หมดอายุ ดังนั้นคุณสามารถเติมเงินได้ตามความสะดวก เครดิตแบบเติมเงินล่วงหน้าเริ่มต้นที่ $10 พร้อมโบนัสสำหรับการเติมเงินจำนวนมากขึ้น โมเดล pay as you go ai api นี้ช่วยให้คุณมั่นใจว่าคุณจ่ายเฉพาะสิ่งที่ใช้เท่านั้น