LLM Inference APIคู่มือ
API Inference LLM ที่ถูกที่สุด: วิธีประเมินต้นทุนจริง
ราคาต่อโทเคนเป็นเพียงส่วนหนึ่งของเรื่องราว นี่คือวิธีเปรียบเทียบ API Inference บนตัวเลขที่กำหนดใบแจ้งหนี้ของคุณ พร้อมตัวอย่างการคำนวณอัตราของเรา
อัปเดตล่าสุด:


ประเด็นสำคัญ
- ชี้ SDK OpenAI ไปยัง https://api.llminferenceapi.com/v1, ใช้ model ID uncensored และส่งคีย์ของคุณเป็น Bearer token
- มีเอนด์พอยต์สองรายการให้ใช้งาน: POST /v1/chat/completions และ GET /v1/models.
- สตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON ทำงานผ่านฟิลด์คำขอมาตรฐาน
- คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกันได้ 8 รายการและ 300 รายการต่อนาที; การตอบกลับ 429 จะบอกคุณว่าเกินขีดจำกัดใด
ราคาต่อหนึ่งล้านโทเคนเป็นเพียงจุดเริ่มต้น
llm inference api ที่ถูกที่สุดคือ llm inference api ที่มีต้นทุนต่ำสุดสำหรับงานของคุณ ซึ่งไม่จำเป็นต้องเป็นตัวเลขที่ต่ำที่สุดบนหน้าราคา ผู้ให้บริการสองรายอาจระบุราคาเริ่มต้นเท่ากัน แต่บิลจะแตกต่างกันมากเมื่อคุณนับโทเคนเอาต์พุต, พรอมต์ยาว, การเรียกใช้ที่ล้มเหลว และการเติมเงินขั้นต่ำ
ใช้การตรวจสอบสี่ส่วนก่อนเลือก: ราคาอินพุต, ราคาเอาต์พุต, สิ่งที่โมเดลทำกับบริบทยาว, และสิ่งที่คุณจ่ายล่วงหน้า บทความนี้อธิบายแต่ละส่วน แสดงราคาของเราเป็นตัวอย่าง และปล่อยตัวเลขของผู้ให้บริการรายอื่นให้คุณ ตรวจสอบราคาปัจจุบันของพวกเขาและใส่ตัวเลขลงในสูตรเดียวกัน
โทเคนอินพุตเทียบกับโทเคนเอาต์พุต
API LLM เกือบทุกแห่งคิดราคาอินพุตและเอาต์พุตแยกกัน และเอาต์พุตมักจะมีราคาสูงกว่า อัตราของเราคือ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต ซึ่งทำให้เอาต์พุตมีราคาสูงกว่าอินพุตประมาณสามเท่า ดังนั้นสัดส่วนการรับส่งข้อมูลของคุณจึงส่งผลต่อผลลัพธ์
นี่คือวิธีที่ราคาเฉลี่ยเปลี่ยนแปลงตามอัตราส่วนระหว่างโทเคนอินพุตต่อโทเคนเอาต์พุต:
| อัตราส่วน อินพุต : เอาต์พุต | ต้นทุนสำหรับ 1M โทเคนรวม | เฉลี่ยต่อ 1M |
|---|---|---|
| 1 : 1 | 0.5M x $0.15 + 0.5M x $0.50 = $0.325 | $0.325 |
| 3 : 1 | 0.75M x $0.15 + 0.25M x $0.50 = $0.2375 | $0.2375 |
| 10 : 1 | ประมาณ 0.909M x $0.15 + 0.091M x $0.50 = $0.1818 | ประมาณ $0.18 |
| 1 : 3 | 0.25M x $0.15 + 0.75M x $0.50 = $0.4125 | $0.4125 |
โปรแกรมสรุปข้อความอ่านมากแต่เขียนน้อย จึงอยู่ใกล้แถว 10 : 1 ส่วนโปรแกรมสร้างเรื่องราวเขียนมากจากพรอมต์สั้น จึงอยู่ใกล้แถว 1 : 3 เมื่อเปรียบเทียบผู้ให้บริการสองราย ให้คำนวณทั้งสองแถวสำหรับอัตราส่วนของคุณเอง ผู้ให้บริการที่ราคาถูกกว่าในอินพุตอาจมีราคาสูงกว่าเมื่อเป็นงานที่เน้นการสร้างเนื้อหา
ความยาวของบริบทส่งผลต่อบิล
แอปแชทส่งการสนทนาทั้งหมดอีกครั้งในแต่ละเทิร์น หากการสนทนาเติบโตถึง 20 เทิร์น เทิร์นที่ 20 จะมีการสนทนา 19 ครั้งก่อนหน้าเป็นอินพุต ดังนั้นต้นทุนของการสนทนาจึงเติบโตเร็วกว่าความยาวของมัน
ตัวอย่างการคำนวณ แต่ละเทิร์นเพิ่ม 300 โทเคนของข้อความผู้ใช้และ 300 โทเคนของคำตอบ และพรอมต์ระบบมี 500 โทเคน อินพุตที่เทิร์น n คือ 500 + (n - 1) x 600 + 300 โทเคน เมื่อรวมตลอด 20 เทิร์นจะได้ 20 x 800 + 600 x 190 = 130,000 โทเคนอินพุต บวก 20 x 300 = 6,000 โทเคนเอาต์พุต อินพุตมีต้นทุน 130,000 x $0.15 / 1M = $0.0195 และเอาต์พุตมีต้นทุน 6,000 x $0.50 / 1M = $0.003 ดังนั้นการสนทนา 20 เทิร์นทั้งหมดมีต้นทุน $0.0225
ตัวเลขที่แน่นอนสำคัญน้อยกว่ารูปแบบ: อินพุตเป็นปัจจัยหลักในการสนทนาที่ยาวนาน ผู้ให้บริการที่มีราคาอินพุตถูกจะช่วยคุณมากกว่าผู้ให้บริการที่มีราคาเอาต์พุตถูก การตัดเทิร์นเก่าออก หรือสรุปข้อความ จะลดต้นทุนที่ใหญ่ที่สุด หน้าต่างบริบทของเราคือ 100,000 โทเคน รวมพรอมต์และคอมพลีชัน ดังนั้นเอกสารที่ยาวมากจึงรองรับได้ แต่จะมีต้นทุนโทเคนอินพุตทุกครั้งที่คุณส่งเอกสารเหล่านั้น
ต้นทุนแฝงที่ต้องตรวจสอบ
- การเติมเงินขั้นต่ำ ของเราคือ $20 โดยเติมจำนวนเต็มใดๆ ได้ถึง $500 ผู้ให้บริการที่มีราคาต่อโทเคนต่ำแต่มีขั้นต่ำสูงอาจมีต้นทุนสูงกว่าสำหรับโครงการขนาดเล็ก
- การหมดอายุ เครดิตที่หมดอายุคือเครดิตที่คุณอาจเสียเปล่า เครดิตของเราไม่หมดอายุ
- การสมัครสมาชิก ค่ารายเดือนเปลี่ยนบริการแบบจ่ายตามโทเคนให้เป็นต้นทุนคงที่ ของเราเป็นแบบจ่ายตามการใช้งาน
- ค่าความล้มเหลว คำขอที่ล้มเหลวหรือถูกปฏิเสธไม่มีการคิดเงินที่นี่ ตรวจสอบสิ่งนี้กับผู้ให้บริการที่คุณเปรียบเทียบ
- ขีดจำกัดอัตรา ราคาที่ถูกแต่มีขีดจำกัดคำขอต่ำบังคับให้คุณซื้อบัญชีที่สองหรือลดความเร็วของไปป์ไลน์ คีย์เต็มที่นี่อนุญาตคำขอพร้อมกันได้ 8 คำขอและ 300 คำขอต่อนาที
- ค่าธรรมเนียมการชำระเงินและโบนัส เราเพิ่มเครดิต +5% จาก $50, +10% จาก $100 และ +15% จาก $200 ดังนั้นการเติมเงิน $200 จะได้ $230
อัตราของเราพร้อมตัวอย่างการคำนวณ
ตัวเลขทั้งหมดด้านล่างใช้ $0.15 ต่อ 1M อินพุต และ $0.50 ต่อ 1M เอาต์พุต
| Workload | โทเคน | ต้นทุน |
|---|---|---|
| หนึ่งเทิร์นแชท: 2,000 อินพุต, 500 เอาต์พุต | 2,500 | $0.0003 + $0.00025 = $0.00055 |
| 1,000 รอบเช่นนี้ | 2.5M | $0.55 |
| สรุป 10,000 บทความ: 3,000 อินพุต, 200 เอาต์พุต ต่อรายการ | 32M | $4.50 + $1.00 = $5.50 |
| สร้างเรื่องราว 5,000 เรื่อง: อินพุต 300, เอาต์พุต 1,500 ต่อเรื่อง | 9M | $0.225 + $3.75 = $3.975 |
ตรวจสอบแถวตัวสรุป: 10,000 x 3,000 = 30M input tokens, และ 30 x $0.15 = $4.50. 10,000 x 200 = 2M output tokens, และ 2 x $0.50 = $1.00. รวมเป็น $5.50. สำหรับแถวเรื่อง: 5,000 x 300 = 1.5M input, ซึ่งคือ $0.225, และ 5,000 x 1,500 = 7.5M output, ซึ่งคือ $3.75. รวมเป็น $3.975
หน้าราคา แสดงอัตราและโบนัส คุณสามารถชำระเงินด้วยคริปโต (USDT บน TRC20, USDC บน Base).
วัดต้นทุนจริงด้วยสคริปต์
อย่าไว้วางใจการประมาณการเป็นเวลานาน รันพรอมต์ตัวแทน 50 รายการและให้ API รายงานโทเคน โค้ดด้านล่างพิมพ์การประมาณการต้นทุนจากฟิลด์ usage
from openai import OpenAI
client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50 # dollars per 1M tokens
def cost(u):
return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000
total = 0.0
for p in open("prompts.txt"):
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": p.strip()}],
)
total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))คูณค่าเฉลี่ยด้วยคำขอรายเดือนที่คาดไว้ ทำเช่นเดียวกันกับแต่ละผู้ให้บริการที่คุณกำลังพิจารณา และรักษาคุณภาพไว้โดยอ่านตัวอย่างคำตอบ โมเดลที่ราคาถูกกว่าแต่ต้องใช้สองครั้งต่องานหนึ่งงาน ไม่ได้ถูกกว่า
การเปรียบเทียบห้าขั้นตอนที่คุณสามารถเสร็จสิ้นในหนึ่งชั่วโมง
- บันทึกจำนวน input และ output tokens ที่คาดไว้ต่อคำขอ จากตัวอย่างพรอมต์จริง
- คูณด้วยราคา input และ output ของแต่ละผู้ให้บริการ ต่อคำขอและต่อเดือน
- เพิ่มต้นทุนคงที่: การเติมเงินขั้นต่ำ, การสมัครสมาชิก และเครดิตใดๆ ที่หมดอายุก่อนที่คุณจะใช้
- รันพรอมต์จริง 20 รายการเดียวกันบนแต่ละโมเดลและให้คะแนนคำตอบ เพื่อที่คุณจะเปรียบเทียบต้นทุนต่อคำตอบที่ดี ไม่ใช่ต้นทุนต่อโทเคน
- ตรวจสอบขีดจำกัดเทียบกับปริมาณการจราจรสูงสุดของคุณ หากคุณต้องการมากกว่า 8 คำขอพร้อมกัน ให้ถามว่าคุณสามารถใช้คิวแทนได้หรือไม่
ผลลัพธ์คือตารางที่มีแถวเดียวสำหรับผู้ให้บริการแต่ละราย พร้อมตัวเลขรายเดือนสำหรับปริมาณงานของคุณ ตารางนี้คือคำตอบที่แท้จริงของคำถามในหัวข้อเรื่อง และยังคงใช้ได้จนกว่าผู้ให้บริการจะเปลี่ยนราคา จึงควรตรวจสอบอีกครั้งทุกไม่กี่เดือน การเปรียบเทียบเฟรมเวิร์ก มีประโยชน์หากคุณยังรันโมเดลบนฮาร์ดแวร์ของคุณเอง และหน้า ข้อผิดพลาดทั่วไปของ API แชท ระบุข้อผิดพลาดที่เพิ่มบิลอย่างเงียบๆ เช่น การส่งประวัติเดิมซ้ำสองครั้ง.
สิ่งที่ตัวเลือกราคาถูกทำไม่ได้
ไม่ว่าคุณจะเลือกผู้ให้บริการรายใด คุณสามารถลดต้นทุนได้สี่วิธี จำกัด max_tokens เมื่อคำตอบสั้นก็เพียงพอ เนื่องจาก output เป็นด้านที่แพงกว่า ตัดระบบพรอมต์และลบเทิร์นที่โมเดลไม่ต้องการอีกต่อไป จัดเส้นทางงานง่ายๆ เช่น การจำแนกประเภท ไปยังพรอมต์สั้นที่มีรูปแบบ output ที่เข้มงวด และบันทึกโทเคนต่อฟีเจอร์ เพื่อที่คุณจะสังเกตเมื่อเทมเพลตพรอมต์หนึ่งขยายขนาดขึ้นอย่างเงียบๆ หลังจากแก้ไข ความเคยชินเหล่านี้ช่วยประหยัดได้มากกว่าเปลี่ยนผู้ให้บริการเพียงไม่กี่เซ็นต์
บริการนี้ใช้เฉพาะข้อความ ไม่มี embeddings การสร้างภาพหรือเสียง และการปรับแต่งพิเศษ ดังนั้นหากคุณต้องการสิ่งเหล่านี้ คุณจะต้องจ่ายให้ผู้ให้บริการรายอื่นสำหรับสิ่งเหล่านั้น มันรันโมเดลแบบเปิดน้ำหนักหนึ่งตัวจากผู้ให้บริการอิสระ ซึ่งปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และไม่ใช่ API ทางการของผู้ให้บริการโมเดลรายใด เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่ได้รับอนุญาตเด็ดขาด
ว่าราคาถูกที่สุดสำหรับคุณหรือไม่ ขึ้นอยู่กับว่าโมเดลเดียวนี้เพียงพอต่องานของคุณหรือไม่ ลองทดสอบฟรีก่อน: ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้เพียงคลิกเดียวที่หน้า API key โดยไม่ต้องใช้บัตร จากนั้นอ่าน เอกสาร หากเป็นมือใหม่กับพื้นฐาน LLM inference คืออะไร ครอบคลุมคำศัพท์ที่ใช้ข้างต้น.
คู่มือเพิ่มเติม
ถาม-ตอบ
หนึ่งข้อความแชทมีราคาเท่าใด?
การตอบกลับที่มี 2,000 input token และ 500 output token มีราคา $0.00055 ดังนั้น 1,000 การตอบกลับมีราคา $0.55
มีค่าธรรมเนียมรายเดือนหรือไม่?
ไม่ เป็นการจ่ายตามการใช้งานจากเครดิตแบบเติมเงินล่วงหน้า และเครดิตไม่หมดอายุ
คำขอที่ล้มเหลวถูกเรียกเก็บเงินหรือไม่?
ไม่ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน
ราคาต่ำสุดคือข้อเสนอที่ดีที่สุดเสมอหรือไม่?
ไม่ อัตราส่วน output, ความยาวของ context, ยอดเติมเงินขั้นต่ำ และคุณภาพของคำตอบ ล้วนส่งผลต่อต้นทุนจริง
เพียงกรอกแบบฟอร์มเดียวคีย์ของคุณก็พร้อมใช้งาน
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด
รับคีย์ API