TH ▾
รับคีย์ API

LLM Inference APIคู่มือ

API Inference LLM ที่ถูกที่สุด: วิธีประเมินต้นทุนจริง

ราคาต่อโทเคนเป็นเพียงส่วนหนึ่งของเรื่องราว นี่คือวิธีเปรียบเทียบ API Inference บนตัวเลขที่กำหนดใบแจ้งหนี้ของคุณ พร้อมตัวอย่างการคำนวณอัตราของเรา

อัปเดตล่าสุด:

เครื่องชั่งดุลยภาพถ่วงลูกบาศก์โทเคนกับเหรียญเพื่อเปรียบเทียบต้นทุน API
ภาพประกอบไอโซเมตริกแสดงแพ็กเก็ตข้อมูลที่ไหลจากเทอร์มินัลไปยังเกตเวย์คลาวด์ แทนการเรียก API การอนุมาน

ประเด็นสำคัญ

  1. ชี้ SDK OpenAI ไปยัง https://api.llminferenceapi.com/v1, ใช้ model ID uncensored และส่งคีย์ของคุณเป็น Bearer token
  2. มีเอนด์พอยต์สองรายการให้ใช้งาน: POST /v1/chat/completions และ GET /v1/models.
  3. สตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON ทำงานผ่านฟิลด์คำขอมาตรฐาน
  4. คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกันได้ 8 รายการและ 300 รายการต่อนาที; การตอบกลับ 429 จะบอกคุณว่าเกินขีดจำกัดใด

ราคาต่อหนึ่งล้านโทเคนเป็นเพียงจุดเริ่มต้น

llm inference api ที่ถูกที่สุดคือ llm inference api ที่มีต้นทุนต่ำสุดสำหรับงานของคุณ ซึ่งไม่จำเป็นต้องเป็นตัวเลขที่ต่ำที่สุดบนหน้าราคา ผู้ให้บริการสองรายอาจระบุราคาเริ่มต้นเท่ากัน แต่บิลจะแตกต่างกันมากเมื่อคุณนับโทเคนเอาต์พุต, พรอมต์ยาว, การเรียกใช้ที่ล้มเหลว และการเติมเงินขั้นต่ำ

ใช้การตรวจสอบสี่ส่วนก่อนเลือก: ราคาอินพุต, ราคาเอาต์พุต, สิ่งที่โมเดลทำกับบริบทยาว, และสิ่งที่คุณจ่ายล่วงหน้า บทความนี้อธิบายแต่ละส่วน แสดงราคาของเราเป็นตัวอย่าง และปล่อยตัวเลขของผู้ให้บริการรายอื่นให้คุณ ตรวจสอบราคาปัจจุบันของพวกเขาและใส่ตัวเลขลงในสูตรเดียวกัน

โทเคนอินพุตเทียบกับโทเคนเอาต์พุต

API LLM เกือบทุกแห่งคิดราคาอินพุตและเอาต์พุตแยกกัน และเอาต์พุตมักจะมีราคาสูงกว่า อัตราของเราคือ $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต ซึ่งทำให้เอาต์พุตมีราคาสูงกว่าอินพุตประมาณสามเท่า ดังนั้นสัดส่วนการรับส่งข้อมูลของคุณจึงส่งผลต่อผลลัพธ์

นี่คือวิธีที่ราคาเฉลี่ยเปลี่ยนแปลงตามอัตราส่วนระหว่างโทเคนอินพุตต่อโทเคนเอาต์พุต:

อัตราส่วน อินพุต : เอาต์พุตต้นทุนสำหรับ 1M โทเคนรวมเฉลี่ยต่อ 1M
1 : 10.5M x $0.15 + 0.5M x $0.50 = $0.325$0.325
3 : 10.75M x $0.15 + 0.25M x $0.50 = $0.2375$0.2375
10 : 1ประมาณ 0.909M x $0.15 + 0.091M x $0.50 = $0.1818ประมาณ $0.18
1 : 30.25M x $0.15 + 0.75M x $0.50 = $0.4125$0.4125

โปรแกรมสรุปข้อความอ่านมากแต่เขียนน้อย จึงอยู่ใกล้แถว 10 : 1 ส่วนโปรแกรมสร้างเรื่องราวเขียนมากจากพรอมต์สั้น จึงอยู่ใกล้แถว 1 : 3 เมื่อเปรียบเทียบผู้ให้บริการสองราย ให้คำนวณทั้งสองแถวสำหรับอัตราส่วนของคุณเอง ผู้ให้บริการที่ราคาถูกกว่าในอินพุตอาจมีราคาสูงกว่าเมื่อเป็นงานที่เน้นการสร้างเนื้อหา

ความยาวของบริบทส่งผลต่อบิล

แอปแชทส่งการสนทนาทั้งหมดอีกครั้งในแต่ละเทิร์น หากการสนทนาเติบโตถึง 20 เทิร์น เทิร์นที่ 20 จะมีการสนทนา 19 ครั้งก่อนหน้าเป็นอินพุต ดังนั้นต้นทุนของการสนทนาจึงเติบโตเร็วกว่าความยาวของมัน

ตัวอย่างการคำนวณ แต่ละเทิร์นเพิ่ม 300 โทเคนของข้อความผู้ใช้และ 300 โทเคนของคำตอบ และพรอมต์ระบบมี 500 โทเคน อินพุตที่เทิร์น n คือ 500 + (n - 1) x 600 + 300 โทเคน เมื่อรวมตลอด 20 เทิร์นจะได้ 20 x 800 + 600 x 190 = 130,000 โทเคนอินพุต บวก 20 x 300 = 6,000 โทเคนเอาต์พุต อินพุตมีต้นทุน 130,000 x $0.15 / 1M = $0.0195 และเอาต์พุตมีต้นทุน 6,000 x $0.50 / 1M = $0.003 ดังนั้นการสนทนา 20 เทิร์นทั้งหมดมีต้นทุน $0.0225

ตัวเลขที่แน่นอนสำคัญน้อยกว่ารูปแบบ: อินพุตเป็นปัจจัยหลักในการสนทนาที่ยาวนาน ผู้ให้บริการที่มีราคาอินพุตถูกจะช่วยคุณมากกว่าผู้ให้บริการที่มีราคาเอาต์พุตถูก การตัดเทิร์นเก่าออก หรือสรุปข้อความ จะลดต้นทุนที่ใหญ่ที่สุด หน้าต่างบริบทของเราคือ 100,000 โทเคน รวมพรอมต์และคอมพลีชัน ดังนั้นเอกสารที่ยาวมากจึงรองรับได้ แต่จะมีต้นทุนโทเคนอินพุตทุกครั้งที่คุณส่งเอกสารเหล่านั้น

ต้นทุนแฝงที่ต้องตรวจสอบ

  • การเติมเงินขั้นต่ำ ของเราคือ $20 โดยเติมจำนวนเต็มใดๆ ได้ถึง $500 ผู้ให้บริการที่มีราคาต่อโทเคนต่ำแต่มีขั้นต่ำสูงอาจมีต้นทุนสูงกว่าสำหรับโครงการขนาดเล็ก
  • การหมดอายุ เครดิตที่หมดอายุคือเครดิตที่คุณอาจเสียเปล่า เครดิตของเราไม่หมดอายุ
  • การสมัครสมาชิก ค่ารายเดือนเปลี่ยนบริการแบบจ่ายตามโทเคนให้เป็นต้นทุนคงที่ ของเราเป็นแบบจ่ายตามการใช้งาน
  • ค่าความล้มเหลว คำขอที่ล้มเหลวหรือถูกปฏิเสธไม่มีการคิดเงินที่นี่ ตรวจสอบสิ่งนี้กับผู้ให้บริการที่คุณเปรียบเทียบ
  • ขีดจำกัดอัตรา ราคาที่ถูกแต่มีขีดจำกัดคำขอต่ำบังคับให้คุณซื้อบัญชีที่สองหรือลดความเร็วของไปป์ไลน์ คีย์เต็มที่นี่อนุญาตคำขอพร้อมกันได้ 8 คำขอและ 300 คำขอต่อนาที
  • ค่าธรรมเนียมการชำระเงินและโบนัส เราเพิ่มเครดิต +5% จาก $50, +10% จาก $100 และ +15% จาก $200 ดังนั้นการเติมเงิน $200 จะได้ $230

อัตราของเราพร้อมตัวอย่างการคำนวณ

ตัวเลขทั้งหมดด้านล่างใช้ $0.15 ต่อ 1M อินพุต และ $0.50 ต่อ 1M เอาต์พุต

Workloadโทเคนต้นทุน
หนึ่งเทิร์นแชท: 2,000 อินพุต, 500 เอาต์พุต2,500$0.0003 + $0.00025 = $0.00055
1,000 รอบเช่นนี้2.5M$0.55
สรุป 10,000 บทความ: 3,000 อินพุต, 200 เอาต์พุต ต่อรายการ32M$4.50 + $1.00 = $5.50
สร้างเรื่องราว 5,000 เรื่อง: อินพุต 300, เอาต์พุต 1,500 ต่อเรื่อง9M$0.225 + $3.75 = $3.975

ตรวจสอบแถวตัวสรุป: 10,000 x 3,000 = 30M input tokens, และ 30 x $0.15 = $4.50. 10,000 x 200 = 2M output tokens, และ 2 x $0.50 = $1.00. รวมเป็น $5.50. สำหรับแถวเรื่อง: 5,000 x 300 = 1.5M input, ซึ่งคือ $0.225, และ 5,000 x 1,500 = 7.5M output, ซึ่งคือ $3.75. รวมเป็น $3.975

หน้าราคา แสดงอัตราและโบนัส คุณสามารถชำระเงินด้วยคริปโต (USDT บน TRC20, USDC บน Base).

วัดต้นทุนจริงด้วยสคริปต์

อย่าไว้วางใจการประมาณการเป็นเวลานาน รันพรอมต์ตัวแทน 50 รายการและให้ API รายงานโทเคน โค้ดด้านล่างพิมพ์การประมาณการต้นทุนจากฟิลด์ usage

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")
IN, OUT = 0.15, 0.50   # dollars per 1M tokens

def cost(u):
    return (u.prompt_tokens * IN + u.completion_tokens * OUT) / 1_000_000

total = 0.0
for p in open("prompts.txt"):
    r = client.chat.completions.create(
        model="uncensored",
        messages=[{"role": "user", "content": p.strip()}],
    )
    total += cost(r.usage)
print("average per request: $%.5f" % (total / 50))

คูณค่าเฉลี่ยด้วยคำขอรายเดือนที่คาดไว้ ทำเช่นเดียวกันกับแต่ละผู้ให้บริการที่คุณกำลังพิจารณา และรักษาคุณภาพไว้โดยอ่านตัวอย่างคำตอบ โมเดลที่ราคาถูกกว่าแต่ต้องใช้สองครั้งต่องานหนึ่งงาน ไม่ได้ถูกกว่า

การเปรียบเทียบห้าขั้นตอนที่คุณสามารถเสร็จสิ้นในหนึ่งชั่วโมง

  1. บันทึกจำนวน input และ output tokens ที่คาดไว้ต่อคำขอ จากตัวอย่างพรอมต์จริง
  2. คูณด้วยราคา input และ output ของแต่ละผู้ให้บริการ ต่อคำขอและต่อเดือน
  3. เพิ่มต้นทุนคงที่: การเติมเงินขั้นต่ำ, การสมัครสมาชิก และเครดิตใดๆ ที่หมดอายุก่อนที่คุณจะใช้
  4. รันพรอมต์จริง 20 รายการเดียวกันบนแต่ละโมเดลและให้คะแนนคำตอบ เพื่อที่คุณจะเปรียบเทียบต้นทุนต่อคำตอบที่ดี ไม่ใช่ต้นทุนต่อโทเคน
  5. ตรวจสอบขีดจำกัดเทียบกับปริมาณการจราจรสูงสุดของคุณ หากคุณต้องการมากกว่า 8 คำขอพร้อมกัน ให้ถามว่าคุณสามารถใช้คิวแทนได้หรือไม่

ผลลัพธ์คือตารางที่มีแถวเดียวสำหรับผู้ให้บริการแต่ละราย พร้อมตัวเลขรายเดือนสำหรับปริมาณงานของคุณ ตารางนี้คือคำตอบที่แท้จริงของคำถามในหัวข้อเรื่อง และยังคงใช้ได้จนกว่าผู้ให้บริการจะเปลี่ยนราคา จึงควรตรวจสอบอีกครั้งทุกไม่กี่เดือน การเปรียบเทียบเฟรมเวิร์ก มีประโยชน์หากคุณยังรันโมเดลบนฮาร์ดแวร์ของคุณเอง และหน้า ข้อผิดพลาดทั่วไปของ API แชท ระบุข้อผิดพลาดที่เพิ่มบิลอย่างเงียบๆ เช่น การส่งประวัติเดิมซ้ำสองครั้ง.

สิ่งที่ตัวเลือกราคาถูกทำไม่ได้

ไม่ว่าคุณจะเลือกผู้ให้บริการรายใด คุณสามารถลดต้นทุนได้สี่วิธี จำกัด max_tokens เมื่อคำตอบสั้นก็เพียงพอ เนื่องจาก output เป็นด้านที่แพงกว่า ตัดระบบพรอมต์และลบเทิร์นที่โมเดลไม่ต้องการอีกต่อไป จัดเส้นทางงานง่ายๆ เช่น การจำแนกประเภท ไปยังพรอมต์สั้นที่มีรูปแบบ output ที่เข้มงวด และบันทึกโทเคนต่อฟีเจอร์ เพื่อที่คุณจะสังเกตเมื่อเทมเพลตพรอมต์หนึ่งขยายขนาดขึ้นอย่างเงียบๆ หลังจากแก้ไข ความเคยชินเหล่านี้ช่วยประหยัดได้มากกว่าเปลี่ยนผู้ให้บริการเพียงไม่กี่เซ็นต์

บริการนี้ใช้เฉพาะข้อความ ไม่มี embeddings การสร้างภาพหรือเสียง และการปรับแต่งพิเศษ ดังนั้นหากคุณต้องการสิ่งเหล่านี้ คุณจะต้องจ่ายให้ผู้ให้บริการรายอื่นสำหรับสิ่งเหล่านั้น มันรันโมเดลแบบเปิดน้ำหนักหนึ่งตัวจากผู้ให้บริการอิสระ ซึ่งปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และไม่ใช่ API ทางการของผู้ให้บริการโมเดลรายใด เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่ได้รับอนุญาตเด็ดขาด

ว่าราคาถูกที่สุดสำหรับคุณหรือไม่ ขึ้นอยู่กับว่าโมเดลเดียวนี้เพียงพอต่องานของคุณหรือไม่ ลองทดสอบฟรีก่อน: ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้เพียงคลิกเดียวที่หน้า API key โดยไม่ต้องใช้บัตร จากนั้นอ่าน เอกสาร หากเป็นมือใหม่กับพื้นฐาน LLM inference คืออะไร ครอบคลุมคำศัพท์ที่ใช้ข้างต้น.

ถาม-ตอบ

หนึ่งข้อความแชทมีราคาเท่าใด?

การตอบกลับที่มี 2,000 input token และ 500 output token มีราคา $0.00055 ดังนั้น 1,000 การตอบกลับมีราคา $0.55

มีค่าธรรมเนียมรายเดือนหรือไม่?

ไม่ เป็นการจ่ายตามการใช้งานจากเครดิตแบบเติมเงินล่วงหน้า และเครดิตไม่หมดอายุ

คำขอที่ล้มเหลวถูกเรียกเก็บเงินหรือไม่?

ไม่ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน

ราคาต่ำสุดคือข้อเสนอที่ดีที่สุดเสมอหรือไม่?

ไม่ อัตราส่วน output, ความยาวของ context, ยอดเติมเงินขั้นต่ำ และคุณภาพของคำตอบ ล้วนส่งผลต่อต้นทุนจริง

เพียงกรอกแบบฟอร์มเดียวคีย์ของคุณก็พร้อมใช้งาน

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API