TH ▾
รับคีย์ API

LLM Inference APIคู่มือ

ค่าใช้จ่าย LLM API ต่อเดือน: 4 สถานการณ์จริง

บิลรายเดือน 4 รายการที่คำนวณทีละบรรทัดที่ $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต พร้อมสคริปต์สำหรับคำนวณปริมาณการใช้งานของคุณเอง

อัปเดต:

แท่งแก้วสี่แท่งที่เพิ่มขึ้น เติมด้วยลูกบาศก์เรืองแสง แต่ละแท่งแทนสถานการณ์ค่าใช้จ่ายรายเดือน
ภาพประกอบไอโซเมตริกแสดงแพ็กเก็ตข้อมูลที่ไหลจากเทอร์มินัลไปยังเกตเวย์คลาวด์ แทนการเรียก API การอนุมาน

ประเด็นสำคัญ

  1. ชี้ OpenAI SDK ไปยัง https://api.llminferenceapi.com/v1 ใช้โมเดล ID uncensored และส่งคีย์ของคุณเป็น Bearer token
  2. มีเอนด์พอยต์สองรายการ: POST /v1/chat/completions และ GET /v1/models
  3. สตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON ทำงานผ่านฟิลด์คำขอมาตรฐาน
  4. คีย์เต็มจำนวนอนุญาตให้ทำคำขอพร้อมกัน 8 รายการและ 300 รายการต่อนาที; สถานะ 429 บอกคุณว่าชนขีดจำกัดใด

ภาพรวมสถานการณ์ทั้งสี่

หากคุณกำลังคำนวณ ค่าใช้จ่าย API LLM ต่อเดือน ค่าเฉลี่ยเดียวอาจไม่ช่วย เพราะบิลขึ้นอยู่กับจำนวนคำขอและความยาวของคำขอ ด้านล่างคือ 4 การตั้งค่าจริงที่ราคา $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต แต่ละรายการแสดงสมมติฐานเพื่อให้คุณแทนที่ด้วยข้อมูลของคุณเองได้

สถานการณ์คำขอต่อเดือนโทเคนต่อคำขอ (อินพุต/เอาต์พุต)ค่าใช้จ่ายรายเดือน
บอทแชทสำหรับงานอดิเรก6001,500 / 300$0.225
ชุมชน Discord9,0003,000 / 400$5.85
แอปที่มีผู้ใช้ 1,000 คน40,0002,500 / 500$25.00
ไปป์ไลน์แบบแบทช์200,0001,200 / 250$61.00

ส่วนที่เหลือของบทความแสดงการคำนวณและปัจจัยที่ส่งผลต่อตัวเลขแต่ละตัว

สถานการณ์ที่ 1: บอทงานอดิเรก

คุณรันบอทส่วนตัวที่ตอบประมาณ 20 ข้อความต่อวัน หรือ 600 ข้อความต่อเดือน แต่ละข้อความมีพรอมต์ระบบสั้นๆ และประวัติการสนทนาประมาณ 1,500 โทเคนอินพุต และคำตอบเฉลี่ย 300 โทเคน

  • อินพุต: 600 x 1,500 = 0.9M โทเคน ซึ่งคิดเป็น 0.9 x $0.15 = $0.135
  • เอาต์พุต: 600 x 300 = 0.18M โทเคน ซึ่งคิดเป็น 0.18 x $0.50 = $0.09
  • รวม: $0.225 ต่อเดือน

กรณีนี้ที่การเติมเงินขั้นต่ำ $20 ใช้งานได้นานกว่ากรณีอื่นในแง่ของระยะเวลา ในอัตรานี้จะครอบคลุมการใช้งานมากกว่าเจ็ดปี เครดิตไม่หมดอายุ ดังนั้นโปรเจกต์อดิเรกจึงสามารถวางอยู่บนการเติมเงินครั้งเดียวโดยไม่ต้องกังวลเรื่องเวลา

สถานการณ์ที่ 2: บอทชุมชน Discord

บอทในเซิร์ฟเวอร์ที่ใช้งานอยู่จัดการคำขอ 300 ครั้งต่อวัน หรือ 9,000 ครั้งต่อเดือน โดยอ่านบริบทช่องล่าสุด ดังนั้นแต่ละคำขอจะมีโทเคนอินพุตประมาณ 3,000 โทเคน และตอบกลับด้วยข้อความประมาณ 400 โทเคน

  • อินพุต: 9,000 x 3,000 = 27M โทเคน ดังนั้น 27 x $0.15 = $4.05
  • เอาต์พุต: 9,000 x 400 = 3.6M โทเคน ดังนั้น 3.6 x $0.50 = $1.80
  • รวม: $5.85 ต่อเดือน

สังเกตฝั่งอินพุต การเพิ่มขนาดหน้าต่างบริบทที่คุณส่งในแต่ละคำขอเป็นสองเท่า จะทำให้ส่วนที่ใหญ่ที่สุดของบิลเพิ่มขึ้นเป็นสองเท่า ในขณะที่ความยาวของคำตอบแทบไม่ส่งผลต่อต้นทุน บอทจำนวนมากสามารถประหยัดค่าใช้จ่ายได้โดยส่งข้อความล่าสุดหกข้อความแทนที่จะเป็นยี่สิบข้อความ นอกจากนี้ควรตรวจสอบขีดจำกัดอัตรา: คีย์เต็มรูปแบบอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที ซึ่งสูงกว่าภาระงานนี้มาก แต่เซิร์ฟเวอร์ที่ใช้งานหนักอาจมีปริมาณคำขอพุ่งสูงเมื่อมีเธรดที่ได้รับความนิยม ให้คิวคำขอในบอทเพื่อให้อยู่ภายในขีดจำกัด

สถานการณ์ที่ 3: แอปที่มีผู้ใช้ 1,000 คน

สมมติว่าผู้ใช้ 1,000 คนต่อเดือนส่งคำขอ 40 ครั้ง ซึ่งรวมเป็น 40,000 คำขอ แต่ละคำขอมีโทเคนอินพุต 2,500 โทเคน (พรอมต์ระบบรวมประวัติ) และตอบกลับด้วย 500 โทเคน

  • อินพุต: 40,000 x 2,500 = 100M โทเคน ดังนั้น 100 x $0.15 = $15.00
  • เอาต์พุต: 40,000 x 500 = 20M โทเคน ดังนั้น 20 x $0.50 = $10.00
  • รวม: $25.00 ต่อเดือน หรือ 2.5 เซนต์ต่อผู้ใช้

ในกรณีนี้ เอาต์พุตคิดเป็น 40% ของบิล แม้ว่าจะมีจำนวนโทเคนเพียงหนึ่งในหก เนื่องจากมีต้นทุนต่อโทเคนสูงกว่าอินพุตมากกว่าสามเท่า คำตอบสั้นๆ ช่วยลดต้นทุนได้ หากคุณขอคำตอบขนาด 250 โทเคนแทนที่จะเป็น 500 โทเคน ค่าเอาต์พุตจะลดลงเหลือ $5.00 และยอดรวมจะเหลือ $20.00 การเติมเงิน $20 จะครอบคลุมแอปนี้ได้ในหนึ่งเดือน และการเติมเงิน $100 ซึ่งได้รับโบนัส +10% ทำให้ได้เครดิต $110 จะครอบคลุมการใช้งานได้ประมาณห้าเดือน

สถานการณ์ที่ 4: แบทช์ไพพ์ไลน์

งานแบทช์ปรับขนาดตามจำนวนเอกสาร สมมติว่าคุณติดป้ายหรือเขียนใหม่ 200,000 รายการในเดือนหนึ่ง แต่ละรายการมี 1,200 input tokens และผลลัพธ์ 250 token

  • อินพุต: 200,000 x 1,200 = 240M โทเคน ดังนั้น 240 x $0.15 = $36.00
  • เอาต์พุต: 200,000 x 250 = 50M โทเคน ดังนั้น 50 x $0.50 = $25.00
  • รวม: $61.00 ต่อเดือน

สำหรับงานแบทช์ ขีดจำกัดที่สำคัญคือ throughput ไม่ใช่ราคา ที่ 8 คำขอพร้อมกัน เวลาทำงานคือจำนวนคำขอหารด้วย 8 คูณด้วยความยาวคำขอเฉลี่ย คำนวณ latency ของคุณเองก่อนวางแผนตารางเวลา และรักษาขนาด worker pool ไว้ที่ 8 หรือน้อยกว่าเพื่อไม่ให้เกิดข้อผิดพลาด concurrency คำขอที่ล้มเหลวจะไม่ถูกเรียกเก็บเงิน ดังนั้นการลองใหม่จึงไม่เพิ่มค่าใช้จ่าย

ประมาณการค่าใช้จ่ายรายเดือนของคุณเอง

สูตรคือสั้นมาก: ค่าใช้จ่ายรายเดือน = คำขอ x (input tokens x $0.15 + output tokens x $0.50) / 1,000,000 สคริปต์นี้คำนวณให้และยังอ่านจำนวน token จริงหากคุณรันตัวอย่างก่อน

from openai import OpenAI

client = OpenAI(base_url="https://api.llminferenceapi.com/v1", api_key="YOUR_KEY")

def monthly(requests, tokens_in, tokens_out):
    return requests * (tokens_in * 0.15 + tokens_out * 0.50) / 1_000_000

print(monthly(40_000, 2_500, 500))   # 25.0

# sample 20 real prompts, then use the measured averages
ins, outs = [], []
for p in open("prompts.txt").read().splitlines()[:20]:
    r = client.chat.completions.create(
        model="uncensored", messages=[{"role": "user", "content": p}])
    ins.append(r.usage.prompt_tokens)
    outs.append(r.usage.completion_tokens)
print(monthly(10_000, sum(ins) / len(ins), sum(outs) / len(outs)))

การรันตัวอย่างมีค่าใช้จ่ายเพียงเศษเสี้ยวของเซ็นต์ ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ฟรี $0.50ได้ที่ หน้าคีย์ API เพื่อรันโดยไม่เสียค่าใช้จ่าย และ หน้าราคา แสดงอัตราและโบนัสการเติมเงิน

สิ่งที่เปลี่ยนแปลงบิลมากที่สุด

ในทุกสถานการณ์ทั้งสี่ แอคชันเดียวกันส่งผลต่อยอดรวม:

  1. ขนาด context window ประวัติและเอกสารที่วางลงไปใน prompt เป็นตัวขับเคลื่อนต้นทุน input ตัดทอนพวกมัน
  2. ความยาวของเอาต์พุต เอาต์พุตมีราคา $0.50 ต่อ 1M ดังนั้นขอความยาวที่คุณต้องการ และตั้งค่า max_tokens เมื่อจำเป็น
  3. การเรียกซ้ำและลูป บั๊กที่เรียกซ้ำสามารถคูณค่าใช้จ่ายรายเดือนได้ภายในชั่วโมงเดียว จำกัดการเรียกซ้ำ
  4. การเติบโตของ traffic ค่าใช้จ่ายเพิ่มขึ้นตามจำนวนคำขอ เพิ่มผู้ใช้สองเท่า บิลก็เพิ่มขึ้นสองเท่า

การวางแผนงบประมาณ

เลือกสถานการณ์ที่ใกล้เคียงกับโปรเจกต์ของคุณที่สุดแล้วคูณด้วยปัจจัยความปลอดภัยสองเท่าสำหรับเดือนแรก เนื่องจากปริมาณการใช้งานจริงมักไม่สม่ำเสมอเท่าตารางคำนวณ จากนั้นตั้งค่าการแจ้งเตือนเมื่อยอดคงเหลือต่ำ ทุกการตอบกลับมีหัว X-Balance-USD เพื่อให้แอปของคุณส่งอีเมลแจ้งเตือนคุณเมื่อเครดิตต่ำกว่าจำนวนที่คุณกำหนด และคุณเติมเงินก่อนที่บริการใดๆ จะหยุดทำงาน หากปริมาณการใช้งานเพิ่มขึ้นสิบเท่า บิลก็เพิ่มขึ้นสิบเท่า: บอท Discord ที่ 10x จะมีค่าใช้จ่าย $58.50 และแอปที่มีผู้ใช้ 10,000 คน $250.00 ไม่มีอะไรกระโดดเป็นขั้นบันได ดังนั้นจึงไม่มีระดับราคาที่ต้องเติบโตจนเกิน

การระดมทุน

คุณจ่ายจากเครดิตแบบเติมเงินล่วงหน้าโดยไม่ต้องสมัครสมาชิก ดังนั้นเดือนที่เงียบงายจะมีค่าใช้จ่ายใกล้เคียงศูนย์ การเติมเงินเริ่มต้นที่ $20 ถึง $500 โดยคริปโต (USDT บน TRC20, USDC บน Base) พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200

ข้อจำกัดของการประมาณการเหล่านี้

สองสิ่งที่สถานการณ์ละไว้ ประการแรก สมมติว่าการใช้งานคงที่ ในขณะที่ผลิตภัณฑ์จริงมีจุดสูงสุด เช่น วันเปิดตัวหรือ thread ที่ไวรัล และหนึ่งวันที่มีจุดสูงสุดอาจใช้งบประมาณหนึ่งสัปดาห์ ประการที่สอง สมมติว่าขนาดของพรอมต์คงที่ การเปลี่ยนแปลงผลิตภัณฑ์มักทำให้ระบบพรอมต์ใหญ่ขึ้น และการเพิ่ม 500 โทเคนในการเรียกที่ทำได้ 40,000 ครั้งต่อเดือนจะเพิ่ม 20M โทเคนอินพุต หรือ $3.00 วัดใหม่หลังจากการเปลี่ยนแปลงพรอมต์ทุกครั้ง

นี่คือการคำนวณ ไม่ใช่การรับประกันเกี่ยวกับการใช้งานของคุณ พรอมต์จริงมีความหลากหลาย และการนับโทเคนของคุณขึ้นอยู่กับภาษาและเนื้อหาที่คุณส่ง นี่คือ API สำหรับข้อความเท่านั้น ดังนั้นค่าใช้จ่ายสำหรับ embeddings รูปภาพ หรือ audio จึงอยู่นอกเหนือตัวเลขเหล่านี้ บริการรันโมเดลแบบเปิดน้ำหนักหนึ่งตัวจากผู้ให้บริการอิสระ ซึ่งปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย

สำหรับคำจำกัดความของศัพท์ที่ใช้ที่นี่ ดู การอนุมาน LLM คืออะไร ข้อผิดพลาดที่เพิ่มบิลโดยไม่รู้ตัวมีรายการไว้ภายใต้ ข้อผิดพลาดทั่วไปของ API แชท AI เอกสาร ครอบคลุมรูปแบบคำขอ

ถาม-ตอบ

บอทขนาดเล็กมีค่าใช้จ่ายต่อเดือนเท่าไหร่?

บอทที่มี 600 ข้อความต่อเดือน ที่ 1,500 โทเคนอินพุตและ 300 โทเคนเอาต์พุต มีค่าใช้จ่าย $0.225

มีค่าธรรมเนียมรายเดือนเพิ่มจากค่าใช้จ่าย token หรือไม่?

ไม่ คุณจ่ายตามโทเคนจากเครดิตแบบเติมเงินล่วงหน้า และเครดิตไม่หมดอายุ

การเติมเงินขั้นต่ำคือเท่าไหร่?

$20 ในจำนวนเต็มใดๆ สูงสุดถึง $500 โบนัส 5%, 10% และ 15% ใช้ได้เมื่อเติม $50, $100 และ $200

คำขอที่ล้มเหลวมีค่าใช้จ่ายหรือไม่?

ไม่. คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน URL พื้นฐาน นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API