LLM Inference APIคู่มือ
LLM Inference คืออะไร: โทเคน, ความหน่วง และค่าใช้จ่าย
หากคุณสงสัยว่า LLM Inference คืออะไร คำตอบสั้นๆ คือขั้นตอนที่โมเดลภาษาที่ฝึกแล้วอ่านพรอมต์ของคุณและเขียนคำตอบทีละโทเคน หน้านี้จะอธิบายวิธีการทำงานและค่าใช้จ่าย
อัปเดต:

ประเด็นสำคัญ
- Inference คือการรันโมเดลที่เสร็จแล้วเพื่อสร้างผลลัพธ์ ส่วนการฝึกคือขั้นตอนก่อนหน้าที่แพงกว่าซึ่งสร้างโมเดลนั้น
- คำขอมีสองขั้นตอน: การอ่านพรอมต์ (prefill) และการเขียนคำตอบทีละโทเคน (decoding)
- ค่าใช้จ่ายและความเร็วขึ้นอยู่กับจำนวนโทเคน ดังนั้นความยาวอินพุต ความยาวเอาต์พุต และหน้าต่างบริบทจึงสำคัญที่สุด
- ด้วย API ที่โฮสต์ คุณจ่ายตามโทเคนและไม่ต้องใช้ GPU ส่วนการใช้ฮาร์ดแวร์ของคุณเอง คุณจ่ายสำหรับเครื่องไม่ว่าจะใช้งานหรือไม่ก็ตาม
การอนุมานในหนึ่งย่อหน้า
โมเดลภาษาขนาดใหญ่คือไฟล์ที่เต็มไปด้วยตัวเลขที่เรียกว่า weights การฝึกคือกระบวนการกำหนดตัวเลขเหล่านั้นโดยการแสดงข้อความปริมาณมหาศาลให้โมเดลเห็น Inference คือทุกสิ่งที่เกิดขึ้นหลังจากนั้น เมื่อคุณใช้ weights ที่เสร็จแล้วเพื่อรับคำตอบ ข้อความแชททุกข้อความที่คุณส่งไปยังโมเดล คำแนะนำ autocomplete ทุกอย่าง และ API call ทุกครั้งที่ส่งข้อความกลับออกมา คือคำขอ inference
ความแตกต่างนี้สำคัญเพราะงานสองอย่างนี้มีเศรษฐศาสตร์ที่แตกต่างกัน การฝึกฝนเกิดขึ้นครั้งเดียว (หรือไม่กี่ครั้ง) และต้องการคลัสเตอร์ขนาดใหญ่ การอนุมานเกิดขึ้นทุกครั้งที่มีคนส่งพรอมต์ ดังนั้นจึงเป็นส่วนของบริการที่ขยายตามผู้ใช้ของคุณ เมื่อผู้คนพูดถึงต้นทุนในการรันผลิตภัณฑ์ AI พวกเขามักหมายถึงต้นทุนของการอนุมาน
โมเดลไม่ได้ "ค้นหา" คำตอบ มันคำนวณความน่าจะเป็นสำหรับโทเคนถัดไปที่เป็นไปได้ทุกตัว เลือกหนึ่งตัว เพิ่มลงในข้อความ และทำซ้ำ วงจรนี้คือกลไกทั้งหมด และส่วนที่เหลือของหน้านี้คือการมองเข้าไปในรายละเอียดของมัน
เกิดอะไรขึ้นในหนึ่งคำขอ
รับคำขอแชทหนึ่งคำขอและติดตามตั้งแต่โค้ดของคุณไปจนถึงอักขระสุดท้าย
- การแบ่งโทเคน ข้อความของคุณจะถูกแบ่งเป็นโทเคน ซึ่งเป็นกลุ่มของอักขระ โทเคนมักจะเป็นคำสั้นๆ หรือส่วนหนึ่งของคำที่ยาวกว่า กฎทั่วไปสำหรับภาษาอังกฤษคือประมาณสี่อักขระต่อโทเคน แต่จะแตกต่างกันไปตามภาษาและเนื้อหาเช่นโค้ด
- Prefill. โมเดลประมวลผลโทเคนทั้งหมดของพรอมต์ในหนึ่งครั้ง การทำงานนี้เป็นแบบขนานและสร้างสถานะภายในที่โมเดลต้องการเพื่อสร้างข้อความต่อ
- Decoding. โมเดลสร้างโทเคนเอาต์พุตแรก จากนั้นโทเคนที่สอง และอื่นๆ โทเคนใหม่แต่ละตัวขึ้นอยู่กับโทเคนก่อนหน้าทั้งหมด ดังนั้นเฟสนี้จึงเป็นแบบลำดับ มันเป็นส่วนที่ช้าของคำขอส่วนใหญ่
- Sampling ในแต่ละขั้นตอน โมเดลมีคะแนนสำหรับโทเคนทุกตัวในคำศัพท์ของมัน การตั้งค่าเช่น
temperatureและtop_pตัดสินใจว่าจะเลือกโทเคนถัดไปจากคะแนนเหล่านั้นอย่างไร อุณหภูมิต่ำจะเลือกโทเคนที่มีโอกาสเกิดขึ้นมากที่สุดเกือบทุกครั้ง ในขณะที่อุณหภูมิที่สูงขึ้นอนุญาตให้มีความหลากหลายมากขึ้น - การหยุด การสร้างข้อความจะสิ้นสุดเมื่อโมเดลปล่อยโทเคนสิ้นสุดข้อความ เมื่อถึงลำดับ
stopที่คุณกำหนดไว้ หรือเมื่อถึงขีดจำกัดโทเคน
Prefill และ decoding กดดันฮาร์ดแวร์ในวิธีที่แตกต่างกัน Prefill ถูกจำกัดส่วนใหญ่โดยพลังการคำนวณดิบ Decoding ถูกจำกัดส่วนใหญ่ด้วยความเร็วที่ GPU สามารถอ่านน้ำหนักโมเดลจากหน่วยความจำได้ เพราะโทเคนแต่ละตัวต้องเข้าถึงน้ำหนักเหล่านั้น นั่นคือเหตุผลที่คำตอบที่ยาวนานใช้เวลานานกว่าคำถามที่ยาวนานที่มีขนาดเท่ากัน
โทเคน หน้าต่างบริบท และ KV cache
ทุกอย่างในการ inference วัดเป็นโทเคน พรอมต์ ข้อความระบบ การสนทนาก่อนหน้านี้ และการตอบกลับทั้งหมดนับรวมกัน หน้าต่างบริบท คือจำนวนโทเคนสูงสุดที่โมเดลสามารถเก็บไว้ได้พร้อมกัน ทั้งพรอมต์และการสร้างข้อความ บนบริการนี้ หน้าต่างบริบทคือ 100,000 โทเคน และการสร้างข้อความสามารถใช้พื้นที่ที่เหลือจากพรอมต์ได้
เพื่อหลีกเลี่ยงการคำนวณการสนทนาทั้งหมดใหม่สำหรับโทเคนใหม่แต่ละตัว เครื่องมืออนุมานจะเก็บ KV cache ไว้: คีย์และค่ากลางสำหรับโทเคนที่ประมวลผลไปแล้ว แคชนี้จะเติบโตตามความยาวของบริบทและใช้หน่วยความจำ GPU นี่คือเหตุผลหลักที่บริบทที่ยาวนานมีค่าใช้จ่ายสูงในการให้บริการ และเหตุผลที่เซิร์ฟเวอร์สามารถจัดการคำขอที่ยาวนานได้จำกัดจำนวนในเวลาเดียวกัน
ผลกระทบในทางปฏิบัติสำหรับคุณในฐานะนักพัฒนา: แชทที่ส่งประวัติการสนทนาแบบเต็มในทุกการสนทนาจะเสียค่าประวัติเหล่านั้นอีกครั้งในแต่ละครั้ง หากการสนทนายาวถึง 20,000 โทเคน ข้อความใหม่แต่ละข้อความจะบรรทุกโทเคนอินพุต 20,000 นั้นไปด้วย การตัดหรือสรุปการสนทนาในรอบเก่าคือการปรับแต่งความเร็วและต้นทุนที่ประหยัดที่สุดที่คุณทำได้ และไม่ต้องมีการเปลี่ยนแปลงฝั่งเซิร์ฟเวอร์
เวลาแฝง: ทำไมมีสองตัวเลข
ผู้คนมักถามว่าโมเดลเร็วแค่ไหน แต่มีการวัดสองแบบที่แยกจากกัน
- เวลาถึงโทเคนแรก เวลาที่คุณรอจนกว่าข้อความใดๆ จะปรากฏ มันรวมถึงเวลาเครือข่าย การรอคิวที่เซิร์ฟเวอร์ และ Prefill พรอมต์ที่ยาวนานจะเพิ่มเวลานี้
- ความเร็วในการสร้างข้อความ ความเร็วที่โทเคนมาถึงหลังจากโทเคนแรก ขึ้นอยู่กับขนาดโมเดล ฮาร์ดแวร์ และจำนวนคำขออื่นๆ ที่ GPU เครื่องเดียวกันให้บริการในขณะนั้น
สตรีมมิงมีอยู่เนื่องจากความแยกนี้ ด้วย stream: true เซิร์ฟเวอร์จะส่งโทเคนเมื่อสร้างเสร็จ ดังนั้นผู้ใช้จึงเริ่มอ่านหลังจากโทเคนแรกแทนที่จะรอคำตอบเต็ม เวลาทั้งหมดเท่ากัน แต่อินเทอร์เฟซจะรู้สึกเร็วขึ้นมาก สำหรับแชท บทบาทสมมติ และเครื่องมือเขียนข้อความ สตรีมมิงเกือบจะเป็นค่าเริ่มต้นที่เหมาะสมเสมอ
ข้อควรจำหนึ่งอย่างเมื่อวางแผนการทำงานพร้อมกัน: คำขอแบบสตรีมมิงจะยึดสล็อตไว้จนกว่าสตรีมจะสิ้นสุด ไม่ใช่จนกว่าโทเคนแรกจะมาถึง หากคีย์ของคุณอนุญาตคำขอพร้อมกันได้ 8 คำขอ การสตรีมยาว 8 รายการพร้อมกันจะทำให้คำขอที่เก้าต้องรอหรือได้รับสถานะ 429
ต้นทุนการอนุมานด้วยตัวเลขจริง
บริการ inference แบบโฮสต์จะคิดค่าโทเคนแยกกันสำหรับอินพุตและเอาต์พุตเนื่องจากโทเคนเอาต์พุตต้องใช้ทรัพยากรมากกว่า บริการนี้คิด $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต จากเครดิตแบบเติมเงินล่วงหน้าโดยไม่ต้องสมัครสมาชิก นี่คือวิธีการคิดราคาสำหรับคำขอทั่วไปบางรายการ
| คำขอ | โทเคน input | โทเคน output | ต้นทุน |
|---|---|---|---|
| ข้อความแชทสั้น | 500 | 300 | $0.000075 + $0.00015 = $0.000225 |
| แชทพร้อมประวัติ | 2,000 | 500 | $0.0003 + $0.00025 = $0.00055 |
| สรุปเอกสารยาว | 30,000 | 1,000 | $0.0045 + $0.0005 = $0.005 |
| พรอมต์เต็ม 100,000 โทเคน ตอบสั้นๆ | 100,000 | 500 | $0.015 + $0.00025 = $0.01525 |
การคำนวณนั้นง่าย: นำจำนวนโทเคนหารด้วยหนึ่งล้านแล้วคูณด้วยราคา สำหรับแถวแชทพร้อมประวัติ 2,000 / 1,000,000 x $0.15 = $0.0003 และ 500 / 1,000,000 x $0.50 = $0.00025 ซึ่งรวมกันเป็น $0.00055 คำขอพันแบบนั้นมีต้นทุน $0.55
รายละเอียดการเรียกเก็บเงินสองประการที่ช่วยในการวางแผนงบประมาณ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตไม่หมดอายุ ดังนั้นการเติมเงินจึงไม่ใช่เวลาที่นับถอยหลัง การตอบกลับทุกครั้งมี X-Balance-USD header ซึ่งทำให้โค้ดของคุณสามารถตรวจสอบยอดคงเหลือได้โดยไม่ต้องเรียกใช้แยก
อนุมานแบบโฮสต์หรือ GPU ของคุณเอง
คุณมีสองวิธีในการเข้าถึงการอนุมาน คุณสามารถเช่าหรือซื้อ GPU ติดตั้งเอนจิน serving และรันโมเดลด้วยตัวเอง หรือคุณสามารถเรียก API และให้ผู้อื่นจัดการฮาร์ดแวร์
การรันด้วยตัวเองให้คุณควบคุมไฟล์โมเดล การตั้งค่าและเส้นทางข้อมูลได้อย่างเต็มที่ ราคาคืองานปฏิบัติการ: เลือกฮาร์ดแวร์ที่รองรับ weights และ KV cache อัปเดตไดรเวอร์และเอ็นจิน จัดการกับ traffic spike และจ่ายค่าเครื่องในช่วงเวลาเงียบ API แบบโฮสต์เปลี่ยนสิ่งนั้นเป็นบิลต่อโทเคน มักจะเป็นเส้นทางที่เร็วกว่าเมื่อ traffic ของคุณไม่สม่ำเสมอหรือคุณยังกำลังทดสอบไอเดีย
บริการที่อธิบายที่นี่คือ API แบบโฮสต์ที่เข้ากันได้กับ OpenAI และเน้นเฉพาะข้อความเท่านั้น มันรันโมเดลแบบเปิดน้ำหนักหนึ่งตัว ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการของผู้ขายโมเดลใด และไม่ได้สร้างภาพ เสียงหรือวิดีโอ สร้าง embeddings หรือ fine-tune โมเดล หากคุณต้องการสิ่งเหล่านั้น คุณต้องการเครื่องมืออื่น หากคุณต้องการการสร้างข้อความธรรมดาที่มีการปฏิเสธน้อย เริ่มต้นใช้งานด่วน แสดงการตั้งค่า และ หน้าราคา แสดงตัวเลือกการเติมเงิน
ลองเรียกการอนุมานด้วยตัวเอง
วิธีที่เร็วที่สุดที่จะทำให้แนวคิดนี้เป็นรูปธรรมคือการส่งคำขอหนึ่งคำขอและอ่านตัวเลขที่มันส่งกลับมา หลังจาก สร้างคีย์ คำสั่ง curl นี้ส่งคำขอแชทไปยังเอนด์พอยต์:
curl https://api.llminferenceapi.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
"max_tokens": 120
}'
การตอบกลับ JSON มีวัตถุ usage ซึ่งมี prompt_tokens, completion_tokens และ total_tokens คูณค่าเหล่านี้ด้วยราคาข้างต้น คุณจะทราบต้นทุนที่แท้จริงของการเรียกใช้นี้ นี่คือสิ่งเดียวกันใน Python โดยใช้ SDK ของ OpenAI:
from openai import OpenAI
client = OpenAI(
base_url="https://api.llminferenceapi.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
max_tokens=120,
)
u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))
ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกหนึ่งครั้งบนหน้าคีย์หลังการเข้าสู่ระบบ ไม่ต้องใช้บัตร ใช้ได้ 7 วัน และที่ราคาข้างต้นครอบคลุมข้อความแชทสั้นๆ ประมาณสองพันข้อความ หากมีบางอย่างส่ง error ที่คุณไม่รู้จัก บทความ การแก้ปัญหา จะระบุสาเหตุทั่วไป
คู่มือเพิ่มเติม
ถาม-ตอบ
การอนุมานเหมือนกันกับการรันโมเดลหรือไม่
ใช่ การรันโมเดลที่ผ่านการฝึกแล้วกับข้อมูลใหม่เพื่อผลิตเอาต์พุตคือการอนุมาน การฝึกซึ่งปรับน้ำหนักโมเดลเป็นขั้นตอนที่แตกต่างกันและเกิดขึ้นก่อนหน้า
ทำไมผลลัพธ์จึงมีราคาแพงกว่าข้อมูลนำเข้า?
โทเคนอินพุตจะถูกประมวลผลร่วมกันในการประมวลผลแบบขนานหนึ่งครั้ง ในขณะที่โทเคนเอาต์พุตจะถูกสร้างทีละหนึ่งตัว ผู้ให้บริการกำหนดราคาส่วนที่ช้ากว่าแบบลำดับสูงกว่า และบริการนี้คิดราคา $0.50 เทียบกับ $0.15 ต่อ 1M โทเคน
หน้าต่างบริบทที่ยาวขึ้นทำให้คำขอช้าลงหรือไม่
โดยปกติใช่ พรอมต์ที่ยาวขึ้นหมายถึงงาน prefill มากขึ้นและ KV cache ที่ใหญ่ขึ้น ดังนั้นเวลาที่จะได้โทเคนแรกจึงเพิ่มขึ้น คุณจ่ายเฉพาะโทเคนที่คุณส่งและรับจริง ไม่ใช่ส่วนที่ไม่ได้ใช้ของหน้าต่าง 100,000 โทเคน
ฉันต้องการ GPU เพื่อใช้ API อนุมานหรือไม่
ไม่ ผู้ให้บริการรันฮาร์ดแวร์ คุณส่งคำขอ HTTPS จากเครื่องใดๆ รวมถึงแล็ปท็อปหรือเซิร์ฟเวอร์ขนาดเล็ก
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด
รับคีย์ API