TH ▾
รับคีย์ API

LLM Inference APIคู่มือ

การเปรียบเทียบเฟรมเวิร์กการอนุมาน LLM เทียบกับ API แบบโฮสต์ กับ API แบบโฮสต์

การการเปรียบเทียบเฟรมเวิร์กการอนุมาน LLM เทียบกับ API แบบโฮสต์ นี้ครอบคลุมเครื่องมือที่คุณสามารถรันเองได้ (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) และเปรียบเทียบเครื่องมือเหล่านี้กับ API ที่เข้ากันได้กับ OpenAI แบบโฮสต์ การเลือกที่ถูกต้องขึ้นอยู่กับฮาร์ดแวร์ ปริมาณการจราจร และปริมาณงานด้าน Operations ที่คุณต้องการ

อัปเดต:

ภาพประกอบหอคอยเซิร์ฟเวอร์หลายเครื่องและโหนดคลาวด์หนึ่งเครื่อง เปรียบเทียบเครื่องยนต์อนุมานแบบโฮสต์เองกับ API แบบโฮสต์

ประเด็นสำคัญ

  1. vLLM, SGLang และ TensorRT-LLM ถูกออกแบบมาสำหรับเซิร์ฟเวอร์ GPU ที่มีผู้ใช้จำนวนมากพร้อมกัน ในขณะที่ llama.cpp และ Ollama ถูกออกแบบมาสำหรับเครื่องเดียว รวมถึงแล็ปท็อป
  2. การโฮสต์เองให้ความควบคุมเหนือน้ำหนักและเส้นทางการรับส่งข้อมูล แต่คุณต้องจ่ายค่าฮาร์ดแวร์และการบำรุงรักษาแม้ในขณะที่ไม่ได้ใช้งาน
  3. API แบบโฮสต์ไม่มีค่าใช้จ่ายเมื่อไม่ได้ใช้งาน และคิดค่าบริการตามโทเคน ซึ่งเหมาะกับการจราจรที่ไม่สม่ำเสมอหรือในระยะเริ่มต้น
  4. เครื่องมือเหล่านี้ส่วนใหญ่รองรับรูปแบบ API ของ OpenAI ดังนั้นการเปลี่ยนระหว่างเครื่องมือเหล่านี้จึงมักหมายถึงการเปลี่ยน Base URL

คำถามสองข้อที่ตัดสินใจเรื่องสำคัญส่วนใหญ่

ก่อนเปรียบเทียบเครื่องมือ ให้ตอบสองคำถาม ประการแรก คุณต้องเลือกโมเดลเองหรือไม่? หากต้องรันชุดน้ำหนักเฉพาะชุดหนึ่ง บริการโฮสต์ที่เสนอโมเดลเดียวไม่สามารถช่วยคุณได้ และเฟรมเวิร์กคือวิธีเดียว ประการที่สอง ความคงที่ของปริมาณการใช้งานของคุณเป็นอย่างไร? GPU ที่ใช้งานหนักตลอด 24 ชั่วโมงเป็นการใช้เงินที่ดี แต่ GPU ที่จัดการกับปริมาณงานพุ่งสูงในเวลากลางคืนและว่างในช่วงเวลาอื่นไม่ใช่

หากคำตอบสำหรับคำถามแรกคือ "โมเดลที่ทำงานได้และไม่ปฏิเสธคำขอของผู้ใหญ่ทั่วไปก็พอ" และคำตอบสำหรับคำถามที่สองคือ "ไม่สม่ำเสมอ" API แบบโฮสต์น่าจะเป็นตัวเลือกที่ง่ายกว่า หากคุณต้องการการปรับแต่งเฉพาะ (fine-tune) มีการใช้งานหนักที่เสถียร หรือต้องเก็บข้อมูลทุกไบต์ไว้ในเครื่องของคุณเอง ให้ดูเฟรมเวิร์กด้านล่าง

เฟรมเวิร์กแต่ละตัว

vLLM

เครื่องยนต์ให้บริการโอเพนซอร์สสำหรับ GPU มีชื่อเสียงในเรื่อง continuous batching ซึ่งช่วยรักษา GPU ให้ทำงานต่อเนื่องโดยการเพิ่มคำขอใหม่ลงใน batch ที่กำลังทำงานอยู่ และใช้วิธีการจัดการ KV cache แบบแบ่งหน้าเพื่อลดการใช้หน่วยความจำที่สูญเปล่า มีเซิร์ฟเวอร์ HTTP ที่เข้ากันได้กับ OpenAI เป็นตัวเลือกหลักที่ดีเมื่อคุณมี GPU ระดับศูนย์ข้อมูลและผู้ใช้จำนวนมากที่ส่งคำขอพร้อมกัน การติดตั้งต้องอาศัยไดรเวอร์ CUDA เวอร์ชันที่ตรงกัน และการวางแผนหน่วยความจำของโมเดล

SGLang

เฟรมเวิร์กให้บริการโอเพนซอร์สอีกตัวหนึ่งที่มุ่งเน้นการให้บริการ GPU แบบ high-throughput พร้อมฟีเจอร์สำหรับ output แบบมีโครงสร้างและการนำ prefix มาใช้ซ้ำ อยู่ในหมวดหมู่เดียวกับ vLLM และทีมต่างๆ มักทำการ benchmark ทั้งสองตัวกับ workload ของตนเองก่อนตัดสินใจเลือก ควรระวัง benchmark ที่เผยแพร่ทั่วไป: ผลลัพธ์เปลี่ยนแปลงได้ตามโมเดล ฮาร์ดแวร์ ความยาวของพรอมต์ และเวอร์ชัน

TensorRT-LLM

ไลบรารีของ NVIDIA สำหรับคอมไพล์และรันโมเดลบน GPU ของ NVIDIA สามารถดึงประสิทธิภาพสูงสุดจากฮาร์ดแวร์ดังกล่าวได้ แต่แลกกับกระบวนการ build และการ deploy ที่ซับซ้อนกว่า และการผูกติดกับระบบของผู้ผลิตเพียงรายเดียว เหมาะสมเมื่อคุณรันโมเดลคงที่ในปริมาณมากบนการ์ด NVIDIA และมีวิศวกรสำหรับดูแลรักษา

llama.cpp

การนำไปใช้ด้วย C/C++ สำหรับรันโมเดลที่ quantize แล้วในรูปแบบ GGUF บน CPU Apple Silicon และ GPU หลายรุ่น มี llama-server ซึ่งเปิดเอนด์พอยต์สไตล์ OpenAI การ quantize ลดความต้องการหน่วยความจำ แต่แลกมาด้วยคุณภาพ output ที่ลดลงตามระดับความรุนแรงของการ quantize เป็นตัวเลือกที่ใช้งานได้จริงสำหรับแล็ปท็อป เซิร์ฟเวอร์ที่บ้าน หรือเครื่องมือแบบออฟไลน์

Ollama

wrapper ที่ใช้งานง่ายสำหรับรันโมเดลในเครื่อง: คุณดึงโมเดลด้วยชื่อและมันจัดการการดาวน์โหลด การจัดเก็บ และเซิร์ฟเวอร์ในเครื่อง รวมถึงเอนด์พอยต์ที่เข้ากันได้กับ OpenAI เหมาะอย่างยิ่งสำหรับการทดลองและการใช้งานส่วนบุคคล มุ่งเน้นผู้ใช้คนเดียวหรือไม่กี่คน ไม่ใช่สำหรับการให้บริการแอปสาธารณะที่มีการใช้งานหนาแน่น

เปรียบเทียบเคียงข้าง

ตัวเลือกความเหมาะสมที่สุดคุณจัดการโครงสร้างราคา
vLLM / SGLangผู้ใช้จำนวนมากบน GPU ของเซิร์ฟเวอร์ไดรเวอร์ GPU การปรับขนาด และการอัปเดตฮาร์ดแวร์ ไม่ว่าใช้งานหรือว่าง
TensorRT-LLMโมเดลคงที่ในปริมาณมากบนการ์ด NVIDIAการ build การ deploy และการปรับแต่งฮาร์ดแวร์และเวลาของวิศวกร
llama.cppแล็ปท็อป เซิร์ฟเวอร์ขนาดเล็ก การใช้งานแบบออฟไลน์ไฟล์โมเดล, การเลือกการ quantizeเครื่องของคุณเอง
Ollamaการทดลองบนเครื่อง, เครื่องมือส่วนบุคคลการดาวน์โหลดโมเดล, พื้นที่ดิสก์เครื่องของคุณเอง
API แบบโฮสต์การจราจรที่ไม่สม่ำเสมอหรือในช่วงเริ่มต้น, ไม่มี GPU opsคีย์ API และโค้ดของคุณต่อโทเคน, ไม่มีค่าใช้จ่ายเมื่อว่าง

ตารางทิ้งตัวเลขความเร็วไว้โดยเจตนา ปริมาณงานที่ประมวลผลได้ขึ้นอยู่กับโมเดล การบีบอัด ความยาวของพรอมต์ และขนาดแบทช์ ดังนั้นตัวเลขจากการตั้งค่าของคนอื่นจึงมักไม่สามารถนำมาใช้กับการตั้งค่าของคุณได้

สิ่งที่เสียไปเมื่อใช้ API แบบโฮสต์ และสิ่งที่ได้รับ

ตัวเลือกแบบโฮสต์ที่อธิบายไว้ในเว็บไซต์นี้คือ API ที่เข้ากันได้กับ OpenAI แบบข้อความล้วนที่รันโมเดลแบบเปิดน้ำหนักหนึ่งโมเดล ดำเนินการโดยผู้ให้บริการอิสระและปรับแต่งเพื่อตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย รหัสโมเดลคือ uncensored รองรับสตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON พร้อมหน้าต่างบริบท 100,000 โทเคน

สิ่งที่คุณเสียไปนั้นชัดเจน คุณไม่สามารถเลือกหรือเปลี่ยนน้ำหนักโมเดลได้ ไม่สามารถปรับแต่งโมเดลได้ ไม่มี embeddings การสร้างภาพ เสียง หรือวิดีโอ และบริการมีขีดจำกัดอัตรา: คีย์เต็มอนุญาตให้ทำคำขอพร้อมกันได้ 8 คำขอและ 300 คำขอต่อนาที และคีย์ทดลองอนุญาตให้ทำ 2 และ 60 นอกจากนี้ยังไม่ใช่ API อย่างเป็นทางการจากผู้ขายโมเดลใด ๆ

สิ่งที่คุณได้รับคือโครงสร้างพื้นฐานเป็นศูนย์ ไม่ต้องซื้อ GPU ไม่ต้องอัปเดตเครื่องมือ และไม่มีค่าใช้จ่ายเมื่อว่าง คุณจ่าย $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาท์พุตจากเครดิตแบบเติมเงินล่วงหน้าที่ไม่หมดอายุ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน หน้าราคา มีจำนวนเงินเติมเงินและโบนัส

ค่าใช้จ่ายที่ผู้คนลืมเมื่อโฮสต์ด้วยตนเอง

ราคาของ GPU เป็นเพียงบรรทัดแรกในงบประมาณ ทีมงานที่เปลี่ยนจาก API ไปยังเซิร์ฟเวอร์ของตนเองมักจะประหลาดใจกับบรรทัดที่สองและสาม

  • พื้นที่สำรองในหน่วยความจำ น้ำหนักโมเดลไม่ใช่สิ่งเดียวที่ต้องการหน่วยความจำ GPU KV cache จะเติบโตตามคำขอพร้อมกันและโทเคนบริบททุกตัว ดังนั้นการ์ดที่โหลดโมเดลได้อย่างสบายอาจยังหมดพื้นที่เมื่อมีผู้ใช้ 20 คนพร้อมกันที่มีพรอมต์ยาว
  • เวลาว่าง ชั่วโมงกลางคืนและวันหยุดมีค่าใช้จ่ายเท่ากับชั่วโมงที่มีปริมาณสูงสุด Autoscaling ช่วยได้ แต่การเริ่มโหนด GPU และการโหลดน้ำหนักขนาดใหญ่ใช้เวลาหลายนาที ไม่ใช่หลายวินาที
  • การอัปเกรดและความล้มเหลว เครื่องมือให้บริการปล่อยอัปเดตบ่อย การอัปเดตไดรเวอร์หรือเวอร์ชันเครื่องมือใหม่อาจเปลี่ยนพฤติกรรม และต้องมีใครทดสอบก่อนที่การผลิตจะเห็น
  • ความปลอดภัยและการจัดการการละเมิด ด้วยการปรับใช้ของคุณเอง นโยบายการกรอง การบันทึกข้อมูล และการตอบสนองต่อการละเมิดเป็นของคุณในการออกแบบและรับผิดชอบ

สิ่งเหล่านี้ไม่ได้หมายความว่าโฮสต์เองเป็นความคิดที่ไม่ดี มันหมายถึงการเปรียบเทียบควรรวมเวลาของพนักงาน ไม่ใช่เพียงราคาต่อชั่วโมงของเครื่อง

การตรวจสอบต้นทุนที่คุณสามารถรันด้วยตัวเลขของคุณเอง

วิธีที่ตรงไปตรงมาในการเปรียบเทียบคือการกำหนดราคาจากงานจริงของคุณ สมมติว่าแอปใช้ 100M โทเคนอินพุตและ 20M โทเคนเอาท์พุตในหนึ่งเดือน

  • Input: 100 x $0.15 = $15.
  • Output: 20 x $0.50 = $10.
  • รวม: $25 สำหรับเดือนนี้

ตอนนี้ให้ใส่ต้นทุนรายเดือนของทางเลือกของคุณไว้ข้างๆ: ค่าเช่าเซิร์ฟเวอร์หรือ GPU, ค่าไฟหากเป็นฮาร์ดแวร์ของคุณเอง และชั่วโมงที่ใครสักคนใช้ดูแลให้ระบบทำงาน ตรวจสอบราคาปัจจุบันของฮาร์ดแวร์หรือ GPU บนคลาวด์ด้วยตัวเอง เนื่องจากราคาเปลี่ยนแปลงบ่อย หากทางเลือกของคุณมีต้นทุนต่ำกว่าบิล API ที่ปริมาณการใช้งานของคุณ และคุณสามารถทำให้เครื่องทำงานได้ การโฮสต์เองชนะเรื่องเงิน หากบิล API ต่ำกว่า หรือหากโหลดของคุณไม่คงที่ เส้นทางแบบใช้บริการโฮสต์ชนะ

กรณีตรงข้ามก็สำคัญเช่นกัน ที่ปริมาณการใช้งานมากกว่า 10 เท่า คณิตศาสตร์แบบเดียวกันให้ผลลัพธ์ $250 ต่อเดือน และ GPU เฉพาะที่รันโมเดลที่คุณเลือกอาจดูดีกว่า โดยเฉพาะหากคุณต้องการโมเดลที่บริการนี้ไม่มี ให้คำนวณซ้ำเมื่อการใช้งานของคุณเปลี่ยนแปลง

ไคลเอนต์โค้ดเดียวกันทั้งสองฝั่ง

คุณสมบัติที่มีประโยชน์ของหมวดหมู่นี้คือ vLLM, llama.cpp, Ollama และบริการโฮสต์ส่วนใหญ่ต่างเปิดเผยรูปแบบคำขอ OpenAI โค้ดแอปพลิเคชันของคุณไม่จำเป็นต้องรู้ว่ามีอะไรอยู่เบื้องหลัง URL นั้นๆ มีเพียง Base URL, คีย์ API และชื่อโมเดลเท่านั้นที่เปลี่ยน นี่คือไคลเอนต์สำหรับเอนด์พอยต์แบบโฮสต์:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir short story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)

หากคุณย้ายไปใช้เซิร์ฟเวอร์ของคุณเองในภายหลัง คุณแก้ไข Base URL และชื่อโมเดลแล้วทิ้งส่วนอื่นไว้เหมือนเดิม สิ่งนี้ทำให้การเริ่มต้นที่ฝั่งโฮสต์มีความเสี่ยงต่ำ วัดปริมาณโทเคนจริงของคุณ และตัดสินใจเรื่องฮาร์ดแวร์ด้วยข้อมูล การ เริ่มต้นอย่างรวดเร็ว ครอบคลุมสตรีมมิง เครื่องมือ และโหมด JSON และคีย์ทดลองใช้ได้จาก หน้าคีย์

คุณควรเลือกอันไหน

  • คุณต้องการลองไอเดียในสัปดาห์นี้: ใช้ API แบบโฮสต์ หรือ Ollama หากคุณมีคอมพิวเตอร์ที่มีประสิทธิภาพและต้องการให้ทุกอย่างอยู่ในเครื่อง
  • คุณต้องการโมเดลที่แม่นยำหรือการปรับแต่งเฉพาะ: vLLM หรือ SGLang บน GPU ที่เช่าหรือเป็นเจ้าของ
  • คุณรันโมเดลคงที่ในระดับใหญ่บนฮาร์ดแวร์ NVIDIA พร้อมทีมแพลตฟอร์ม: TensorRT-LLM มีค่าควรทดสอบ
  • คุณต้องการการทำงานแบบออฟไลน์หรือพื้นที่ใช้ทรัพยากรขนาดเล็ก: llama.cpp พร้อมโมเดลที่ผ่านการควอนไทซ์
  • คุณต้องการโมเดลข้อความที่มีการปฏิเสธน้อยและไม่ต้องทำงานด้านฮาร์ดแวร์: เอนด์พอยต์แบบโฮสต์ที่นี่ โดยคำนึงถึงขีดจำกัดข้างต้น

ถาม-ตอบ

vLLM ดีกว่า llama.cpp หรือไม่?

ทั้งสองอย่างมุ่งเน้นไปที่การตั้งค่าที่ต่างกัน vLLM ถูกสร้างมาเพื่อให้บริการผู้ใช้จำนวนมากบน GPU ของเซิร์ฟเวอร์ ในขณะที่ llama.cpp ถูกสร้างมาเพื่อรันโมเดลที่ผ่านการควอนไทซ์บนเครื่องเดียว รวมถึง CPU และแล็ปท็อป

ฉันสามารถใช้ OpenAI SDK กับเฟรมเวิร์กเหล่านี้ได้หรือไม่?

โดยทั่วไปใช่ vLLM, เซิร์ฟเวอร์ของ llama.cpp และ Ollama ต่างเสนอเอนด์พอยต์ที่เข้ากันได้กับ OpenAI เช่นเดียวกับ API แบบโฮสต์นี้ คุณเปลี่ยน Base URL, คีย์ API และชื่อโมเดล

เมื่อไหร่ที่การโฮสต์เองจึงจะมีต้นทุนต่ำกว่า API?

เมื่อต้นทุนรายเดือนของฮาร์ดแวร์และการดูแลรักษาต่ำกว่าต้นทุนการใช้ API ตามปริมาณโทเคนของคุณ และคุณสามารถใช้งานฮาร์ดแวร์ได้อย่างเต็มประสิทธิภาพ กำหนดราคาสำหรับงานของคุณที่ $0.15 และ $0.50 ต่อ 1M โทเคนเพื่อตรวจสอบ

API แบบโฮสต์อนุญาตให้ฉันเลือกโมเดลได้หรือไม่?

ไม่ มันให้บริการโมเดลเดียวภายใต้ ID uncensored หากคุณต้องการน้ำหนักโมเดลเฉพาะ คุณต้องรันมันด้วยตัวเอง

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API