AR ▾
احصل على مفتاح API

LLM Inference APIالدليل

مقارنة أطر استنتاج LLM مع واجهة برمجة التطبيقات المستضافة

تغطي مقارنة أطر استنتاج LLM هذه المحركات التي يمكنك تشغيلها بنفسك (vLLM, llama.cpp, Ollama, TensorRT-LLM, SGLang) وتقارنها بواجهة برمجة تطبيقات مستضافة متوافقة مع OpenAI. يعتمد الاختيار الصحيح على الأجهزة الخاصة بك، وحركة المرور الخاصة بك وكمية عمل العمليات الذي تريد القيام به.

تم التحديث:

رسم توضيحي لعدة أبراج خادم وعقدة سحابية واحدة، لمقارنة محركات الاستضافة الذاتية مع واجهة برمجة تطبيقات مستضافة

نقاط رئيسية

  1. vLLM و SGLang و TensorRT-LLM مبنية لخوادم GPU مع العديد من المستخدمين المتزامنين؛ بينما llama.cpp و Ollama مبنية لجهاز واحد، بما في ذلك أجهزة الكمبيوتر المحمولة.
  2. توفر الاستضافة الذاتية التحكم في الأوزان ومسار البيانات، لكنك تدفع مقابل الأجهزة والصيانة حتى عندما تكون خاملة.
  3. تتكلف واجهة برمجة التطبيقات المستضافة صفرًا في حالة الخمول ويتم احتساب التكلفة لكل رمز، وهو ما يناسب حركة المرور غير المنتظمة أو في المراحل المبكرة.
  4. تتحدث معظم هذه الأدوات بتنسيق واجهة برمجة تطبيقات OpenAI، لذا فإن الانتقال بينها يعني عادةً تغيير عنوان URL الأساسي.

السؤالان اللذان يقرّران معظم الأمر

قبل مقارنة المحركات، أجب عن سؤالين. أولاً، هل تحتاج إلى اختيار النموذج بنفسك؟ إذا كان عليك تشغيل مجموعة محددة من الأوزان، فإن الخدمة المستضافة التي تقدم نموذجاً واحداً لا يمكن أن تساعدك، والإطار هو السبيل الوحيد. ثانياً، كم هي حركة المرور الخاصة بك؟ بطاقة رسومات (GPU) التي تعمل على مدار الساعة هي استخدام جيد للمال. بطاقة رسومات (GPU) التي تتعامل مع ذروة في المساء وتكون خاملة في الأوقات الأخرى ليست كذلك.

إذا كان الجواب على السؤال الأول هو "أي نموذج قادر لا يرفض الطلبات العادية للبالغين هو جيد"، وكان الجواب على السؤال الثاني هو "غير متساوٍ"، فمن المرجح أن تكون واجهة برمجة التطبيقات المستضافة هي الخيار الأبسط. إذا كنت بحاجة إلى ضبط دقيق معين، أو لديك حمل ثقيل ومستقر، أو يجب أن تبقي كل بايت على أجهزتك الخاصة، فاطلع على الأطر البرمجية أدناه.

الأطر البرمجية، واحدة تلو الأخرى

vLLM

محرك تشغيل مفتوح المصدر لبطاقات الرسومات (GPU). يشتهر بالتجميع المستمر (continuous batching)، الذي يبقي بطاقة الرسومات مشغولة من خلال إضافة طلبات جديدة إلى دفقة تشغيل، وبنهج الصفحة (paged approach) لنظام التخزين المؤقت KV الذي يهدر ذاكرة أقل. يأتي مع خادم HTTP متوافق مع OpenAI. وهو خيار افتراضي قوي عندما يكون لديك بطاقة رسومات من فئة مراكز البيانات ومستخدمين متزامنين كثر. تتضمن الإعدادات برامج تشغيل CUDA، والإصدارات المتطابقة، وتخطيط ذاكرة النموذج.

SGLang

إطار عمل تشغيل مفتوح المصدر آخر يهدف إلى تشغيل بطاقات الرسومات عالية الإنتاجية، مع ميزات للإخراج الهيكلي وإعادة استخدام البادئة. يقع في نفس فئة vLLM، وغالباً ما تقوم الفرق بمعايرة كلٍ منهما على حمل العمل الخاص بها قبل اختيار أحدهما. عامل أي معايرة منشورة بحذر: تتغير النتائج مع النموذج، والأجهزة، وطول الموجّه، والإصدار.

TensorRT-LLM

مكتبة NVIDIA لدمج وتشغيل النماذج على بطاقات NVIDIA الرسومية. يمكنها استخراج الكثير من الأداء من هذا العتاد، مقابل عملية بناء ونشر أثقل، وارتباط بمجموعة أدوات مورد واحد. يكون ذلك منطقياً عندما تشغل نموذجاً ثابتاً على نطاق واسع على بطاقات NVIDIA ولديك مهندسين للصيانة.

llama.cpp

تطبيق C/C++ يشغل النماذج المضغوطة (quantized) بتنسيق GGUF على وحدات المعالجة المركزية (CPUs)، وApple Silicon، وبطاقات رسومية عديدة. يتضمن llama-server، الذي يكشف نقطة نهاية على طراز OpenAI. يقلل الضغط (Quantization) من الذاكرة المطلوبة، مع بعض التكلفة في جودة الإخراج التي تعتمد على مدى عدوانية الضغط. إنه الخيار العملي للحاسوب المحمول، أو خادم المنزل، أو الأداة غير المتصلة.

Ollama

غلاف سهل الاستخدام لتشغيل النماذج محلياً: تسحب نموذجاً بالاسم ويتولى التنزيلات، والتخزين، والخادم المحلي، بما في ذلك نقطة النهاية المتوافقة مع OpenAI. إنه ممتاز للتجارب والاستخدام الشخصي. وهو موجه لمستخدم واحد أو قلة، وليس لتشغيل تطبيق عام مزدحم.

بجانب بعض

الخيارالخيار الأنسبإدارةنموذج التكلفة
vLLM / SGLangمستخدمون كثيرون على بطاقات رسومات الخوادمبرامج التشغيل، بطاقات الرسومات، التوسع، التحديثاتالعتاد، سواء كان مشغولاً أو خاملًا
TensorRT-LLMنموذج ثابت على نطاق واسع على بطاقات NVIDIAعمليات البناء، النشر، الضبطالعتاد بالإضافة إلى وقت الهندسة
llama.cppأجهزة الكمبيوتر المحمولة، الخوادم الصغيرة، الاستخدام دون اتصالملفات النموذج، خيارات التكميمآلتك الخاصة
Ollamaتجارب محلية، أدوات شخصيةتنزيلات النموذج، مساحة القرصآلتك الخاصة
واجهة برمجة التطبيقات المستضافةحركة مرور غير متساوية أو مبكرة، بدون عمليات GPUمفتاح API ورمزك البرمجيلكل رمز (token)، لا شيء في حالة السكون

تترك الجدول أرقام السرعة عن قصد. يعتمد الإنتاجية على النموذج، والتكميم، وطول الموجّه، وحجم الدفعة، لذا فإن الرقم من إعداد شخص آخر نادراً ما ينطبق على إعدادك.

ما تتخلى عنه واجهة API المستضافة، وما الذي تحصل عليه

الخيار المستضاف الموصوف في هذا الموقع هو واجهة API متوافقة مع OpenAI للنصوص فقط، تعمل بنموذج مفتوح الأوزان، وتشغّلها جهة مستقلة ومضبوطة للإجابة بدون رفض المحتوى للاستخدام القانوني للبالغين. معرف النموذج هو uncensored. يدعم البث المتدفق، استدعاء الدوال، ووضع JSON، مع نافذة سياق بحجم 100,000 رمز (token).

ما تتخلى عنه واضح. لا يمكنك اختيار أو تبديل الأوزان. لا يمكنك الضبط الدقيق. لا توجد تضمينات، ولا توليد صور أو صوت أو فيديو، والخدمة تخضع لحدود المعدل: المفتاح الكامل يسمح بـ 8 طلبات متزامنة و300 طلب في الدقيقة، والمفتاح التجريبي يسمح بـ 2 و60. كما أنها ليست واجهة API الرسمية لأي مزود نماذج.

ما تحصل عليه هو بنية تحتية صفرية. لا توجد بطاقة رسومات (GPU) يجب شراؤها، ولا محرك يجب تحديثه ولا تكلفة خمول. تدفع $0.15 لكل 1M رمز مدخل و$0.50 لكل 1M رمز مخرج من رصيد مسبق الدفع الذي لا ينتهي، ولا تُحسب الطلبات التي تفشل أو يتم رفضها. يحتوي صفحة التسعير على مبالغ الشحن والمكافآت.

التكاليف التي ينساها الناس عند الاستضافة الذاتية

سعر بطاقة GPU هو فقط السطر الأول في الميزانية. تميل الفرق التي تنتقل من واجهة API إلى خوادمها الخاصة إلى المفاجأة بالسطور الثانية والثالثة.

  • هامش الذاكرة. الأوزان ليست الشيء الوحيد الذي يحتاج إلى ذاكرة GPU. ينمو مخزن KV مع كل طلب متزامن وكل رمز (token) من السياق، لذا فإن البطاقة التي تحمل النموذج بسهولة قد تظل تفتقر إلى المساحة عند 20 مستخدمًا متزامنًا مع موجّهات طويلة.
  • وقت الخمول. ساعات الليل وعطلة نهاية الأسبوع تكلف نفس ساعات الذروة. يساعد التوسع التلقائي، لكن بدء عقدة GPU وتحميل الأوزان الكبيرة يستغرق دقائق، وليس ثوانٍ.
  • التحديثات والأعطال. تُصدر محركات التقديم تحديثات بشكل متكرر. يمكن أن يؤدي تحديث برنامج التشغيل أو إصدار محرك جديد إلى تغيير السلوك، ويجب على شخص ما اختباره قبل أن يراه الإنتاج.
  • الأمان ومعالجة الإساءة. مع نشرك الخاص، سياسة التصفية والتدقيق والاستجابة للإساءة هي لك لتصميمها وتحمل المسؤولية عنها.

لا يعني هذا أن الاستضافة الذاتية فكرة سيئة. يعني أن المقارنة يجب أن تشمل وقت الموظفين، وليس فقط السعر الساعي للآلة.

فحص التكلفة الذي يمكنك تشغيله بأرقامك الخاصة

الطريقة الصادقة للمقارنة هي تسعير عبء العمل الفعلي الخاص بك. لنفترض أن تطبيقاً يستخدم 100M رمز مدخل و20M رمز مخرج في شهر.

  • مدخل: 100 × $0.15 = $15.
  • مخرج: 20 × $0.50 = $10.
  • المجموع: $25 للشهر.

الآن ضع التكلفة الشهرية لبدلك بجانب ذلك: استئجار الخادم أو وحدة معالجة الرسومات، الكهرباء إذا كان العتاد الخاص بك، والساعات التي يقضيها شخص ما في تشغيله. تحقق من الأسعار الحالية للعتاد أو وحدات معالجة الرسومات السحابية بنفسك، لأنها تتغير غالباً. إذا كان بديلك أرخص من فاتحة الـ API عند حجمك، ويمكنك إبقاء الجهاز مشغولاً، فإن الاستضافة الذاتية تفوز من حيث المال. إذا كانت فاتحة الـ API أقل، أو إذا كان حملك متقطعاً، فإن الطريق المستضاف يفوز.

الحالة العكسية مهمة أيضاً. عند 10 أضعاف هذا الحجم، تعطي نفس الحسابات $250 شهرياً، وقد تبدو بطاقة رسومات (GPU) مخصصة تعمل بنموذج اخترته أفضل، خاصة إذا كنت بحاجة إلى نموذج لا تقدمه هذه الخدمة. أعد الحساب عندما يتغير استخدامك.

نفس رمز العميل على كلا الجانبين

خاصية مفيدة لهذه الفئة هي أن vLLM و llama.cpp و Ollama ومعظم الخدمات المستضافة تعرض جميعاً صيغة طلب OpenAI. لا يحتاج رمز التطبيق الخاص بك إلى معرفة أي منها خلف عنوان URL. يتغير فقط عنوان URL الأساسي والمفتاح واسم النموذج. إليك رمز العميل لنقطة النهاية المستضافة:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a helpful writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a noir short story."},
    ],
    temperature=0.8,
)
print(resp.choices[0].message.content)

إذا انتقلت لاحقًا إلى خادمك الخاص، تعدّل عنوان URL الأساسي واسم النموذج وتترك الباقي كما هو. هذا يجعل البدء على جانب الاستضافة منخفض المخاطر، وقياس أحجام الرموز الفعلية الخاصة بك، واتخاذ قرارات حول الأجهزة بالاعتماد على البيانات. يغطي الدليل السريع البث المتدفق والأدوات ووضع JSON، ومفتاح تجريبي متاح من صفحة المفاتيح.

أيّهما يجب أن تختار

  • تريد تجربة الأفكار هذا الأسبوع: استخدم واجهة API مستضافة، أو Ollama إذا كان لديك جهاز قادر وتريد كل شيء محلياً.
  • أنت تحتاج نموذجاً محدداً أو ضبطاً دقيقاً خاصاً: vLLM أو SGLang على وحدات معالجة الرسومات المستأجرة أو المملوكة.
  • أنت تشغل نموذجاً ثابتاً على نطاق واسع على عتاد NVIDIA مع فريق منصة: TensorRT-LLM يستحق الاختبار.
  • أنت تحتاج تشغيلاً دون اتصال أو بصمة صغيرة: llama.cpp مع نموذج مضغوط.
  • أنت تحتاج نموذج نصي برفض قليل ولا يتطلب عمل عتاد: نقطة النهاية المستضافة هنا، مع مراعاة الحدود المذكورة أعلاه.

أسئلة وأجوبة

هل vLLM أفضل من llama.cpp؟

إنها تستهدف إعدادات مختلفة. vLLM مبنية لخدمة العديد من المستخدمين على وحدات معالجة الرسومات GPU للخادم، بينما llama.cpp مبنية لتشغيل النماذج المضغوطة على جهاز واحد، بما في ذلك وحدات المعالجة المركزية وأجهزة الكمبيوتر المحمولة.

هل يمكنني استخدام SDK OpenAI مع هذه الأطر؟

عموماً نعم. vLLM و خادم llama.cpp و Ollama تقدم جميعها نقاط نهاية متوافقة مع OpenAI، وكذلك هذا الـ API المستضاف. أنت تغير عنوان URL الأساسي والمفتاح واسم النموذج.

متى تصبح الاستضافة الذاتية أرخص من الـ API؟

عندما تكون التكلفة الشهرية للعتاد والصيانة أقل مما سيكلف حجم الرموز الخاص بك على الـ API، ويمكنك إبقاء العتاد مشغولاً. قيّم حمل العمل الخاص بك عند $0.15 و $0.50 لكل مليون رمز لمعرفة ذلك.

هل يسمح لي الـ API المستضاف باختيار النموذج؟

لا. إنه يقدم نموذجاً واحداً تحت المعرف uncensored. إذا كنت بحاجة إلى أوزان محددة، فأنت بحاجة إلى تشغيلها بنفسك.

مفتاحك على بُعد نموذج واحد

أنشئ حساباً، وانسخ المفتاح، ثم غيّر URL الأساسي. هذه هي الإعدادات الكاملة.

احصل على مفتاح API