AR ▾
احصل على مفتاح API

LLM Inference APIالدليل

ما هو استنتاج نموذج LLM؟ الرموز، زمن الاستجابة والتكلفة

إذا كنت تسأل عن معنى استنتاج نموذج LLM، فالإجابة المختصرة هي: إنها الخطوة التي يقرأ فيها نموذج لغوي مُدرَّب الموجه الخاص بك ويكتب الرد، رمزًا تلو الآخر. تشرح هذه الصفحة كيف يعمل ذلك وما تكلفته.

تم التحديث:

رسم توضيحي ثلاثي الأبعاد لرموز تتدفق إلى غرفة معالجة وتخرج منها، لتمثيل استنتاج نموذج LLM

نقاط رئيسية

  1. الاستنتاج هو تشغيل نموذج جاهز لإنتاج المخرجات؛ بينما التدريب هو الخطوة السابقة والأكثر تكلفة بكثير التي أنشأت النموذج.
  2. يتكون الطلب من مرحلتين: قراءة الموجه (التجهيز) وكتابة الإجابة رمزًا تلو الآخر (الاستنتاج).
  3. تتبع التكلفة والسرعة عدد الرموز، لذا فإن طول الإدخال، وطول الإخراج، وحجم نافذة السياق أهم من أي شيء آخر.
  4. مع واجهة برمجة تطبيقات مستضافة، تدفع مقابل كل رمز وتتجنب شراء وحدات معالجة الرسومات؛ أما مع عتادك الخاص، فتدفع مقابل الجهاز سواء كان مشغولاً أو خاملًا.

الاستنتاج في فقرة واحدة

النموذج اللغوي الكبير هو ملف مليء بالأرقام، تُسمى الأوزان. التدريب هو العملية التي تضبط هذه الأرقام من خلال عرض كميات هائلة من النصوص على النموذج. الاستنتاج هو كل ما يحدث بعد ذلك، عندما تستخدم الأوزان المكتملة للحصول على إجابة. كل رسالة دردشة ترسلها إلى نموذج، وكل اقتراح إكمال تلقائي وكل استدعاء واجهة برمجة التطبيقات الذي يعيد نصًا هو طلب استنتاج.

هذا التمييز مهم لأن المهامتين لهما اقتصاديات مختلفة. يحدث التدريب مرة واحدة (أو بضع مرات) ويحتاج إلى مجموعة كبيرة من الخوادم. يحدث الاستدلال في كل مرة يرسل فيها شخص ما موجّهًا، لذلك فهو الجزء الذي يتوسع مع مستخدميك. عندما يتحدث الناس عن تكلفة تشغيل منتج ذكاء اصطناعي، فإنهم يقصدون تقريبًا دائمًا تكلفة الاستدلال.

لا يبحث النموذج عن الإجابة. بل يحسب الاحتمالية لكل رمز مستقبلي ممكن، ويختار واحدًا، ويضيفه إلى النص، ثم يكرر العملية. هذه الحلقة هي الآلية بأكملها، والباقي في هذه الصفحة هو نظرة أعمق عليها.

ما الذي يحدث أثناء الطلب الواحد

خذ طلب دردشة واحدًا وتابعه من الكود الخاص بك إلى الحرف الأخير.

  1. تجزئة الرموز. يُقسّم النص إلى رموز، وهي مقاطع من الأحرف. غالبًا ما يكون الرمز كلمة قصيرة أو جزءًا من كلمة أطول. قاعدة عامة شائعة للغة الإنجليزية هي حوالي أربعة أحرف لكل رمز، لكن هذا يختلف حسب اللغة ونوع المحتوى مثل الأكواد البرمجية.
  2. التعبئة المسبقة. يعالج النموذج جميع رموز الموجّه في عملية واحدة. هذا عمل متوازي ويبني الحالة الداخلية التي يحتاجها النموذج لمواصلة النص.
  3. الفك. ينتج النموذج الرمز الأول للإخراج، ثم الثاني، وهكذا. يعتمد كل رمز جديد على جميع الرموز السابقة، لذلك هذه المرحلة متسلسلة. إنها الجزء الأبطأ في معظم الطلبات.
  4. أخذ العينات. في كل خطوة، يكون للنموذج تقييم لكل رمز في مفرداته. تحدد الإعدادات مثل temperature و top_p كيفية اختيار الرمز التالي من بين تلك التقييمات. يؤدي انخفاض درجة الحرارة إلى اختيار الرمز الأكثر احتمالًا في معظم الأوقات، بينما يسمح ارتفاعها بتنوع أكبر.
  5. الإيقاف. تنتهي عملية التوليد عندما يُصدر النموذج رمز نهاية النص، أو عندما يصطدم بتسلسل stop الذي حددته، أو عندما يصل إلى حد الرموز.

تضغط التعبئة المسبقة والفك على العتاد بطرق مختلفة. التعبئة المسبقة محدودة بشكل أساسي بالحوسبة الخام. الفك محدود بشكل أساسي بسرعة قراءة وحدة معالجة الرسوميات لأوزان النموذج من الذاكرة، لأن كل رمز فردي يحتاج إلى لمسها. هذا هو السبب في أن الإجابة الطويلة تستغرق وقتًا أطول بشكل ملحوظ من سؤال طويل بنفس الحجم.

الرموز، نافذة السياق ومخزن KV

يُقاس كل شيء في الاستنتاج بالرموز. الموجّه، ورسالة النظام، والمحادثات السابقة، والرد جميعها تُحسب. تمثل نافذة السياق الحد الأقصى لعدد الرموز التي يمكن للنموذج الاحتفاظ بها في وقت واحد، بما في ذلك الموجّه والإكمال معًا. في هذه الخدمة، تبلغ نافذة السياق 100,000 رمز، ويمكن أن يستخدم الإكمال أي مساحة متبقية يتركها الموجّه.

تجنباً لإعادة حساب كامل المحادثة لكل رمز جديد، تحتفظ محركات الاستدلال بـ مخزن KV: وهو مفاتيح وقيم وسيطة للرموز التي تمت معالجتها بالفعل. ينمو المخزن مع طول السياق ويستهلك ذاكرة وحدة معالجة الرسومات. هذا هو السبب الرئيسي في أن السياقات الطويلة مكلفة في الخدمة، والسبب في أن الخادم يمكنه التعامل مع عدد محدود من الطلبات الطويلة في وقت واحد.

نتيجة عملية لك كمطور: الدردشة التي تعيد إرسال السجل الكامل في كل مرحلة تدفع ثمن ذلك السجل في كل مرة. إذا نمت المحادثة لتصل إلى 20,000 رمز، فإن كل رسالة جديدة تحمل تلك الرموز المدخلة معها. يعد تقصير أو تلخيص المحادثات السابقة أرخص تحسين للسرعة والتكلفة المتاح لك، ولا يتطلب أي تغييرات على جانب الخادم.

زمن الاستجابة: لماذا هناك رقمان

غالبًا ما يسأل الناس عن سرعة النموذج، لكن هناك قياسين منفصلين.

  • الوقت حتى ظهور أول رمز. المدة التي تنتظرها قبل ظهور أي نص. يتضمن ذلك وقت الشبكة، والانتظار في الخادم، وعملية التعبئة المسبقة. يطيل الموجّهات الطويلة من هذه المدة.
  • سرعة التوليد. سرعة وصول الرموز بعد ظهور أول رمز. يعتمد ذلك على حجم النموذج، والأجهزة، وعدد الطلبات الأخرى التي يخدمها نفس معالج الرسوميات في تلك اللحظة.

يوجد البث المتدفق بسبب هذا الانقسام. مع stream: true، يرسل الخادم الرموز بمجرد إنتاجها، بحيث يبدأ المستخدم في القراءة بعد ظهور أول رمز بدلاً من الانتظار حتى اكتمال الإجابة. الوقت الإجمالي هو نفسه، لكن الواجهة تبدو أسرع بكثير. بالنسبة للدردشة، ولعب الأدوار، وأدوات الكتابة، يعد البث المتدفق عادةً الخيار الافتراضي الصحيح.

تفاصيل يجب تذكرها عند تخطيط الطلبات المتزامنة: يحتفظ الطلب المتدفق بمكانه في الطابور حتى ينتهي البث، وليس حتى وصول أول رمز. إذا كان مفتاحك يسمح بـ 8 طلبات متزامنة، فإن وجود 8 تدفقات طويلة يعني أن الطلب التاسع يجب أن ينتظر أو يحصل على استجابة 429.

ما هي تكاليف الاستدلال، بأرقام حقيقية

يتم احتساب رسوم الاستنتاج المستضاف لكل رمز، مع أسعار منفصلة للإدخال والإخراج لأن رموز الإخراج تتطلب عملاً أكثر. تُقدّر هذه الخدمة السعر بـ $0.15 لكل 1M رمز إدخال و $0.50 لكل 1M رمز إخراج، من رصيد مسبق الدفع بدون اشتراك. إليك كيفية حساب ذلك لعدد من الطلبات النموذجية.

طلبالرموز المدخلةالرموز المخرجةالتكلفة
رسالة دردشة قصيرة500300$0.000075 + $0.00015 = $0.000225
محادثة مع السجل2,000500$0.0003 + $0.00025 = $0.00055
ملخص المستندات الطويلة30,0001,000$0.0045 + $0.0005 = $0.005
موجّه كامل بـ 100,000 رمز، رد قصير100,000500$0.015 + $0.00025 = $0.01525

الحساب بسيط: اقسم عدد الرموز على مليون واضرب في السعر. بالنسبة لصف "محادثة مع السجل"، 2,000 / 1,000,000 × $0.15 = $0.0003 و 500 / 1,000,000 × $0.50 = $0.00025، مما يجمع ليصبح $0.00055. تكلفة ألف طلب مثل هذه هي $0.55.

تفاصيل حسابيتان تساعدان عند وضع الميزانية. الطلبات الفاشلة أو المرفوضة لا تُحسب رسومها، ولا ينتهي الرصيد، لذا فإن شحن الرصيد ليس ساعة تقاس. تحمل كل استجابة ترويسة X-Balance-USD، مما يتيح لبرمجيتك مراقبة الرصيد المتبقي دون إجراء استدعاء منفصل.

استدلال مستضاف أو وحدة معالجة رسومية خاصة بك

لديك طريقتان للحصول على الاستنتاج. يمكنك استئجار أو شراء معالجات رسوميات، وتثبيت محرك تشغيل وتشغيل نموذج بنفسك. أو يمكنك استدعاء واجهة برمجة التطبيقات والسماح للآخرين بتشغيل الأجهزة.

يعطيك تشغيله بنفسك تحكماً كاملاً في ملفات النموذج، والإعدادات، ومسار البيانات. السعر هو العمل التشغيلي: اختيار الأجهزة التي تناسب الأوزان بالإضافة إلى ذاكرة KV، والحفاظ على تحديثات برامج التشغيل ومحركات التشغيل، والتعامل مع ذروات الحركة، ودفع ثمن الجهاز خلال ساعات الهدوء. تحول واجهة برمجة التطبيقات المستضافة هذا إلى فاتورة لكل رمز. إنها عادةً المسار الأسرع عندما تكون حركة المرور غير متساوية أو ما زلت تختبر فكرة.

الخدمة الموصوفة هنا هي واجهة برمجة التطبيقات للنصوص فقط المتوافقة مع OpenAI والمستضافة. تعمل بنموذج مفتوح الأوزان، وتشغله مزود مستقل ومضبط للإجابة بدون رفض المحتوى للاستخدام القانوني للبالغين. ليست واجهة برمجة التطبيقات الرسمية لأي بائع نماذج، ولا تقوم بتوليد الصور أو الصوت أو الفيديو، ولا إنشاء التضميمات أو ضبط النماذج الدقيقة. إذا كنت بحاجة إلى أي من هذه الميزات، فأنت بحاجة إلى أداة مختلفة. إذا كنت بحاجة إلى توليد نصوص عادية مع رفضات قليلة، فإن دليل البدء السريع يوضح الإعداد، وصفحة التسعير تدرج خيارات شحن الرصيد.

جرب استدلال بنفسك

أسرع طريقة لتجسيد هذا المفهوم هي إرسال طلب واحد وقراءة الأرقام التي يعيدها. بعد إنشاء مفتاح، يرسل أمر curl التالي إكمال دردشة إلى نقطة النهاية:

curl https://api.llminferenceapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Explain the KV cache in two sentences."}],
    "max_tokens": 120
  }'

يشمل استجابة JSON كائن usage يحتوي على prompt_tokens، وcompletion_tokens، وtotal_tokens. اضرب هذه الأرقام في الأسعار أعلاه وستحصل على التكلفة الدقيقة للاستدعاء. نفس الشيء في Python باستخدام SDK الخاص بـ OpenAI:

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llminferenceapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain the KV cache in two sentences."}],
    max_tokens=120,
)

u = resp.usage
cost = u.prompt_tokens / 1e6 * 0.15 + u.completion_tokens / 1e6 * 0.50
print(resp.choices[0].message.content)
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

يمكن للمستخدمين الجدد المطالبة برصيد تجريبي بقيمة $0.50 بنقرة واحدة على صفحة المفتاح بعد التسجيل. لا يتطلب بطاقة، ويستمر لمدة 7 أيام، وبالسعر أعلاه يغطي حوالي ألفين من رسائل الدردشة القصيرة. إذا ظهر خطأ لا تتعرف عليه، فإن مقال استكشاف الأخطاء يدرج الأسباب الشائعة.

أسئلة وأجوبة

هل الاستدلال هو نفسه تشغيل النموذج؟

نعم. تشغيل نموذج مدرب على مدخلات جديدة لإنتاج مخرجات هو استدلال. التدريب، الذي يعدل الأوزان، هو خطوة مختلفة وأقدم.

لماذا يكون المخرجات أكثر تكلفة من المدخلات؟

تُعالَج رموز الإدخال معًا في عملية متزامنة واحدة، بينما تُنتَج رموز الإخراج واحدة تلو الأخرى. تسعر المزودون الجزء الأبطأ (التسلسلي) بسعر أعلى، وتُقدّر هذه الخدمة السعر بـ $0.50 مقابل $0.15 لكل مليون رمز.

هل تجعل نافذة السياق الأطول الطلبات أبطأ؟

عادةً نعم. يعني الموجّه الأطول المزيد من عمل التعبئة المسبقة ومخزن KV أكبر، لذا يرتفع الوقت حتى ظهور أول رمز. تدفع فقط مقابل الرموز التي ترسلها وتستقبلها فعليًا، وليس عن الجزء غير المستخدم من نافذة الـ 100,000 رمز.

هل أحتاج إلى وحدة معالجة رسومية لاستخدام واجهة برمجة تطبيقات الاستدلال؟

لا. يقوم المزود بتشغيل الأجهزة. ترسل طلبات HTTPS من أي جهاز، بما في ذلك الكمبيوتر المحمول أو الخادم الصغير.

مفتاحك على بُعد نموذج واحد

أنشئ حساباً، وانسخ المفتاح، ثم غيّر URL الأساسي. هذه هي الإعدادات الكاملة.

احصل على مفتاح API