تكامل Wafer مع بوابة TrueFoundry للذكاء الاصطناعي

يبدو أن مزودي الاستدلال الجدد للنماذج مفتوحة المصدر يظهرون كل بضعة أسابيع، وكل منهم يعد بتوفير رموز أسرع في الثانية على نفس المجموعة المحدودة من النماذج التي يستخدمها الجميع بالفعل. نادراً ما تكون المشكلة بالنسبة لفرق الهندسة هي ما إذا كان المزود سريعاً بما فيه الكفاية. بل ما يحدث بعد ذلك: عنوان URL أساسي جديد، مفتاح API جديد، إعداد مراقبة جديد، ومجموعة من مسارات كود التطبيق التي تحتاج الآن إلى الاختبار مقابل مخطط آخر. يزيل وصول Wafer داخل بوابة TrueFoundry للذكاء الاصطناعي هذه المشكلة الثانية، تاركاً السؤال الأول فقط: هل النموذج سريع بما يكفي لعبء العمل؟

بوابة TrueFoundry للذكاء الاصطناعي: طبقة تنفيذ واحدة لكل نموذج

تقع بوابة TrueFoundry للذكاء الاصطناعي بين التطبيقات وكل نموذج تستدعيه، موفرة واجهة واحدة متوافقة مع OpenAI بغض النظر عن المزود الذي يقوم فعلياً بتلبية الطلب في الخلفية. بدلاً من أن يحتفظ التطبيق بعميل مختلف، ومفتاح مختلف، وسياسة إعادة محاولة مختلفة لكل مزود، فإنه يرسل كل طلب إلى نقطة نهاية واحدة ويترك للبوابة مهمة تحديد الوجهة الفعلية لهذا الطلب.

يتم هذا التحديد من خلال ما تسميه TrueFoundry النماذج الافتراضية (Virtual Models): وهي معرفات نماذج منطقية ترتبط بمزود واحد أو أكثر من المزودين الفعليين، مع تحديد التوجيه بناءً على الأولوية أو الوزن أو زمن الاستجابة. لا تتطلب إضافة مزودين جدد كود تكامل جديداً من جانب التطبيق. يتم إضافتهم كحساب مزود ومجموعة من النماذج المسجلة، ويمكن لكل تطبيق موجه بالفعل إلى البوابة البدء في استخدامها بمجرد تفعيلها.

Wafer: سرعة بلا خادم للنماذج مفتوحة المصدر

Wafer هو مزود استدلال مستضاف تم بناؤه خصيصاً لتقديم النماذج مفتوحة المصدر بسرعة. لا يكمن عرضه في كتالوج نماذج أوسع، بل في التنفيذ الأسرع للنماذج التي ترغب الفرق بالفعل في تشغيلها، ويتم تحقيق ذلك من خلال تحسين مكدس الاستدلال الكامل لأجهزة معينة بدلاً من تقديم النماذج على مكدس عام. من خلال TrueFoundry، تتوفر هذه السرعة لـ GLM 5.2، ويتم تقديمها كإكمال دردشة بلا خادم مع البث واستدعاء الأدوات. 

يتعامل Wafer أيضاً مع معالجة البيانات كخيار أساسي بدلاً من كونه إضافة للمؤسسات. يمكن وضع علامة على الطلبات لعدم الاحتفاظ بالبيانات (zero data retention) على أساس كل طلب، ويعزل Wafer حركة المرور ويوفر وقتاً تشغيلياً مدعوماً باتفاقية مستوى الخدمة (SLA) لأعباء العمل التي تحتاج إلى هذه الضمانات، دون الحاجة إلى مستوى عقد منفصل لمجرد تفعيل الخيار.

بوابة واحدة، كل نموذج: Wafer داخل TrueFoundry

ربط الاثنين هو مسألة تسجيل Wafer كحساب مزود داخل قسم النماذج في البوابة. يطلب نموذج الحساب عنوان URL أساسياً، والذي يكون افتراضياً نقطة نهاية Wafer الخاصة pass.wafer.ai/v1، ومفتاح API، ومفتاح تبديل لعدم الاحتفاظ بالبيانات (zero data retention)، والذي يكون مفعلاً بشكل افتراضي. يؤدي تفعيله إلى إخبار البوابة بإرفاق رأس Wafer-ZDR: required في كل طلب يتم إرساله إلى Wafer، بحيث يتم فرض سلوك الاحتفاظ بالبيانات على مستوى الطلب بدلاً من تركه للتكوين على مستوى الحساب.

بمجرد وجود الحساب، يتم تسجيل نماذج الدردشة الفردية باسم العرض الخاص بها ومعرف نموذج Wafer الدقيق الخاص بها، مثل glm-5.2. ما يجعل هذا التكامل خفيفاً بشكل غير عادي هو أن واجهة برمجة تطبيقات Wafer تتحدث بالفعل مخطط إكمال الدردشة الخاص بـ OpenAI بشكل أصلي. محول المزود الخاص بالبوابة، والذي يترجم الطلبات عادةً إلى تنسيق الشريك الخاص، ليس لديه ما يترجمه هنا. يمرر الطلب دون تغيير إلى حد كبير، وهذا هو نفس السبب الذي يجعل العملاء الحاليين المتوافقين مع OpenAI يمكنهم توجيه الطلبات إلى Wafer مباشرةً عن طريق تبديل عنوان URL الأساسي والمفتاح فقط.

‍

كيف يعمل التوجيه الذكي

يمر الطلب الذي يستهدف نموذجاً مدعوماً من Wafer عبر نفس مسار الطلب مثل أي نموذج آخر على البوابة:

1. يستدعي تطبيق نقطة نهاية إكمال الدردشة الخاصة بالبوابة باستخدام معرف نموذج بالصيغة your-wafer-account/glm-5.2، وذلك باستخدام حزمة تطوير البرامج (SDK) القياسية لـ OpenAI.

2. تتحقق البوابة من صحة رمز JWT الخاص بالطلب مقابل المفاتيح العامة المخزنة مؤقتاً، وتتحقق من وصول المتصل مقابل خريطة في الذاكرة للمستخدمين إلى النماذج، وكلاهما يتم دون استدعاء خارجي.

3. يتم حل معرف النموذج الافتراضي إلى حساب مزود Wafer المسجل، بما في ذلك عنوان URL الأساسي الخاص به، ومفتاح API، وإعداد عدم الاحتفاظ بالبيانات.

4. يتم إعادة توجيه الطلب إلى pass.wafer.ai/v1/chat/completions عبر HTTPS. نظراً لأن Wafer يستخدم بالفعل مخطط OpenAI، فإن محول المزود الخاص بالبوابة لا يجري أي تغييرات في التنسيق، بل يرفق فقط رأس Wafer-ZDR عندما يتم تعيين الاحتفاظ بالبيانات على "مطلوب".

5. يجري Wafer الاستدلال على نموذج GLM 5.2 المطلوب ويبث الرموز فور توليدها.

6. تبث البوابة الاستجابة مرة أخرى إلى التطبيق وتنشر بشكل غير متزامن عدد الرموز وزمن الاستجابة والتكلفة إلى خط أنابيب القياس عن بعد الخاص بها، تمامًا كما تفعل مع أي مزود آخر.

لا توجد أي من هذه الخطوات حصرية لـ Wafer. هذه هي الفكرة الأساسية: يصبح مزود الاستدلال الجديد والسريع هدفًا للتوجيه بدلاً من أن يكون سطح تكامل جديدًا، وهذا ما يسمح لحساب البوابة باستيعاب مزودين جدد بمجرد إثبات كفاءتهم دون أن يحتاج كل تطبيق إلى تغيير في الكود.

ابدأ باستخدام استدلال النماذج المفتوحة الأسرع

من لوحة تحكم TrueFoundry، افتح AI Gateway، ثم Models (النماذج)، واختر Wafer لإضافة حساب وتسجيل نماذج الدردشة الخاصة بك. استدعِها عبر Playground أو مباشرةً عبر العميل المتوافق مع OpenAI، مع تعيين النموذج على اسم حسابك ومعرف النموذج الخاص بك. تتوفر خطوات الإعداد الكاملة وأمثلة التعليمات البرمجية في وثائق TrueFoundry AI Gateway الخاصة بـ Wafer، بالإضافة إلى دليل إعداد موجه Wafer الخاص.

‍