تكامل Arize مع TrueFoundry

كل طلب LLM يمر عبر بوابة TrueFoundry للذكاء الاصطناعي يُنشئ تتبعًا. يلتقط هذا التتبع شجرة النطاق الكاملة للطلب: معالجة البوابة والتحقق من صحة JWT وحل التفويض وتوجيه المزود واستدعاء النموذج الصادر والاستجابة المتدفقة. تُخزن هذه التتبعات داخليًا لواجهة مستخدم TrueFoundry Monitor. ولكن يمكن أيضًا تصديرها عبر بروتوكولات OpenTelemetry القياسية إلى واجهات خلفية للمراقبة الخارجية. Arize هو أحد هذه الواجهات الخلفية.

تستعرض هذه المقالة كيفية عمل تصدير التتبع على مستوى البنية: ما هي العناصر الأولية لـ OTEL المتضمنة، وكيف تصدر البوابة التتبعات دون إضافة زمن انتقال إلى مسار الطلب، وماذا يفعل Arize ببيانات التتبع بمجرد وصولها. كما تغطي واجهة التكوين وضوابط خصوصية البيانات التي تتيح لك إزالة محتوى المطالبة قبل أن يغادر بنيتك التحتية.

OpenTelemetry ومراقبة نماذج اللغة الكبيرة (LLM)

يحدد OpenTelemetry تنسيقًا سلكيًا محايدًا للموردين للتتبعات الموزعة. التتبع هو شجرة من النطاقات متصلة بعلاقات الأب والابن. يمثل كل نطاق وحدة عمل منفصلة: معالج HTTP واحد أو استدعاء LLM واحد أو استدعاء أداة واحد. تحمل النطاقات سمات مفتاح-قيمة مُحددة النوع تُشفّر السياق التشغيلي مثل زمن الانتقال ورموز الحالة وعدد الرموز.

تغطي الاصطلاحات الدلالية القياسية لـ OTEL الأنظمة الموزعة للأغراض العامة بشكل جيد، لكنها لم تُصمم لأعباء عمل LLM. تحمل استدعاءات LLM مدخلات منظمة (مصفوفات رسائل متعددة الأدوار مع مطالبات النظام وتعريفات الأدوات والمحتوى متعدد الوسائط) ومخرجات منظمة (إكمال مع أسباب الانتهاء واستدعاءات الوظائف). اقتصاديات الرموز هي مقاييس تشغيلية من الدرجة الأولى: رموز المطالبة ورموز الإكمال ورموز التخزين المؤقت ورموز الاستدلال، كلها تحتاج إلى تتبع لكل نطاق. سمة سلسلة نصية واحدة مثل input.value غير كافية.

هنا يأتي دور الاصطلاحات الدلالية الخاصة بـ LLM. تحافظ Arize على مواصفات OpenInference التي تحدد مخطط سمات ملموسًا وتصنيف أنواع النطاقات فوق نطاقات OTEL. كل تتبع OpenInference هو تتبع OTLP صالح. تمنح الاصطلاحات أسماء السمات معناها الخاص بالذكاء الاصطناعي. أنواع النطاقات مثل LLM و CHAIN و RETRIEVER و TOOL و EMBEDDING تصنف العمليات حتى تتمكن منصات المراقبة من عرض التتبعات باستخدام تصورات وتجميعات واعية بالذكاء الاصطناعي.

تُصدر بوابة TrueFoundry للذكاء الاصطناعي تتبعات باستخدام مساحة اسم السمات الخاصة بها (tfy.input و tfy.output و tfy.input_short_hand بالإضافة إلى gen_ai.* سمات لعدد الرموز وبيانات تعريف النموذج وأسباب انتهاء الإكمال). يستوعب Arize هذه كآثار OTLP صالحة ويربط السمات بواجهة مستخدم التتبع الخاصة به.

كيف تنشئ البوابة التتبعات

تستخدم بوابة TrueFoundry AI بنية مقسمة: مستوى تحكم يدير التكوين ومستوى بوابة يعالج طلبات الاستدلال. تم بناء مستوى البوابة على إطار عمل Hono وهو بيئة تشغيل HTTP فائقة السرعة ومحسّنة للحافة. يمكن لقرنة بوابة واحدة تعمل على 1 vCPU و 1 جيجابايت من ذاكرة الوصول العشوائي (RAM) معالجة أكثر من 250 طلبًا في الثانية مع زمن انتقال إضافي يبلغ حوالي 3 مللي ثانية.

المبدأ التصميمي الحاسم هو أنه لا توجد مكالمات خارجية في مسار الطلب باستثناء مكالمة مزود LLM الفعلية. عندما يصل طلب إلى قرنة البوابة، تحدث الأمور التالية بالكامل في الذاكرة:

1. تتحقق القرنة من صحة رمز JWT المميز مقابل المفاتيح العامة المخزنة مؤقتًا التي تم تنزيلها من موفر الهوية الخاص بك (IdP). لا توجد مكالمة مصادقة خارجية.
2. تتحقق من خريطة التفويض الموجودة في الذاكرة (التي تتم مزامنتها من مستوى التحكم عبر NATS) للتحقق مما إذا كان المستخدم لديه حق الوصول إلى النموذج المطلوب.
3. تقوم بحل معرف النموذج إلى نقطة نهاية مزود محددة. إذا كان النموذج نموذجًا افتراضيًا بقواعد توجيه، تطبق البوابة هنا منطق اختيار يعتمد على الأولوية أو الوزن أو زمن الانتقال.
4. يقوم محول بترجمة الطلب من تنسيق متوافق مع OpenAI إلى التنسيق الأصلي للمزود المستهدف.
5. يتم إعادة توجيه الطلب إلى المزود ويتم بث الاستجابة مرة أخرى إلى العميل.

يتم إنشاء التتبع بشكل غير متزامن بالتوازي مع هذا التدفق. تنشئ البوابة نطاقات OTEL لكل مرحلة من دورة حياة الطلب: معالج HTTP الوارد، وفحص المصادقة، وحل النموذج، ومكالمة المزود الصادرة، والاستجابة المتدفقة. تحمل هذه النطاقات سمات تلتقط استخدام الرمز المميز وزمن الانتقال واسم النموذج والمزود وتقدير التكلفة وبيانات تعريف الطلب. بعد اكتمال الطلب، تنشر البوابة بيانات التتبع إلى قائمة انتظار رسائل NATS. هذه هي نفس ناقل NATS الذي يتعامل مع مزامنة التكوين بين مستوى التحكم وقرنات البوابة.

يلتقط مصدر OTEL بيانات التتبع من هذا المسار غير المتزامن ويعيد توجيهها إلى نقطة النهاية الخارجية المكونة. نظرًا لأن تصدير التتبع مفصول عن مسار الطلب، فإنه لا يضيف أي زمن انتقال لطلبات الاستدلال. لا تفشل البوابة أبدًا في معالجة طلب حتى لو كانت نقطة نهاية OTEL الخارجية غير قابلة للوصول.

ماذا يفعل Arize بالتتبعات

Arize هي منصة لمراقبة وتقييم الذكاء الاصطناعي مصممة خصيصًا لأعباء عمل LLM والوكلاء. تقبل آثار OTEL عبر gRPC على otlp.arize.com:443 ويوفر عدة طبقات من التحليل فوق بيانات التتبع الخام.

تصور التتبع. يعرض Arize تسلسلات تتبع كاملة (waterfalls) توضح شجرة الامتدادات (span tree) لكل طلب. يمكنك فحص الامتدادات الفردية للاطلاع على استخدام الرموز وتفاصيل زمن الاستجابة ومحتوى المدخلات والمخرجات وبيانات تعريف النموذج. بالنسبة لسير عمل الوكلاء حيث يؤدي طلب مستخدم واحد إلى تشغيل مكالمات LLM متعددة واستدعاءات للأدوات، فإن عرض التسلسل هذا يجعل مسار التنفيذ واضحًا ومقروءًا.

تحليلات الأداء. يقوم Arize بحساب المقاييس المجمعة عبر تدفق التتبع الخاص بك: توزيعات زمن الاستجابة حسب النموذج وحسب المزود، ومعدلات الخطأ بمرور الوقت، واتجاهات الإنتاجية. يمكنك إعداد قواعد تنبيه يتم تشغيلها عند ظهور حالات شاذة في هذه التوزيعات. هذا مفيد لاكتشاف تدهور أداء المزود قبل أن يؤثر على المستخدمين النهائيين.

تقييم نماذج اللغات الكبيرة (LLM). بالإضافة إلى التتبع الخام، يدعم Arize مسارات تقييم آلية. يمكنك تشغيل سير عمل "LLM كقاضٍ" الذي يقيم الإنجازات بناءً على أبعاد مثل الصلة والاتساق والواقعية. يمكنك أيضًا إدخال سير عمل التعليقات التوضيحية البشرية لتقييم جودة أكثر دقة. توفر عمليات التتبع البيانات الخام (المدخلات والمخرجات ومعلمات النموذج) التي تغذي حلقات التقييم هذه.

الميزة التنافسية الرئيسية هي أن Arize يفهم دلالات LLM الخاصة به بشكل أصلي. يقوم بتحليل عدد الرموز ومعرفات النموذج ومحتوى المطالبة من سمات الامتداد ويعرضها في طرق عرض مصممة خصيصًا بدلاً من التعامل معها كأزواج قيم مفتاحية نصية عامة.

واجهة التكامل

التكامل هو تصدير gRPC مباشر من البوابة إلى Arize. لا حاجة إلى حاوية جانبية (sidecar) للمجمع. لا يوجد SDK مخصص متضمن. تقوم بتكوين مُصدّر OTEL في لوحة تحكم TrueFoundry وتبدأ عمليات التتبع في التدفق.

يمكنك اتباع خطوات التكامل هنا: https://www.truefoundry.com/docs/ai-gateway/arize

سمات الموارد

يمكنك إرفاق سمات موارد إضافية بكل تتبع مُصدّر. هذه أزواج قيم مفتاحية تُضاف على مستوى التتبع وهي مفيدة للتصفية والتجميع في Arize.

السمة الأكثر شيوعًا لتعيينها هي model_id. يستخدم Arize هذا لتجميع عمليات التتبع حسب النموذج في طرق عرض لوحة التحكم الخاصة به. إذا كنت تقوم بتوجيه حركة مرور الإنتاج عبر نموذج LLama مضبوط بدقة، فقد تقوم بتعيين model_id إلى finetuned-llama-3-production. يمكنك أيضًا إضافة model_version إذا كنت تقوم بتشغيل عمليات نشر متوازية وترغب في مقارنة الأداء بين الإصدارات في Arize.

ضوابط خصوصية البيانات

توجد سيناريوهات نشر يجب ألا يغادر فيها محتوى المطالبة ومحتوى الإكمال البنية التحتية الخاصة بك. قد تحظر متطلبات الامتثال إرسال نصوص الطلبات إلى خدمات الجهات الخارجية. وقد تجعل المعلومات الشخصية (PII) في المطالبات التصدير الخارجي غير ممكن.

تتعامل TrueFoundry مع هذا باستخدام مفتاح تبديل "استبعاد بيانات الطلب" (Exclude Request Data) في إعدادات مُصدّر OTEL. عند التمكين، تُسقط البوابة ثلاث سمات نطاق قبل التصدير: tfy.input و tfy.output و tfy.input_short_hand. لا يزال Arize يتلقى بيانات التتبع الهيكلية (زمن الاستجابة وعدد الرموز المميزة وبيانات تعريف النموذج وحالة الخطأ) ولكنه لا يرى أبدًا المحتوى الفعلي للمطالبات أو الإكمال.

هذه تفصيلة معمارية مهمة. يتم التصفية على مستوى البوابة قبل أن تصل بيانات التتبع إلى مُصدّر gRPC. لا يغادر المحتوى حاوية البوابة أبدًا. تحصل على إمكانية مراقبة كاملة للأداء والتكلفة والموثوقية دون الكشف عن محتوى حساس لمنصة خارجية.

التحقق من التكامل

بعد حفظ إعدادات OTEL، أرسل بعض طلبات LLM عبر البوابة. ثم افتح لوحة تحكم Arize وانتقل إلى "التتبعات". ابحث عن التتبعات من tfy-llm-gateway خدمة. يجب أن يُظهر كل تتبع شجرة النطاق الكاملة مع نطاقات معالجة البوابة ونطاق استدعاء مزود LLM الصادر. انقر على النطاقات الفردية للتحقق من أن استخدام الرموز المميزة وزمن الاستجابة وبيانات تعريف النموذج قد تم تعبئتها بشكل صحيح.

إذا قمت بتكوين سمات الموارد، يجب أن تراها منعكسة في بيانات تعريف التتبع. استخدم model_id سمة لتصفية قائمة التتبع والتحقق من أن عمليات التتبع يتم تجميعها بشكل صحيح حسب النموذج.

ملخص البنية

تدفق البيانات مباشر وواضح. ترسل التطبيقات طلبات LLM إلى بوابة TrueFoundry AI. تعالج البوابة الطلب في الذاكرة (المصادقة والتفويض والتوجيه وتحديد المعدل) وتعيد توجيهه إلى مزود النموذج المكوّن. بالتوازي، تُنشئ البوابة نطاقات OTEL لدورة حياة الطلب وتنشرها بشكل غير متزامن إلى قائمة انتظار رسائل NATS. يقرأ مُصدّر OTEL من قائمة الانتظار هذه ويرسل عمليات التتبع عبر gRPC إلى otlp.arize.com:443. يستوعب Arize عمليات تتبع OTLP ويجعلها متاحة للتصور والتحليل والتقييم.

لا تتم إضافة أي استدعاءات خارجية إلى مسار الاستدلال. لا يلزم نشر أي حاويات جانبية (sidecars) للمجمع. لا تتطلب أي تغييرات في كود التطبيق. البوابة هي نقطة القياس الوحيدة وتصدير OTEL هو إضافة إلى تخزين التتبع الداخلي الخاص بالبوابة. يمكنك التصدير إلى Arize مع الاستمرار في استخدام واجهة مستخدم المراقبة المدمجة في TrueFoundry لنفس بيانات التتبع.

هذا هو النمط الذي يجعل OTEL ذا قيمة كخيار بروتوكول. تصدر البوابة عمليات تتبع OTLP قياسية. يقبل Arize عمليات تتبع OTLP قياسية. إذا قررت تبديل أنظمة المراقبة الخلفية غدًا، فما عليك سوى تغيير نقطة النهاية والرؤوس في تكوين البوابة وتوجيهها إلى مستقبل OTLP مختلف. يظل كود تطبيقك وتكوين بوابتك وأدوات تتبعك كما هي تمامًا.