تصدير تتبعات بوابة TrueFoundry للذكاء الاصطناعي إلى Opik باستخدام OpenTelemetry

عندما يكون استدعاء نموذج لغوي كبير (LLM) بطيئاً أو مكلفاً أو غير دقيق، فأنت بحاجة إلى رؤية الطلب بالكامل: المطالبة (Prompt)، والنموذج، والرموز (Tokens)، واستدعاءات الأدوات، وزمن الاستجابة. إذا كانت عمليات التتبع (Traces) في أداة والتقييم في أداة أخرى، فستكون الصورة مجزأة. يوضح هذا الدليل كيفية إرسال عمليات تتبع TrueFoundry AI Gateway إلى Comet Opik عبر OpenTelemetry، بحيث يظهر كل طلب تتعامل معه البوابة في Opik كتتبع كامل، دون الحاجة إلى إجراء أي تغييرات على كود تطبيقك.

لماذا تصدّر عمليات تتبع البوابة إلى Opik

إن TrueFoundry AI Gateway تتمركز بالفعل أمام كل استدعاء للنموذج، حيث توجه أكثر من 1000 نموذج لغوي كبير عبر واجهة برمجة تطبيقات واحدة متوافقة مع OpenAI، مع زمن استجابة إضافي يبلغ حوالي 3-4 مللي ثانية وقدرة معالجة تتجاوز 350 طلباً في الثانية على وحدة معالجة مركزية افتراضية واحدة. ولأنها تقع في مسار كل طلب، فهي المكان الطبيعي لإصدار عمليات التتبع. البوابة متوافقة مع OpenTelemetry بشكل افتراضي، لذا فإن التصدير إلى نظام خلفي آخر هو مجرد مسألة إعدادات، وليس هندسة برمجية.

Opik هي منصة لمراقبة وتقييم النماذج اللغوية الكبيرة من تطوير Comet. تقوم المنصة باستيعاب نطاقات OpenTelemetry وتحويلها إلى عمليات تتبع للنماذج اللغوية، مع توفير بيانات المدخلات والمخرجات لكل استدعاء، واستهلاك الرموز، وزمن الاستجابة، والتكلفة، كما تتيح لك إجراء تقييمات على هذا المسار. توجيه البوابة إلى Opik يعني أن طلبات الإنتاج الخاصة بك ستتحول إلى عمليات تتبع يمكنك فحصها وتقييمها في الأداة نفسها. تظل عمليات التتبع تصل إلى TrueFoundry بشكل افتراضي، بينما يقوم التصدير بنسخها إلى Opik.

إليك كيفية إعداد ذلك.

المتطلبات الأساسية

• حساب TrueFoundry مع إعداد AI Gateway وتدفق حركة البيانات من خلالها.
• حساب Comet لمنصة Opik (سحابي، أو مستضاف ذاتياً، أو مؤسسي)، مع مفتاح واجهة برمجة التطبيقات (API key)، واسم مساحة العمل، واسم المشروع المستهدف.
• الوصول إلى إعدادات AI Gateway في لوحة تحكم TrueFoundry.

دليل التكامل خطوة بخطوة

تستوعب Opik عمليات التتبع فقط، وهي تقبل بروتوكول OTLP عبر HTTP، لذا فإن الإعداد يتطلب مصدراً واحداً وثلاثة ترويسات (Headers). لا توجد حاجة لكتابة أي كود.

الخطوة 1: احصل على مفتاح Opik ومساحة العمل الخاصة بك

في Opik، افتح إعدادات حسابك وانسخ مفتاح واجهة برمجة التطبيقات (API key). دوّن اسم مساحة العمل الخاصة بك من مبدل مساحات العمل، وحدد اسم المشروع الذي تريد أن تصل إليه عمليات التتبع. يتم إنشاء المشروع عند أول عملية استيعاب إذا لم يكن موجوداً بالفعل.

الخطوة 2: تكوين مصدر تتبع OTEL

في لوحة التحكم، انتقل إلى AI Gateway، ثم الإعدادات (Settings)، ثم تكوين OTEL (OTEL Config). قم بتمكين مصدر التتبع واملأ نقطة نهاية Opik والترويسات المطلوبة.

لتصدير عمليات التتبع إلى Opik، قم بتهيئة مصدر OpenTelemetry الخاص بك لاستخدام بروتوكول HTTP مع ترميز Protobuf (Proto)، مع توجيهه إلى نقطة النهاية https://www.comet.com/opik/api/v1/private/otel/v1/traces. تتم إدارة المصادقة والتوجيه من خلال ثلاث ترويسات للطلب: الـ التفويض يجب أن يحتوي الرأس على مفتاح Opik API الخاص بك كقيمة خام، لاحظ أنه لا يجب تضمين Bearer كبادئة، بينما يجب تعيين رأسي Comet-Workspace و projectName إلى اسم مساحة العمل واسم المشروع الخاصين بك، على التوالي. تضمن هذه الرؤوس مصادقة التتبعات الواردة وتسجيلها في مساحة العمل والمشروع الصحيحين داخل Opik.

اترك مُصدّر المقاييس (metrics exporter) متوقفاً عن التشغيل. يقوم Opik باستيعاب التتبعات، وليس مقاييس OTLP. احفظ الإعدادات، وستبدأ الطلبات الجديدة في الانعكاس على Opik.

الخطوة 3: التحقق من وصول التتبعات

أرسل طلباً عبر البوابة، ثم افتح عرض التتبعات (Traces) في Opik لمشروعك. يجب أن ترى نطاقات (spans) من البوابة مع بيانات المدخلات والمخرجات وعدد الرموز (tokens) وزمن الاستجابة. يظهر استدعاء النموذج كتتبع لإكمال الدردشة؛ بينما تُظهر عمليات الوكيل (agent runs) الشجرة المتداخلة لاستدعاءات النموذج والأدوات.

ما الذي ستحصل عليه: مراقبة كاملة لنماذج اللغة الكبيرة (LLM) في Opik

تتبع موزع عبر الطلب بالكامل

تظهر عملية الوكيل كتتبع واحد مع استدعاءات النموذج والأدوات متداخلة تحتها، مما يتيح لك متابعة الطلب متعدد الخطوات من البداية إلى النهاية بدلاً من قراءة سطور سجلات غير مترابطة.

التقييم على حركة المرور الفعلية في بيئة الإنتاج

بما أن طلباتك المباشرة يتم تتبعها الآن في Opik، يمكنك بناء مجموعات بيانات منها وإجراء تقييمات على حركة المرور التي تخدمها فعلياً، بدلاً من الاعتماد على عينة اصطناعية.

رؤية التكلفة وزمن الاستجابة

يحمل كل تتبع بيانات استخدام الرموز (tokens) وزمن الاستجابة والتكلفة، مما يتيح لك العثور على الاستدعاءات البطيئة أو المكلفة دون الحاجة إلى تجميع البيانات من أدوات منفصلة.

لا حاجة لتغيير كود التطبيق

يتم ضبط التصدير مرة واحدة في البوابة. يتم تتبع كل خدمة تمر عبر البوابة، ولن تحتاج إلى إضافة حزمة تطوير برمجيات (SDK) أو تعديل أي تطبيق للوصول إلى ذلك.

الأسئلة الشائعة

س: ما هي مراقبة نماذج اللغة الكبيرة (LLM) من خلال بوابة الذكاء الاصطناعي؟ ج: هذا يعني أن كل استدعاء للنموذج تقوم به تطبيقاتك يتم تتبعه عند البوابة، مع تسجيل المطالبة (prompt)، والاستجابة، والرموز (tokens)، وزمن الاستجابة، والتكلفة لكل طلب. في بوابة TrueFoundry للذكاء الاصطناعي، يعتمد هذا على OpenTelemetry، لذا يمكنك تصدير تلك التتبعات إلى نظام خلفي مثل Comet Opik دون الحاجة إلى تعديل الكود البرمجي الخاص بك.

س: هل يؤدي التصدير إلى Opik إلى منع وصول التتبعات إلى TrueFoundry؟ ج: لا. تظل التتبعات مخزنة في TrueFoundry بشكل افتراضي. يقوم تصدير OTEL بنسخها إلى Opik بالإضافة إلى ذلك، لذا ستحتفظ بها في كلا المكانين.

س: هل يمكنني تصدير المقاييس إلى Opik بالإضافة إلى التتبعات؟ ج: لا. يستقبل Opik التتبعات فقط، لذا يجب عليك تهيئة مُصدّر التتبعات وإيقاف المقاييس. بالنسبة لمقاييس البوابة، يجب عليك استخدام نظام خلفي للمقاييس مثل Grafana أو Datadog أو Prometheus.

س: كم عدد نماذج اللغات الكبيرة (LLMs) التي تدعمها TrueFoundry؟ ج: أكثر من 1000 نموذج لغوي كبير من خلال واجهة برمجة تطبيقات واحدة متوافقة مع OpenAI. يمكنك التبديل بين النماذج عن طريق تغيير اسم النموذج في الطلب، مع استخدام نفس الرابط وبيانات الاعتماد.

س: هل يتكامل هذا مع نظام المراقبة الحالي الخاص بي؟ ج: نعم. البوابة متوافقة مع OpenTelemetry وتتصل بـ Grafana أو Datadog أو Prometheus، أو كما في هذه الحالة، Comet Opik، لتتبع كل طلب بدءاً من المطالبة وصولاً إلى تنفيذ الأداة والنموذج.

قراءات ذات صلة

• ما هي بوابة نماذج اللغات الكبيرة (LLM Gateway)؟ - البنية التحتية الكامنة وراء هذا التكامل
• حل تتبع تكاليف نماذج اللغات الكبيرة - نظرة أعمق على شفافية الإنفاق
• المراقبة في بوابة الذكاء الاصطناعي - كيف يتناسب التتبع على مستوى البوابة مع منظومة المراقبة الأوسع

الخلاصة

لا ينبغي أن تتطلب المراقبة إعادة تعديل كل خدمة. مع قيام بوابة TrueFoundry للذكاء الاصطناعي بتصدير تتبعات OpenTelemetry إلى Comet Opik، يصبح كل طلب تتعامل معه البوابة تتبعاً كاملاً يمكنك فحصه وتقييمه، حيث يتم إعداده مرة واحدة ويُطبق في كل مكان. ابدأ على بوابة TrueFoundry للذكاء الاصطناعي.