تصدير تتبعات بوابة LLM إلى Traceloop باستخدام OpenTelemetry

بوابة تروفاوندري للذكاء الاصطناعي تصدر آثار OpenTelemetry إلى Traceloop عبر OTLP/HTTP باستخدام https://api.traceloop.com/v1/traces نقطة النهاية ورمز Bearer المميز في رأس التفويض . كل طلب LLM يمر عبر البوابة ينتج شجرة نطاقات تظهر في لوحة تحكم Traceloop دون أي تغييرات على كود التطبيق أو بنية النشر.

تتناول هذه المقالة مسار توليد الآثار داخل بوابة تروفاوندري للذكاء الاصطناعي وكيف Traceloop تستوعب وتُظهر تلك البيانات. كما تصف واجهة التكوين وضوابط خصوصية البيانات المتاحة على مستوى البوابة.

كيف تولد البوابة الآثار

إن بوابة تروفاوندري للذكاء الاصطناعي مبنية على إطار عمل Hono وتعمل كحاوية عديمة الحالة تتعامل مع أكثر من 250 طلبًا في الثانية على وحدة معالجة مركزية افتراضية واحدة (vCPU) مع حوالي 3 مللي ثانية من زمن الاستجابة الإضافي لكل طلب. تعمل البوابة في بنية مقسمة حيث تدير طبقة التحكم التكوين وتُعالج حاوية بوابة واحدة أو أكثر حركة مرور الاستدلال.

عند وصول طلب، تنفذ البوابة التسلسل التالي في المسار الساخن:

1. يتم التحقق من صحة رمز JWT المميز مقابل المفاتيح العامة المخزنة مؤقتًا في الذاكرة (يتم تنزيلها مرة واحدة من موفر الهوية (IdP) وتحديثها عبر NATS)
2. يتم التحقق من التفويض مقابل خريطة المستخدم إلى النموذج الموجودة في الذاكرة، والتي يتم تحديثها بواسطة NATS pub/sub
3. يتم تحديد معرف النموذج لنقطة نهاية مزود فعلية عبر منطق توجيه النموذج الافتراضي الذي يعمل في الذاكرة
4. يتم ترجمة الطلب من تنسيق متوافق مع OpenAI إلى تنسيق المزود المستهدف عبر طبقة محول
5. يتم إعادة توجيه الطلب إلى المزود ويتم بث الاستجابة مرة أخرى إلى العميل

لا تتضمن أي من هذه الخطوات استدعاءات خارجية باستثناء استدعاء المزود نفسه. يتم تطبيق تحديد المعدل باستخدام خوارزمية "Sliding Window Token Bucket" مقابل الحالة الموجودة في الذاكرة. يتم تقييم الحواجز الوقائية (عند التكوين) بالتزامن مع استدعاء النموذج لفحوصات الإدخال وبالتتابع لفحوصات الإخراج.

بعد اكتمال الطلب، ينشر الموزع شجرة الامتداد (span tree) بشكل غير متزامن إلى NATS. يقرأ مصدر OTEL من هذا المسار غير المتزامن ويعيد توجيه الامتدادات إلى نقطة النهاية الخارجية المكونة. نظرًا لأن مسار التصدير مفصول تمامًا عن مسار الطلب، فإن الواجهة الخلفية لـ OTEL البطيئة أو غير القابلة للوصول لا تضيف أبدًا زمن انتقال إلى العميل ولا تتسبب أبدًا في فشل الطلب. إذا كان Traceloop غير قابل للوصول، يتم إسقاط الامتدادات عند المصدر وتسجيلها داخليًا. لا يتأثر تخزين التتبع الداخلي الخاص بـ TrueFoundry لأن التصدير إضافي.

ينشئ الموزع امتدادات عبر خمس مراحل: معالج HTTP الوارد، والمصادقة، وتحديد النموذج، واستدعاء المزود الصادر، وتجميع الاستجابة المتدفقة. يحمل كل امتداد مجموعة متسقة من السمات.

الـ gen_ai.* تتبع السمات اتفاقيات OpenTelemetry الدلالية لأنظمة الذكاء الاصطناعي التوليدي. هذا يعني أن بيانات التتبع التي تصل إلى Traceloop متطابقة هيكليًا مع ما تنتجه أي تطبيق مزود بأدوات OpenLLMetry.

‍

ما يفعله Traceloop بالبيانات

Traceloop هي منصة لمراقبة نماذج اللغة الكبيرة (LLM) مبنية على OpenLLMetry، وهي طبقة أدوات OpenTelemetry مفتوحة المصدر الخاصة بها. تقبل الواجهة الخلفية لـ Traceloop بيانات تتبع OTLP/HTTP وتقوم بفهرستها للوحة تحكم Traceloop. المنصة أصلية للتتبع. يتم حساب المقاييس مثل استخدام الرموز وزمن الاستجابة والتكلفة من سمات الامتداد بدلاً من تدفق مقاييس OTLP منفصل. لهذا السبب، يكفي تكوين مصدر التتبعات فقط في TrueFoundry — لا يوجد /v1/metrics نقطة نهاية في واجهة استيعاب Traceloop.

ينظم Traceloop البيانات حول ثلاثة مفاهيم أساسية. التتبعات هي الوحدة العليا وتتوافق مباشرة مع طلب نموذج لغة كبير (LLM) أو سير عمل وكيل. تمثل الامتدادات داخل التتبع عمليات فردية (استدعاء LLM، واستدعاء أداة، وخطوة استرجاع). تتوافق البيئات مع مراحل النشر، ولكل بيئة مفتاح API خاص بها يسمح لتتبعات التطوير والتجريب والإنتاج بالبقاء معزولة في لوحة التحكم.

الـ Traceloop تعرض لوحة المعلومات استخدام الرموز المميزة بمرور الوقت وتوزيعات زمن الاستجابة ومعدلات الخطأ وتحليلات النموذج مباشرة من gen_ai.* سمات الامتداد. نظرًا لأن TrueFoundry تملأ هذه السمات في كل امتداد، يتم ملء لوحة معلومات Traceloop بالكامل دون الحاجة إلى أي أدوات SDK في طبقة التطبيق.

‍
‍

Traceloop يدعم أيضًا تحديد إصدارات المطالبات ومسارات اختبار الانحدار، لكن هذه الميزات تعمل على مستوى SDK للتطبيق وهي خارج نطاق هذا التكامل. يغطي التكامل على مستوى البوابة سطح المراقبة الكامل: كل طلب يمر عبر TrueFoundry ينتج تتبعًا في Traceloop بغض النظر عن مزود LLM أو النموذج الذي يتم استدعاؤه.

سطح التكامل

الاتصال بين TrueFoundry و Traceloop هو طلب POST واحد من نوع OTLP/HTTP إلى https://api.traceloop.com/v1/traces يحمل دفعات امتداد مشفرة بـ Proto. المصادقة هي رمز مميز من نوع Bearer في Authorization العنوان. الرمز المميز هو مفتاح API لـ Traceloop مخصص لبيئة معينة.

تعرض TrueFoundry هذا التكوين ضمن AI Gateway → Controls → Settings → OTEL Config. يقبل قسم Otel Traces Exporter الحقول التالية.

يجب أن تتضمن نقطة النهاية المسار الكامل /v1/traces المسار. لا يقوم مُصدّر TrueFoundry بإلحاق مسارات الإشارة تلقائيًا. يختلف هذا عن OTel Collector otlphttp المُصدّر الذي يضيف المسار تلقائيًا من عنوان URL الأساسي. كلاهما يؤدي إلى نفس الوجهة.

يتم إنشاء مفاتيح API الخاصة بـ Traceloop لكل بيئة من صفحة البيئات في لوحة تحكم Traceloop. يتم عرض المفتاح مرة واحدة فقط عند الإنشاء. يتم تمرير قيمة المفتاح في الرأس كـ Bearer <key> بما في ذلك الـ Bearer بادئة كسلسلة نصية حرفية.

ضوابط خصوصية البيانات

توفر البوابة استبعاد بيانات الطلب مفتاح تبديل في قسم إعدادات OTEL. عند التمكين، يقوم المُصدّر بإزالة tfy.input و tfy.output و tfy.input_short_hand من كل نطاق قبل إعادة التوجيه إلى Traceloop. لا تتأثر سمات النطاق المتبقية (عدد الرموز وأسماء النماذج وزمن الاستجابة وبيانات تعريف التوجيه). هذا المفتاح مناسب عندما تحتوي المطالبات أو الإكمال على معلومات تعريف شخصية للمستخدم (PII) أو محتوى خاص لا ينبغي أن يغادر حدود المجموعة.

يسمح حقل سمات الموارد الإضافية بإلحاق أزواج مفتاح-قيمة مخصصة بكل نطاق مُصدّر. هذا مفيد لوضع علامات على البيئة وتحديد مركز التكلفة والتصفية متعددة المستأجرين ضمن بيئة Traceloop واحدة.

‍

ملخص البنية

كل طلب LLM عبر TrueFoundry AI Gateway ينشئ شجرة نطاقات تغطي المصادقة والتوجيه واستدعاء المزود والاستجابة. بعد اكتمال الطلب، تنشر البوابة شجرة النطاقات هذه إلى NATS بشكل غير متزامن. يقرأ مصدر OTEL من NATS ويرسل دفعات مشفرة بـ Proto إلى https://api.traceloop.com/v1/traces باستخدام رمز مميز من نوع Bearer. يقوم Traceloop بفهرسة النطاقات ويعرض استخدام الرموز المميزة وزمن الاستجابة وتفاصيل النموذج في لوحة التحكم الخاصة به من الـ gen_ai.* سمات على كل نطاق.

لا تتطلب أي حاويات جانبية. لا تتطلب أي تغييرات على كود التطبيق. لا يلزم إضافة أي حزمة تطوير برامج (SDK) من OpenLLMetry إلى الخدمات التي تستدعي البوابة. يعمل التكامل بالكامل على طبقة البوابة ويغطي 100% من حركة المرور التي تمر عبرها بغض النظر عن حالة أدوات التطبيق المستدعي.

الخاصية المعمارية التي تجعل هذا الأمر نظيفًا هي النشر غير المتزامن لـ NATS. نظرًا لأن تصدير النطاقات مفصول عن مسار الطلب، يضيف التكامل زمن استجابة صفريًا لاستدعاءات الاستدلال ولا يقدم أي تبعية توفر على Traceloop. تعالج البوابة الطلبات بكامل طاقتها الإنتاجية سواء كان Traceloop متاحًا أم لا.

‍