تكامل Coralogix مع بوابة TrueFoundry للذكاء الاصطناعي

مع انتقال الفرق من تجارب الذكاء الاصطناعي إلى تطبيقات جاهزة للإنتاج، يبرز موضوع واحد في كل مكان: قابلية المراقبة أمر لا غنى عنه. لم يعد يكفي معرفة ما إذا كان الطلب قد نجح أم فشل. أنت بحاجة إلى فهم لماذا تصرف النموذج بطريقة معينة، وما هي المطالبات أو الأدوات التي استخدمت، وكيف يؤثر ذلك على التكلفة، وزمن الاستجابة، وتجربة المستخدم.

هذا بالضبط ما صُمم من أجله التكامل بين TrueFoundry AI Gateway و Coralogix صُمم من أجله. توفر بوابة TrueFoundry للذكاء الاصطناعي للفرق لوحة تحكم واحدة للنماذج اللغوية الكبيرة (LLMs) والوكلاء عبر مختلف المزودين والبيئات، مع توجيه، وتحديد معدل الطلبات، وحواجز حماية، وإعادة محاولات، وضوابط تكلفة على مسار الطلب. Coralogix هي منصة شاملة لقابلية المراقبة توحد السجلات والمقاييس والتتبعات وبيانات الأمان، مع تحليلات في الوقت الفعلي تسهل التحقيق في المشكلات ومراقبة الأداء على نطاق واسع.

معًا، يوفران لك قابلية مراقبة شاملة للذكاء الاصطناعي: بدءًا من طلب المستخدم الذي يدخل البوابة، وصولاً إلى استدعاءات النموذج والأدوات التي تحدث في المراحل اللاحقة، وإلى التتبعات والمقاييس التي تتدفق إلى لوحات المعلومات والتنبيهات.

لماذا Coralogix و TrueFoundry

لم تعد أنظمة الذكاء الاصطناعي الحديثة مجرد "نموذج واحد ونقطة نهاية واحدة". تمتد عمليات النشر الحقيقية لتشمل العديد من مزودي النماذج، والنماذج المحلية والمستضافة، وأنظمة الاسترجاع، واستدعاءات الأدوات، وأطر عمل الوكلاء. كما أنها تعمل عبر بيئات التطوير، والاختبار، والإنتاج — غالبًا عبر مناطق متعددة — وقد تمر تجربة المستخدم نفسها عبر خدمات وتبعية متعددة.

هذا التعقيد يجعل المراقبة التقليدية تنهار بسرعة. إذا كان لديك سجلات متفرقة فقط، فإنك ستنتهي بالتخمين: هل كان التباطؤ بسبب مزود النموذج، أو الاسترجاع، أو تنفيذ الأداة، أو خدمتك الخاصة؟ إذا تسبب إصدار ما في ارتفاع استخدام الرموز، فما هو المسار أو الميزة التي أحدثت هذا التغيير؟ عندما تحدث حوادث الإنتاج، تحتاج إلى القدرة على الانتقال من العرض إلى مسار الطلب الدقيق في دقائق.

الطريقة المثلى للقيام بذلك هي التعامل مع حركة مرور الذكاء الاصطناعي كحركة مرور تطبيقات من الدرجة الأولى، مع تتبعات تُظهر دورة حياة الطلب الكاملة وبيانات وصفية تساعدك على التصفية حسب النموذج، والمسار، والبيئة، وزمن الاستجابة، والنتائج.

قوة بوابة TrueFoundry للذكاء الاصطناعي

تقع بوابة TrueFoundry للذكاء الاصطناعي أمام حركة مرور النماذج اللغوية الكبيرة (LLM) والوكلاء الخاصة بك كطبقة محكومة واحدة. إنها تعمل على مركزية الوصول إلى النماذج عبر البائعين وعمليات النشر، وتطبق قواعد التوجيه، وتحديد معدل الطلبات، وحواجز الحماية، وتوفر ضوابط على مستوى الطلب تساعد الفرق على تشغيل الذكاء الاصطناعي بشكل موثوق في بيئة الإنتاج. الميزة الرئيسية هي الاتساق: كل طلب يتبع نفس المسار المتحكم فيه، وتصبح البوابة المكان الطبيعي لتجهيز وتصدير بيانات القياس عن بعد (telemetry) لأغراض قابلية المراقبة.

Coralogix لقابلية المراقبة في بيئة الإنتاج

صُممت Coralogix لاستيعاب كميات كبيرة من بيانات القياس عن بعد (telemetry) وجعلها قابلة للاستكشاف في الوقت الفعلي. عندما تكون التتبعات متاحة في نفس النظام مع سجلاتك ومقاييسك، تصبح التحقيقات أسرع وأكثر دقة. بدلاً من محاولة إعادة بناء قصة من سجلات موزعة، يمكنك تتبع الأثر، وتحديد نقطة الاختناق، وربط ذلك بمقاييس البنية التحتية أو سلوك التبعية.

معًا أفضل: قابلية مراقبة شاملة للذكاء الاصطناعي باستخدام OpenTelemetry

يعتمد التكامل على OpenTelemetry، مما يحافظ على توافق الأمور مع المعايير ويسهل صيانتها. يقوم TrueFoundry AI Gateway بقياس طلبات نماذج اللغة الكبيرة (LLM) والوكلاء باستخدام OpenTelemetry ويصدر التتبعات إلى Coralogix عبر gRPC، مع بيانات وصفية غنية مرفقة بكل تتبع (مثل النموذج، المسار، معرفات التطبيق/النظام الفرعي، زمن الاستجابة، والحالة). يقوم Coralogix بعد ذلك باستيعاب هذه البيانات وتحليلها حتى تتمكن فرقك من إنشاء لوحات معلومات، وتعيين التنبيهات، والتحقيق في طلبات محددة من البداية إلى النهاية.

يدعم Coralogix استقبال التتبعات المتوافقة مع OpenTelemetry عبر نقطة دخول الاستيعاب الخاصة به (ingress endpoint) عبر gRPC، مما يجعل هذا التكامل مباشرًا من المصدر إلى المنصة بدلاً من خط أنابيب مخصص تحتاج إلى صيانته.

كيف يعمل التكامل

على مستوى عالٍ، يصل طلب المستخدم إلى TrueFoundry AI Gateway، وتقوم البوابة بإنشاء نطاقات OpenTelemetry (spans) للطلب ولنشاط النموذج/الأداة اللاحق، ويرسل المصدر تلك النطاقات إلى نقطة استيعاب OpenTelemetry الخاصة بـ Coralogix عبر gRPC. تصل التتبعات إلى Coralogix منظمة بالفعل، بحيث يمكن لفرقك التصفية حسب التطبيق والنظام الفرعي، والتعمق في طلب معين، ورؤية مكان حدوث زمن الاستجابة أو الأخطاء أو السلوك غير المتوقع بسرعة.

خطوة بخطوة: إعداد Coralogix مع TrueFoundry AI Gateway

في Coralogix، اجمع نقطة نهاية OpenTelemetry gRPC الخاصة بمنطقتك، ومفتاح API الخاص بـ Coralogix، وحدد التطبيق و النظام الفرعي الأسماء التي تريد استخدامها لتنظيم التتبعات. يساعد اختيار أسماء مستقرة وواضحة لاحقًا عند إنشاء الاستعلامات ولوحات المعلومات، حيث يمكنك تصفية تتبعات AI Gateway الخاصة بك بوضوح باستخدام تلك التسميات.

في لوحة تحكم TrueFoundry AI Gateway، افتح إعدادات OTEL للبوابة وقم بتمكين مصدر التتبعات. اضبط البروتوكول على gRPC وقم بتكوين نقطة النهاية لتشير إلى نقطة استيعاب OpenTelemetry الخاصة بـ Coralogix لمنطقة حسابك. بمجرد حفظ هذا، ستبدأ البوابة في تصدير التتبعات لطلبات نماذج اللغة الكبيرة (LLM) والوكلاء عبر مسار المصدر المكون.

يتوقع Coralogix رؤوسًا (headers) تقوم بمصادقة الطلب وتساعد في ربط التتبعات بالتطبيق والنظام الفرعي الصحيحين. في إعدادات مصدر OTEL الخاص بـ AI Gateway، قم بتعيين رؤوس تتضمن مفتاح API الخاص بك بالإضافة إلى معرفات التطبيق/النظام الفرعي التي اخترتها. يبدو التكوين النموذجي كما يلي:

Authorization: Bearer <coralogix-api-key>
CX-Application-Name: <application-name>
CX-Subsystem-Name: <subsystem-name>


بعد إتمام التكوين، أرسل حركة مرور اختبارية عبر البوابة (على سبيل المثال، بعض عمليات إكمال الدردشة أو تشغيل وكيل). في TrueFoundry، تأكد من إنشاء التتبعات للطلبات، ثم انتقل إلى Coralogix وافتح تجربة التتبع. قم بالتصفية حسب أسماء التطبيق/النظام الفرعي التي قمت بتكوينها وتحقق من أنه يمكنك رؤية النطاقات (spans) المطابقة لنشاط AI Gateway، بما في ذلك السمات مثل المسار والنموذج وزمن الاستجابة والحالة.

ما تفعله الفرق بمجرد تدفق التتبعات

مع تتبعات البوابة في Coralogix، يمكن للفرق قياس زمن الاستجابة عبر المسارات والنماذج بطريقة قابلة للتنفيذ فعليًا في بيئة الإنتاج. بدلاً من رقم واحد لـ "زمن استجابة API"، يمكنك رؤية كيفية تصرف النماذج المختلفة تحت الضغط، والمسارات التي تتدهور، وما إذا كانت الأعطال تتجمع حول مزود أو تبعية معينة. نظرًا لأن التتبعات ترتبط بشكل طبيعي ببقية بيانات القياس عن بعد (telemetry) الخاصة بك، يمكنك أيضًا ربط زمن استجابة الذكاء الاصطناعي بمشكلات البنية التحتية الأساسية أو الخدمات التابعة.

غالبًا ما تظهر مشكلات تكلفة الذكاء الاصطناعي على شكل زيادة مفاجئة في استخدام الرموز (token usage)، أو محادثات أطول، أو تكرار أعلى للمكالمات المرتبطة بميزة أو إصدار جديد. باستخدام البيانات الوصفية على مستوى الطلب في التتبعات، يمكن للفرق تحديد المسارات أو المستأجرين الذين يقودون تغييرات الاستخدام وتعيين تنبيهات عندما يتغير سلوك التكلفة بشكل غير متوقع. يصبح هذا الفهم أكثر فائدة عند إقرانه بعناصر تحكم AI Gateway مثل قواعد التوجيه، وحدود المعدل، والميزانيات، لأن المراقبة (observability) يمكن أن تدفع الإجراءات التصحيحية مباشرة.

قد تبدو الوكلاء "بطيئة" أو "خاطئة" لأسباب عديدة: مهلات الأدوات، مشكلات الاسترجاع، تراجعات المطالبات، أو تغييرات النموذج/المزود. تتيح التتبعات للفرق تتبع الطلب عبر سلسلة المكالمات الكاملة، والتعمق في النطاق البطيء، وتحديد ما إذا كان عنق الزجاجة هو النموذج، أو أداة، أو الاسترجاع، أو منطق تطبيقك الخاص. هذا هو الفرق بين التخمين والمعرفة.

إنشاء لوحات معلومات وتنبيهات خاصة بالذكاء الاصطناعي

بمجرد أن يكون لديك تتبعات منظمة، يصبح من السهل إنشاء لوحات معلومات تعكس كيفية استخدام الذكاء الاصطناعي فعليًا في منتجك: حركة مرور البوابة حسب المسار والنموذج، ومعدل الأخطاء واتجاهات المهلة حسب المزود، والنسب المئوية لوقت الاستجابة لرحلات المستخدم الرئيسية، وتنبيهات يتم تشغيلها عندما يبدأ مزود واحد أو مسار واحد في التدهور. هذا يجعل الاستجابة للحوادث أسرع ويقلل من المخاطر التشغيلية لإطلاق ميزات الذكاء الاصطناعي بسرعة.

اختيار منطقة Coralogix الصحيحة

لتحقيق الأداء والامتثال، من المهم تصدير التتبعات إلى نقطة نهاية Coralogix التي تتوافق مع منطقة حسابك. توفر Coralogix نقطة نهاية دخول متوافقة مع OpenTelemetry (عبر gRPC)، وتعتمد نقطة النهاية الإقليمية الصحيحة على مكان استضافة حساب Coralogix الخاص بك. (Coralogix)

الخاتمة

أصبحت تطبيقات الذكاء الاصطناعي سريعة الأهمية الحيوية، ويرتفع مستوى الموثوقية والأداء والتحكم في التكاليف باستمرار. يوفر تكامل TrueFoundry AI Gateway و Coralogix للفرق طريقة عملية ومستندة إلى المعايير للحصول على رؤية شاملة لحركة مرور الذكاء الاصطناعي. يمكنك مركزة التحكم في طلبات LLM والوكلاء في البوابة، وتقوم بمركزة المراقبة في Coralogix باستخدام تتبعات في الوقت الفعلي تجعل المراقبة وتصحيح الأخطاء أسهل بكثير.