تكامل TrueFoundry AI Gateway مع New Relic

تتصرف أنظمة النماذج اللغوية الكبيرة (LLM) كخدمات موزعة. فهي تستدعي العديد من مزودي النماذج. وتعمل عبر التطبيقات والوكلاء. يتم نشرها بسرعة وتتغير باستمرار. وهذا يجعل تصحيح الأخطاء صعبًا عندما يبلغ المستخدم عن إجابة سيئة أو استجابة بطيئة.

العنصر الناقص هو حد تنفيذ واحد يعبره كل طلب. بمجرد أن يكون لديك هذا الحد، يمكنك تطبيق السياسات. يمكنك توحيد التوجيه. ويمكنك التقاط آثار نظيفة لكل استدعاء.

يوفر لك TrueFoundry AI Gateway هذا الحد. وتوفر لك New Relic مكانًا لاستكشاف هذه الآثار جنبًا إلى جنب مع بقية بيانات القياس عن بعد لتطبيقك. باستخدام OpenTelemetry كتنسيق مشترك، يمكنك تصدير آثار البوابة إلى New Relic في غضون دقائق قليلة.

بوابة TrueFoundry AI

بوابة TrueFoundry AI يقع أمام حركة مرور نماذجك. ترسل التطبيقات والوكلاء الطلبات إلى البوابة. تقوم البوابة بإعادة توجيهها إلى المزود والنموذج الصحيحين. وهذا يخلق نقطة دخول واحدة محكومة للتوجيه والتحكم. كما يخلق نقطة واحدة متسقة حيث يمكن إنشاء الآثار وتصديرها.

New Relic

New Relic هي منصة مراقبة تدعم مراقبة المكدس الكامل ومراقبة أداء التطبيقات مع تحليلات في الوقت الفعلي. يمكنها استيعاب بيانات OpenTelemetry. وهذا يجعلها مكانًا طبيعيًا لتحليل آثار LLM من البوابة باستخدام نفس سير العمل الذي تستخدمه بالفعل للخدمات والبنية التحتية.

OpenTelemetry

يعتمد التكامل على OpenTelemetry. يقوم TrueFoundry AI Gateway بتصدير الآثار باستخدام بروتوكولات OpenTelemetry القياسية. وتقبل New Relic استيعاب OTLP. وهذا يحافظ على نظافة التكامل ويتجنب الارتباط الوثيق.

كيف يبدو التكامل

تقوم بتكوين مصدر لآثار OpenTelemetry في واجهة مستخدم TrueFoundry AI Gateway. وتوجهه إلى نقطة نهاية آثار OTLP الخاصة بـ New Relic. وتضيف رأس المصادقة الصحيح باستخدام مفتاح ترخيص استيعاب New Relic الذي تم إنشاؤه من تكامل OpenTelemetry في New Relic.

بمجرد التمكين، تستمر البوابة في إنشاء آثار لعروض المراقبة الخاصة بها. التصدير إضافي. فهي تعيد توجيه نفس الآثار إلى New Relic حتى تتمكن من تحليلها هناك أيضًا.

دليل التكامل

الخطوة 1. احصل على مفتاح ترخيص استيعاب New Relic الخاص بك

افتح لوحة تحكم New Relic الخاصة بك. انتقل إلى "التكاملات والوكلاء". ابحث عن OpenTelemetry وافتح هذا التكامل. في خطة التثبيت، ابحث عن منطقة بيانات اعتماد الاستيعاب وقم بإنشاء مفتاح الترخيص.

استخدم مفتاح ترخيص الاستيعاب من صفحة تكامل OpenTelemetry. لن يعمل مفتاح API العادي لـ New Relic لاستيعاب OTLP.

الخطوة 2. قم بتمكين مصدر OpenTelemetry في TrueFoundry

في لوحة تحكم TrueFoundry، انتقل إلى بوابة الذكاء الاصطناعي (AI Gateway) ثم عناصر التحكم (Controls) ثم الإعدادات (Settings). مرر إلى قسم إعدادات OTEL (OTEL Config) وعدّل إعدادات المصدر.

الخطوة 3. عيّن نقطة نهاية تتبع New Relic والترميز

فعّل مصدر التتبع واملأ الحقول الأساسية.

نوع الإعداد

http


نقطة نهاية التتبع لمنطقة الولايات المتحدة

https://otlp.nr-data.net:4318/v1/traces


الترميز

Json


تستخدم New Relic نقاط نهاية إقليمية. إذا كان حسابك في منطقة الاتحاد الأوروبي، استخدم نقطة النهاية هذه بدلاً من ذلك.

https://otlp.eu01.nr-data.net:4318/v1/traces


الخطوة 4. أضف الرأس المطلوب

أضف رأسًا بهذا المفتاح ومفتاح ترخيص الإدخال الخاص بك كقيمة.

api-key: <مفتاح ترخيص إدخال New Relic الخاص بك>


الخطوة 5. احفظ وأرسل بعض الطلبات

احفظ الإعدادات. ثم أرسل بعض طلبات LLM عبر بوابة الذكاء الاصطناعي. بعد ذلك، ستقوم البوابة بتصدير التتبعات إلى New Relic تلقائيًا.

الخطوة 6. عرض التتبعات في New Relic

في New Relic، انتقل إلى التتبعات (Traces) وابحث عن التتبعات من خدمة البوابة. ثم افتح تتبعًا وافحص النطاقات لمسار استدعاء النموذج والتوقيت.

عرض التتبعات

يمكنك عرض تتبعات LLM بجانب بقية بيانات القياس عن بعد الخاصة بك. يساعد هذا عندما تكون مشكلة LLM في الواقع ارتفاعًا في زمن الاستجابة في المراحل الأولية. كما يساعد عندما يكون تباطؤ مزود النموذج جزءًا واحدًا فقط من حادث أوسع.

يمكنك إنشاء لوحات معلومات لتتبع زمن الاستجابة وحجم حركة مرور نماذج اللغة الكبيرة (LLM). يمكنك إنشاء تنبيهات للارتفاعات المفاجئة في زمن الاستجابة أو معدلات الخطأ. يمكنك ربط سلوك التتبع بالسجلات وإشارات البنية التحتية أثناء وقوع حادث.

ملاحظات قليلة حول الإعدادات مهمة في بيئة الإنتاج

اختر نقطة النهاية التي تتوافق مع منطقة New Relic الخاصة بك. هذا هو السبب الأكثر شيوعًا لفقدان التتبعات. إذا كنت ترغب في تصفية أكثر دقة في New Relic، أضف سمات موارد إضافية في إعدادات المصدر. استخدم هذه السمات للتجميع على مستوى البيئة والفريق.

يدعم New Relic كلاً من HTTP و gRPC لاستيعاب OTLP. إذا كنت بحاجة إلى إنتاجية أعلى، يمكنك التفكير في gRPC. إذا كنت ترغب في فحص أسهل أثناء الإعداد، فإن HTTP مع ترميز JSON هو نقطة بداية بسيطة.

الخاتمة

يحتاج نظام LLM الموثوق إلى مكان موثوق لتطبيق الضوابط ومكان موثوق لفهم السلوك. يوفر TrueFoundry AI Gateway حدود تنفيذ واحدة لجميع حركة مرور النموذج. يوفر New Relic سير عمل ناضجًا للمراقبة لاستكشاف التتبعات والاستجابة للحوادث. يربط OpenTelemetry الاثنين بمسار تصدير قياسي.

إذا كنت تستخدم New Relic بالفعل لخدماتك، فإن هذا التكامل يتيح لحركة مرور LLM الخاصة بك الانضمام إلى نفس الحلقة التشغيلية بأقل قدر من التغيير على كود تطبيقك.