تكامل تروفاوندري مع برينتراست

قابلية مراقبة نماذج اللغة الكبيرة الشاملة: Braintrust و TrueFoundry AI Gateway

بينما تتسابق المؤسسات لنشر التطبيقات المدعومة بالذكاء الاصطناعي، سرعان ما يتوقف التحدي عن كونه "هل يمكننا استدعاء نموذج لغة كبير؟" ويصبح "هل يمكننا تشغيل هذا النظام بثقة؟". بمجرد أن يكون لديك العديد من المزودين، وإصدارات متعددة من النماذج، ووكلاء يستدعون الأدوات، ومنطق عمل يحيط بكل طلب، تظهر المخاطر الحقيقية في بيئة الإنتاج: ارتفاع الإنفاق دون تحديد واضح للمسؤولية، وتراجعات في زمن الاستجابة يصعب تحديدها، وتغيرات في الجودة يشعر بها المستخدمون قبل أن تثبتها البيانات.

هنا يأتي دور الاقتران بين TrueFoundry AI Gateway و Braintrust بشكل طبيعي. TrueFoundry AI Gateway هي طبقة الوكيل بين تطبيقاتك ومزودي النماذج، مصممة لتزويد الفرق بواجهة موحدة مع حوكمة وقابلية مراقبة على مستوى المؤسسات. Braintrust هي منصة قابلية مراقبة مصممة لمساعدة الفرق على تتبع سلوك نماذج اللغة الكبيرة الحقيقي وتقييمه والتكرار عليه بمرور الوقت. معًا، يشكلان حلقة عملية: توجيه جميع حركة مرور النماذج عبر نقطة تحكم واحدة، وتصدير آثار غنية تلقائيًا، واستخدام تلك الآثار لتحسين الجودة والموثوقية بالدليل بدلاً من التخمين.

نبذة عن TrueFoundry AI Gateway

TrueFoundry AI Gateway هي طبقة الوكيل التي تقع بين تطبيقاتك ومزودي نماذج اللغة الكبيرة وخوادم MCP. إنها منصة على مستوى المؤسسات تمكن المستخدمين من الوصول إلى أكثر من 1000 نموذج لغة كبيرة باستخدام واجهة موحدة مع الاهتمام بقابلية المراقبة والحوكمة. يتوافق AI Gateway مع OpenTelemetry ويدعم تصدير آثار OTEL، مما يعني أنه يمكنك بث آثار على مستوى الطلب إلى واجهة خلفية خارجية للمراقبة أو هندسة نماذج اللغة الكبيرة دون تغيير مسارات رمز تطبيقك.

نبذة عن Braintrust

Braintrust يدعم استخدامه كواجهة خلفية لـ OpenTelemetry: حيث تقوم بتوجيه الآثار إلى Braintrust، والمصادقة باستخدام مفتاح API، وإرفاق "أصل" (مثل مشروع أو تجربة) بحيث تصل الآثار إلى النطاق التنظيمي الصحيح. بمجرد أن تكون الآثار في Braintrust، تصبح الأساس لسير عمل الهندسة اليومي: التحقيق في أنماط زمن الاستجابة والفشل، وفهم استخدام الرموز ومحركات التكلفة، وإجراء تقييمات تحدد كمية جودة المخرجات بمرور الوقت بدلاً من الاعتماد على الملاحظات القصصية.

أفضل معًا: تكامل سلس لرؤية الإنتاج والتكرار الأسرع

تأتي الفائدة الحقيقية عندما تصبح البوابة المصدر الوحيد للحقيقة للقياس عن بعد، ويصبح Braintrust المكان الذي تتحول فيه تلك القياسات عن بعد إلى رؤى هندسية. مع تمكين تصدير OTEL في TrueFoundry AI Gateway، يمكن لكل طلب نموذج لغة كبير يمر عبر البوابة أن ينتج تلقائيًا أثرًا يلتقط السياق الحرج (بيانات تعريف الطلب، اختيار النموذج/المزود، والتوقيت) دون الحاجة إلى أدوات مخصصة في كل خدمة. مع استيعاب Braintrust لتلك الآثار، يمكنك الانتقال من "نعتقد أن تغيير هذا الموجه ساعد" إلى "يمكننا إثبات التأثير على حركة المرور الحقيقية، ويمكننا اكتشاف التراجعات مبكرًا".

كيف يعمل تكامل Braintrust و TrueFoundry

بشكل عام، يرسل تطبيقك حركة مرور نماذج اللغة الكبيرة إلى TrueFoundry AI Gateway، الذي يقوم بإعادة توجيه الطلب إلى مزود النموذج المحدد. بالتوازي، تصدر البوابة آثار OpenTelemetry لتلك التفاعلات وتصدرها إلى واجهة خلفية متوافقة مع OTEL. يكشف Braintrust عن مسار استيعاب متوافق مع OTEL يقبل هذه الآثار عند توفير المصادقة ونطاق أب (مشروع أو تجربة).

هذا يعني أنك تقوم بتكوين التصدير مرة واحدة على مستوى البوابة، وبعد ذلك يصبح تدفق الآثار موردًا مشتركًا بين الفرق، مفيدًا لتصحيح الأخطاء، وتحديد مصدر الإنفاق، ومراقبة الأداء، وتقييم الجودة، دون الحاجة إلى تعديل كل تطبيق يستدعي نموذج لغة كبيرة.

البدء: تصدير تتبعات OTEL من بوابة TrueFoundry للذكاء الاصطناعي إلى Braintrust

لإعداد ذلك، ستقوم بتكوين تصدير OpenTelemetry الخاص ببوابة الذكاء الاصطناعي ليشير إلى نقطة نهاية استيعاب التتبعات الخاصة بـ Braintrust. تتمتع بوابة TrueFoundry للذكاء الاصطناعي بقدرة تصدير تتبعات OTEL كميزة رئيسية، بما في ذلك خيارات التصدير عبر HTTP/gRPC ودعم تمرير الرؤوس المخصصة التي يحتاجها نظامك الخلفي. الوثائق هنا

في لوحة تحكم TrueFoundry الخاصة بك، افتح إعدادات OTEL لبوابة الذكاء الاصطناعي وقم بتمكين تصدير التتبعات. ثم قم بتكوين نقطة نهاية تتبعات Braintrust على النحو التالي:

https://api.braintrust.dev/otel/v1/traces

للمصادقة والتوجيه، أضف Authorization رأسًا باستخدام مفتاح API الخاص بـ Braintrust، وأضف x-bt-parent رأسًا لتحديد مشروع Braintrust الذي يجب أن تصل إليه التتبعات، على سبيل المثال:

x-bt-parent: project_id:<YOUR_PROJECT_ID>

يوثق كل من Braintrust و TrueFoundry مفهوم "الأصل" هذا، وتشير TrueFoundry أيضًا إلى أنه يمكنك استخدام بادئات أخرى مثل project_name: أو experiment_id: حسب كيفية تنظيمك للتتبعات.

بعد حفظ الإعدادات، ستبدأ أي طلبات LLM يتم توجيهها عبر بوابة TrueFoundry للذكاء الاصطناعي في تصدير التتبعات تلقائيًا، ويمكنك عرضها داخل Braintrust ضمن سجلات مشروعك.

الخاتمة

أنظمة LLM الإنتاجية ديناميكية بطبيعتها: يتغير المزودون، وتتطور المطالبات، وتنمو رسوم بيانية الوكلاء، وتتحول سلوكيات المستخدمين. الفرق التي تنجح ليست تلك التي لا تفسد الأمور أبدًا، بل هي تلك التي تستطيع رؤية ما حدث بسرعة، وقياس التأثير بثقة، والتكرار بأمان.

توفر بوابة TrueFoundry للذكاء الاصطناعي نقطة التحكم المركزية وتصدير القياس عن بعد القائم على المعايير. يحول Braintrust هذا القياس عن بعد إلى سير عمل هندسي للتتبع والتقييم والتحسين المستمر.