مراقبة LLMs باستخدام Bifrost: Prometheus و OpenTelemetry في الممارسة العملية
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
يوفر Bifrost، وهو البوابة مفتوحة المصدر من Maxim AI، حزمة مراقبة متكاملة بشكل مفاجئ لنماذج اللغات الكبيرة (LLM) في فئته المجانية: سجل للطلبات، ونقطة نهاية /metrics لـ Prometheus، وتصدير تتبع OpenTelemetry. الانتقال من مرحلة "إنه يعرض المقاييس" إلى لوحات تحكم وتنبيهات يمكنك الوثوق بها يتطلب اتخاذ بضعة قرارات تُشتتها الوثائق عبر عدة صفحات. يجمع هذا الدليل كل ذلك في مكان واحد: ما يجب تشغيله، وكيفية جمعه (scrape)، وأي الوسوم أكثر أهمية، والاستعلامات التي تستحق الحفظ، والإعدادات التي تُسرّب محتوى الأوامر (prompts) بهدوء أو تُعطل العدادات لديك.
تم بناء هذا الدليل استناداً إلى وثائق Bifrost، بالإضافة إلى بعض الأمور التي لاحظناها مباشرةً أثناء تشغيل Bifrost OSS v2.0.0، والتي نوضحها في مواضع ظهورها.
زمن انتقال البوابة (Gateway latency) خارج نطاق هذا الدليل؛ حيث يغطي مراجعتنا لـ Bifrost الأداء بالتفصيل.
طلب واحد، وثلاثة مستويات
يصل طلب المحادثة الواحدة عبر Bifrost إلى ثلاثة أسباب/مستويات في وقت واحد، وجميعها متاحة في النسخة مفتوحة المصدر OSS (القابلية للملاحظة المدمجة):
-
السجلات (Logs). يكتب ملحق التسجيل الداعم دائماً صفاً بشكل غير متزامن: الرسائل المدخلة والمخرجة، النموذج، عدد الرموز (tokens)، التكلفة المحسوبة بالدولار، زمن الانتقال، الحالة وأي ترويسات تسجيل. وتحدد الوثائق حملها الإضافي بأقل من 0.1 مللي ثانية. يمكنك رؤيتها في لوحة التحكم على المنفذ 8080 أو الاستعلام عنها من خلالGET /api/logs. - المقاييس (Metrics). تتزايد العدادات مثل
bifrost_upstream_requests_totalوbifrost_input_tokens_totalوbifrost_cost_totalمع وسوم لكل من المزوّد (provider)، والنموذج، والمفتاح الافتراضي (virtual key)، بالإضافة إلىenvironment="production"من ترويسة البُعد (dimension header). - التتبعات (Traces). إذا تم تمكين ملحق OTel، سينتقل شبر (span) إلى المجمع (collector) الخاص بك بتنسيق التتبع الذي اخترته، حاملاً البُعد نفسه حتى يتمكن من الاستقرار بجانب تتبعات تطبيقك.
بقية هذا الدليل يدور حول جعل كل مستوى جاهزاً للإنتاج.
مقاييس LLM باستخدام Prometheus
تشغيله وجمعه (scraping)
تم تمكين ملحق القياس عن بُعد افتراضياً ويخدم تنسيق عرض Prometheus عند /metrics على منفذ البوابة (Prometheus). بالنسبة لعقدة واحدة، تكفي مهمة جمع عادية:
هناك أمران يقع فيهما المستخدمون عادةً هنا.
المصادقة تُغير عملية الجمع. عندما يكون auth_config.is_enabled صحيحاً (true)، يتطلب /metrics مصادقة أساسية (Basic auth)، وتفشل مهمة الجمع بدون بيانات اعتماد مطابقة مع خطأ 401. يظهر Prometheus الهدف على أنه متوقف (down)، لذا ستلاحظ ذلك، ولكن فقط إذا كنت تراقب صحة الهدف. المشكلة العكسية أسوأ، وقد واجهناها في اختباراتنا الخاصة: يبدأ التثبيت الجديد لـ OSS بدون أي مصادقة على الإطلاق، لذا تكون /metrics ولوحة التحكم و API المسؤول مفتوحة لأي شخص يمكنه الوصول إلى المنفذ حتى تقوم بتكوين مسؤول ورمز إعداد. لا تعرض المنفذ 8080 خارج شبكة أداة الجمع (scraper).
لا تقم بالجمع عبر موازن الأحمال (load balancer). تحتفظ كل نسخة مكررة (replica) بعداداتها الخاصة. إذا قام Prometheus بالجمع من عنوان متوازن الأحمال، فإن كل عملية جمع ستهبط على بود (pod) مختلف وتقفز عداداتك للأمام والخلف. قم بجمع كل بود مباشرةً (اكتشاف خدمات Kubernetes على معرفات IP الخاصة بالبود)، أو استخدم وضع Push Gateway، الذي توصي به وثائق Bifrost للعناقيد متعددة العقد خلف موازن الأحمال. يكتسب هذا أهمية أكبر في OSS، حيث لا تشارك النسخ المكررة أي حالة: تعيش الميزانيات والعدادات لكل بود، لذا فإن المقاييس الخاصة بكل بود هي العرض الدقيق الوحيد.
ما يعرضه Bifrost
كتالوج المقاييس، مجمعة حسب الغرض من استخدامها:
تضع مقاييس HTTP الوسم path مع قالب المسار المتطابق، وليس عنوان URL الخام، مما يحدد نطاق العدد التفرعي (cardinality). شيء واحد يجب تذكره حول bifrost_cost_total: إنها تكلفة يحسبها Bifrost من كتالوج الأسعار لديه وحقول الاستخدام التي ترجعها المزوّدات. إنها جيدة للميزانيات والعرض التفصيلي (showback)، لكنها ليست فاتورة رسمية، ولن تظهر فيها الخصومات أو الائتمانات المتفاوض عليها.
الوسوم التي تجعلها مفيدة
تحمل الوسوم الافتراضية هيكل الهوية نفسه الذي يستخدمه Bifrost للحوكمة، وهو ما يحول العدادات الخام إلى إجابات دقيقة:
provider، وmodel، وaliasvirtual_key_id/virtual_key_name، وteam_id/team_name، وcustomer_id/customer_name. تكون هذه فارغة عندما لا تستخدم الحوكمة.routing_engine_used، وrouting_rule_id/routing_rule_name، وselected_key_id/selected_key_name، وfallback_index، والتي توضح معاً سبب توجيه الطلب إلى المكان الذي ذهب إليه.
الإسناد لكل مستخدم ليس وسم مقياس افتراضي. يمكنك الحصول عليه من خلال ترويسات التسجيل (X-User-ID أو أي ترويسة x-bf-lh-*)، والتي تهبط في سجل الطلب، أو من خلال الأبعاد (dimensions).
الأبعاد المخصصة، ومصيدة العدد التفرعي (cardinality)
أي ترويسة طلب تبدأ بـ x-bf-dim- تصبح بعداً يتم كتابته في سجل الطلب، وشبر OTel، و Prometheus كوسم مخصص في الوقت نفسه (أبعاد القابلية للملاحظة المشتركة). هذه هي الطريقة الأوضح لوسم حركة المرور حسب البيئة أو الميزة أو المستأجر بدون مفاتيح افتراضية جديدة.
وهي أيضاً أسهل طريقة لتعطيل Prometheus. كل قيمة متميزة للوسم تنشئ سلسلة زمنية جديدة لكل مقياس يحملها. بُعد مثل environment بثلاث قيم يُعد أمراً جيداً. بينما بُعد مثل request_id، أو session_id، أو user_id ينشئ سلسلة لكل قيمة عبر عشرات المقاييس. احتفظ بالمعرفات ذات العدد التفرعي العالي في ترويسات التسجيل (x-bf-lh-*)، والتي تذهب فقط إلى سجل الطلب، واخصص x-bf-dim-* للقيم التي يسعدك وضعها في القائمة المنسدلة للوحة التحكم.
PromQL يستحق الحفظ
تستخدم هذه الاستعلامات أسماء المقاييس والوسوم الموثقة. تأكد من أنواع المقاييس مقابل مخرجات /metrics الخاصة ببنائك أولاً؛ يفترض استعلام TTFT أن مقاييس زمن الانتقال هي مدرجات تكرارية (histograms).
التنبيهات التي يتوجب عليك إحضارها بنفسك
محرك التنبيه المدمج في Bifrost مخصص لفئة المؤسسات (Enterprise) فقط، وهو يقيّم مقاييس الميزانية وحدود المعدل (نسبة الميزانية المستخدمة، الإنفاق، واستخدام الطلبات والرموز)، وليس معدلات الأخطاء أو زمن الانتقال (التنبيهات). بالنسبة لتنبيهات الموثوقية في أي من الفئتين، وجه Alertmanager إلى المقاييس أعلاه:
لا يوفر Bifrost لوحة تحكم Grafana أو حزمة قواعد تنبيه جاهزة في الوثائق التي راجعناها، لذا تصبح هذه ملكاً لفريقك لإدارتها.
تتبع LLM باستخدام OpenTelemetry
تمكين ملحق OTel
يستقر تصدير التتبع في ملحق otel، وهو جزء من OSS (تكوين الملحق). يتم إيقاف تشغيله افتراضياً في مخطط Helm؛ وبمجرد إضافته، يكون تصدير التتبع مفصلاً افتراضياً. الإعدادات التي ستتعامل معها:
على جانب الاستقبال، يبدو مجمع OpenTelemetry الأدنى الذي يقبل كلا البروتوكولين ويوجه إلى خلفية التتبع لديك كما يلي:
احتفظ بمجمع (collector) بين Bifrost وأي خلفية SaaS، حتى لو كانت الخلفية تقبل OTLP مباشرة. يمنحك هذا مكاناً واحداً للتجميع الدفعي (batching)، وتصفية السمات، وتبديل الموردين دون لمس تكوين البوابة.
اختيار تنسيق التتبع: OTel GenAI، أو OpenInference، أو Vercel
يحدد trace_type كيف تفسر الأدوات اللاحقة أشبار Bifrost. دليل سريع للاختيار بينها:
genai_extensionيتبع الاتفاقيات الدلالية لـ OpenTelemetry GenAI (سماتgen_ai.*، والتي تُختصر أحياناً إلى OTel GenAI). اختره للخلفيات عامة الغرض مثل Grafana Tempo، أو Honeycomb، أو Jaeger، أو Datadog عبر OTLP.open_inferenceيتبع اتفاقيات OpenInference من Arize. اختره إذا كانت أداة عرض التتبع لديك مبنية حول OpenInference، مثل Arize Phoenix. لا يوثق Bifrost موصلات أصلية لـ Langfuse أو Arize، لذا تعامل مع OTLP بالإضافة إلى OpenInference على أنه المسار المرجح هناك بدلاً من تكامل مدعوم بشكل مباشر.vercelيطابق اتفاقيات Vercel AI SDK. اختره إذا كانت بقية تتبعك تأتي بالفعل من Vercel AI SDK.
أياً كان اختيارك، أرسل طلباً تجريبياً واحداً وتحقق من أسماء السمات في الخلفية لديك قبل بناء لوحات التحكم عليها.
محتوى الأوامر (prompts) في تتبعاتك
هذا هو الإعداد الأكثر ترجيحاً لمفاجأة مراجع الأمان. يقوم خيار disable_content_logging على مستوى العميل في Bifrost بتجريد الأوامر والاستجابات من متجر السجلات الخاص به، ولكنه لا ينطبق على موصلات القابلية للملاحظة. لدى كل من OpenTelemetry و Datadog و BigQuery و Kafka و Pub/Sub علم disable_content_logging خاص به، ويتخاف كل منها افتراضياً إلى false (تكوين العميل). وبالتالي، فإن الفريق الذي يوقف تسجيل المحتوى عند العميل ويضيف ملحق OTel، يظل افتراضياً يصدر الأوامر الكاملة إلى خلفية التتبع لديه.
للحصول على وضعية تقتصر على البيانات الوصفية (metadata) فقط، اضبط العلم على العميل وعلى كل موصل تقوم بتمكينه. يتم تصدير ترويسات الطلبات الملتقطة بغض النظر عن أعلام المحتوى، لذا تحقق من الترويسات التي تلتقطها أيضاً. إذا كنت بحاجة إلى بعض المحتوى لاستكشاف الأخطاء وإصلاحها، فإن معالج إسقاط السمات في المجمع الخاص بك يمثل خط دفاع ثانٍ، ولكن يجب مطابقتة مع أسماء السمات التي يبعثها تنسيق التتبع المختار بالفعل.
ربط أشبار Bifrost بتتبعات تطبيقك
تم توثيق انتشار سياق التتبع الشامل لـ W3C للملحق الأصلي لـ Datadog، والذي يستخدم dd-trace-go. بالنسبة لملحق OTel العام، لا تذكر الوثائق ما إذا كانت ترويسة traceparent الواردة تجعل شبر Bifrost فرعاً (child) من شبر تطبيقك. اختبر هذا قبل أن تعد أي شخص بشلال واحد (single waterfall) من الواجهة الأمامية إلى النموذج. إذا لم يرتبط، فإن بُعد x-bf-dim-* المشترك هو خيارك البديل للمقارنة بين الاثنين.
سجل الطلب: المستوى الموجود لديك بالفعل
ملحق التسجيل هو المستوى الوحيد الذي لا يتعين عليك إعداده. نقاط تجعله مفيداً في الممارسة العملية:
- يقوم
GET /api/logsبالتصفية حسب المزوّد، والنموذج، والحالة، والنطاق الزمني، وزمن الانتقال، والرموز، والتكلفة، ويدعم البحث في النص الكاملcontent_search. ويمنحك تدفق WebSocket متابعة حية ومباشرة. - منذ الإصدار v1.5.0، يسجل كل صف المفتاح المحدد، وعدد إعادة المحاولات، و
attempt_trailمرتباً يظهر كل محاولة، ومفتاحها، وسبب الفشل، وما إذا كان قد أدى إلى تدوير المفتاح (key rotation). عندما اضطرب المزوّد، يكون هذا أسرع من أي لوحة تحكم. - المتجر هو SQLite افتراضياً و PostgreSQL للإنتاج. الافتراضي للاحتفاظ هو 365 يوماً عبر
log_retention_days، مع أداة تنظيف تعمل كل 24 ساعة. - في الإصدار v2.0.0، يعد التقاط طلبات واستجابات المزوّد الخام مفتاح تبديل ضمن Observability، ثم Logs Settings، في لوحة التحكم. قمنا بتشغيله لفحص ما أرسله Bifrost بالضبط إلى كل مزوّد، ومن المفيد معرفة وجوده قبل أن تحتاج إليه.
لا يوجد أخذ عينات قائم على المعدل للسجلات. أقرب مفتاح تبديل، وهو drop_excess_requests، يتخلص من الحمل عندما تمتلىء الصفوف؛ إنه ليس أداة لأخذ العينات. عند الأحجام العالية، قم بتخطيط التخزين لكل طلب، أو قم بإيقاف تشغيل تسجيل المحتوى.
الأخطاء الشائعة، في قائمة واحدة
- مفتاح تسجيل محتوى العميل لا يغطي الموصلات. قم بضبطه لكل موصل.
- تمكين المصادقة يجعل
/metricsيتطلب مصادقة أساسية (Basic auth)؛ وحتى يتم تشغيل المصادقة، يكون كل شيء مفتوحاً. - الجمع عبر موازن الأحمال يخلط العدادات الخاصة بكل بود. قم بجمع البودات مباشرة أو استخدم Push Gateway.
- قيم
x-bf-dim-*تصبح وسوم Prometheus. احتفظ بالمعرفات بعيدة عنها. - ملحق OTel معطل افتراضياً في Helm، على الرغم من أنه مجاني.
- تم حساب مقاييس التكلفة من كتالوج الأسعار الذي يتزامن من Maxim كل 24 ساعة. في التثبيت المعزول عن الشبكة (air-gapped)، يتوجب عليك تقديم ملف الأسعار بنفسك.
- التنبيه الأصلي مخصص لفئة المؤسسات ويغطي الإنفاق وحدود المعدل فقط. أخطاء زمن الانتقال والأخطاء هي مسؤوليتك لبنائها.
- إذا قمت بتفريغ السجلات إلى S3 أو GCS (فئة المؤسسات)، فإن منظف الاحتفاظ لا يحذف تلك الكائنات. اضبط قاعدة دورة حياة الدلو (bucket lifecycle rule).
ما هو مفتوح المصدر (OSS) وما هو للمؤسسات (Enterprise)
إذا كانت مسألة فئة المؤسسات تتجاوز القابلية للملاحظة، فإن تقريرنا المفصل حول Bifrost Enterprise مقابل OSS يغطي الهوية، والمراجعة، والعناقيد (clustering).
أين تتوقف مراقبة Bifrost
يخبرك Bifrost بما حدث. ولكنه لا يخبرك ما إذا كانت الإجابة جيدة أم لا. إشارات الجودة مثل تقييمات الأداء، والانحراف (drift)، وفحوصات الهلوسة تعيش في منصة Maxim المنفصلة، والتي يوجه ملحق Maxim المجاني حركة المرور إليها، أو في الأدوات التي تبنيها من السجلات المصدرة. تترك البوابة أيضاً تصميم لوحة التحكم، وقواعد التنبيه، وتحجيم تخزين السجلات، وسياسة السجلات لكل فريق لك. تسجيل المحتوى مفعل أو معطل عالمياً، لكل طلب أو لكل موصل؛ لا توجد قاعدة مثل "لا تسجل أبداً أوامر فريق المالية".
بديل TrueFoundry
تغطي بوابة TrueFoundry AI Gateway المستويات الثلاثة نفسها مع قدر أقل من التجميع. بضع اختلافات تكتسب أهمية بعد قراءة الأخطاء الشائعة أعلاه:
- لوحة تحكم لا يتعين عليك بناؤها. تغطي لوحة تحكم المقاييس التكلفة، واستدعاءات LLM و MCP، وتفاصيل الأخطاء، ونتائج دروع الحماية (guardrails)، والتوجيه، والتخزين المؤقت، وتوفير التكاليف، وتصفي حسب النموذج، والمستخدم، والحساب الافتراضي، والفريق (لوحة تحكم المقاييس).
- تصدير OTel من واجهة المستخدم. يمكن تصدير التتبعات والمقاييس إلى أي خلفية OTLP عبر HTTP أو gRPC، مع ترويسات مخصصة وخيار مؤقتية الدلتا (delta temporality)، والمكونة في إعدادات البوابة بدلاً من ملف التكوين (تصدير بيانات OpenTelemetry).
- Prometheus عند استضافة البوابة ذاتياً. تعرض البوابة المستضافة ذاتياً
/metricsمع وسوم النموذج والمستأجر والمستخدم، وتختار مفاتيح البيانات الوصفية للطلب التي تصبح وسوماً، مما يضع العدد التفرعي (cardinality) تحت سيطرتك (Prometheus و Grafana). - قواعد التسجيل حسب الشخص والمحتوى. تطابق تكوينات التسجيل المستخدمين، أو الفرق، أو الحسابات الافتراضية، أو النماذج، أو البيانات الوصفية للطلب، وتحدد ما إذا كانت نصوص الطلب مسجلة مع دلالات الرفض المسبق (deny-wins semantics)، وتنقي الأنماط من النسخة المخزنة (تكوين التسجيل). هذه هي قاعدة "لا تسجل أبداً أوامر فريق المالية" التي لا يملكها Bifrost.
إذا كنت تفضل قضاء وقتك على ما تقوله المقاييس بدلاً من ربطها، شاهد كيف تتعامل TrueFoundry AI Gateway مع مراقبة LLM.
قراءات ذات صلة
- القابلية للملاحظة في بوابة الذكاء الاصطناعي
- ما هي القابلية للملاحظة لـ LLM؟
- أفضل أدوات القابلية للملاحظة لـ LLM
- القابلية للملاحظة لعملاء الذكاء الاصطناعي (AI agents): لماذا قام بذلك؟
- أسعار Bifrost: تكاليف OSS و Enterprise، وما يجب أن تعرفه الفرق
الخاتمة
يمنحك Bifrost قاعدة جيدة لمراقبة LLM مجاناً: سجلات لكل طلب، ومقاييس Prometheus مع وسوم مدركة للحوكمة، وتتبعات OpenTelemetry حسب اختيارك للاتفاقية. وجعلها جاهزة للإنتاج يقع على عاتقك. قم بالجمع لكل بود، واحتفظ بالمعرفات بعيداً عن وسوم الأبعاد، واضبط علم المحتوى على كل موصل، وابنِ التنبيهات ولوحات التحكم التي لا يوفرها. إذا كانت هذه القائمة تبدو وكأنها عمل تفضل عدم تحمله، احجز عرضاً توضيحياً لـ TrueFoundry وقارن بين الإعدادين جنباً إلى جنب.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.






















