تكامل Middleware مع بوابة TrueFoundry للذكاء الاصطناعي

مع توسع المؤسسات في تطبيقات الذكاء الاصطناعي، يصبح معرفة ما تفعله نماذجك في بيئة الإنتاج بنفس أهمية تشغيلها في المقام الأول. يحتاج المهندسون إلى رؤية واضحة لكل طلب استدلال — زمن الاستجابة، استخدام الرموز، سلوك النموذج، سبب الانتهاء — لكن ربط أدوات المراقبة (observability) بكل نموذج ومزود يعني عملًا معقدًا ومتكررًا لتهيئة الأدوات لكل عملية تكامل.

السؤال المحوري: كيف تحصل على رؤية شاملة (full-stack visibility) عبر جميع النماذج التي تستخدمها فرقك دون الحاجة إلى هندسة مخصصة لكل منها؟

في Middleware، الهدف هو جعل المراقبة (observability) سهلة بقدر ما هي قوية. لهذا السبب، يسعدنا أن نعلن عن تكامل Middleware مع بوابة TrueFoundry للذكاء الاصطناعي. يمنح هذا التكامل مؤسستك رؤية كاملة لكل طلب استدلال للذكاء الاصطناعي — مرتبطًا بمقاييس البنية التحتية، وتتبعات التطبيقات، والسجلات — كل ذلك من منصة مركزية واحدة، مما يساعد على ضمان شفافية عمليات الذكاء الاصطناعي لديك وتحكمك فيها.

قوة بوابة TrueFoundry للذكاء الاصطناعي

تُعد بوابة TrueFoundry للذكاء الاصطناعي طريقة قوية للمطورين وفرق المنصات لإدارة تطبيقات الذكاء الاصطناعي ومراقبتها وتوسيع نطاقها. فهي تجمع بين الوصول الموحد إلى مئات من نماذج اللغة الكبيرة، والتوجيه الذكي، وتطبيق السياسات المركزية، كل ذلك في مكان واحد. تتعامل وحدة بوابة واحدة مع أكثر من 250 طلبًا في الثانية مع إضافة حوالي 3 مللي ثانية من زمن الاستجابة، مما يجعلها جاهزة للإنتاج من اليوم الأول.

مع تسارع وتيرة تبني الذكاء الاصطناعي، لا يكمن التحدي الحقيقي في الوصول إلى النماذج، بل في إدارة التعقيد الذي يتبع ذلك. يمكن للمزودين المتعددين، وواجهات برمجة التطبيقات المتطورة، ومتطلبات الامتثال الصارمة أن تبطئ عمل الفرق بسرعة. تُعيد بوابة TrueFoundry للذكاء الاصطناعي النظام إلى هذا التعقيد، لتكون بمثابة لوحة التحكم للذكاء الاصطناعي للمؤسسات. فهي توحد الوصول، وتفرض السياسات، وتوفر مراقبة متوافقة مع OpenTelemetry عبر كل نموذج وبيئة دون الحاجة إلى أي تغييرات على التطبيقات التي تستدعي البوابة.

Middleware: مراقبة شاملة (Full-Stack Observability) مبنية على OpenTelemetry

Middleware هي منصة مراقبة شاملة (full-stack observability) مبنية على OpenTelemetry كمعيار أساسي لأدواتها. تقبل تتبعات البيانات والسجلات ومقاييس البنية التحتية وبيانات مراقبة المستخدم الحقيقي عبر OTEL Collector، وتخزنها في طبقة بيانات واحدة مترابطة تمنح فرق الهندسة صورة كاملة لأنظمتهم في مكان واحد.

ما يميز Middleware هو ما تفعله بعد وصول التتبع (trace). بدلاً من تخزين النطاقات (spans) بشكل منفصل، تربط Middleware بينها وبين إشارات البنية التحتية من المضيف أو المجموعة التي تعمل عليها الخدمة. يمكن للمهندس الذي يحقق في ارتفاع مفاجئ في زمن الاستجابة ضمن نطاق بوابة أن ينتقل مباشرة من عرض التتبع إلى مقاييس وحدة المعالجة المركزية والذاكرة لتلك الوحدة (pod) دون الحاجة إلى تبديل لوحات المعلومات. تقوم Middleware أيضًا بإنشاء خريطة حية لتخطيط الخدمة (service topology map) من بيانات النطاق الواردة، مما يجعل كل خدمة مجهزة بالأدوات مرئية كعقدة في خريطة الخدمة مع حساب زمن الاستجابة ومعدل الخطأ تلقائيًا من نطاقاتها.

معًا أفضل: تكامل سلس لرؤية كاملة

يعمل تكامل Middleware وبوابة TrueFoundry للذكاء الاصطناعي على تبسيط وتعزيز قابلية مراقبة الذكاء الاصطناعي لديك. هذا المزيج يسهل دمج رؤية جاهزة للإنتاج مباشرة في سير عمل الذكاء الاصطناعي الخاص بك، مما يضمن أن أنظمتك قابلة للمراقبة منذ لحظة النشر.

مع هذا الحل المتكامل، يقوم كل طلب استدلال يمر عبر بوابة TrueFoundry للذكاء الاصطناعي بإنشاء مجموعة منظمة من نطاقات OpenTelemetry تلقائيًا. تحمل هذه النطاقات محتوى المطالبة، ومحتوى الإكمال، وعدد الرموز، واسم النموذج، وزمن الاستجابة، وسبب الانتهاء كسمات قابلة للاستعلام، ثم تتدفق بشكل غير متزامن إلى Middleware عبر OTLP/HTTP. تستوعب Middleware هذه البيانات جنبًا إلى جنب مع بقية بيانات القياس عن بعد للبنية التحتية الخاصة بك، مما يجعل حركة مرور البوابة مرئية على الفور كخدمة من الدرجة الأولى في خريطة التخطيط (topology map) وعروض APM جنبًا إلى جنب مع خدمات التطبيقات التي تستدعيها.

لتحقيق تحكم كامل في البيانات الحساسة، يقوم مفتاح "استبعاد بيانات الطلب" (Exclude Request Data) في بوابة TrueFoundry بإزالة محتوى المطالبة والإكمال من سمات النطاق قبل التصدير. يتم الاحتفاظ بعدد الرموز، وزمن الاستجابة، وبيانات تعريف النموذج بغض النظر عن ذلك، مما يتيح لك الحفاظ على رؤية تشغيلية كاملة دون الكشف عن مدخلات المستخدم للأنظمة الخارجية. بالنسبة للمؤسسات ذات متطلبات خروج الشبكة الصارمة، يمكن أيضًا توجيه مصدر بيانات البوابة إلى OpenTelemetry Collector مُدار ذاتيًا يقوم بإعادة توجيه البيانات إلى Middleware دون الحاجة إلى أي تغييرات بخلاف عنوان URL لنقطة النهاية.

‍

كيف يعمل تكامل Middleware و TrueFoundry

تكامل Middleware وبوابة TrueFoundry AI

تعمل Middleware وبوابة TrueFoundry AI معًا لتوفير إمكانية المراقبة دون إضافة تعقيد إلى مسار الاستدلال الخاص بك.

كيف يعمل تدفق التتبع

‍

1. يرسل تطبيقك طلب استدلال إلى بوابة TrueFoundry AI. تتولى البوابة المصادقة، وحل النماذج، والتوجيه بالكامل في الذاكرة   لا تحدث أي مكالمات خارجية في المسار الحرج.
   
   
2. تعيد البوابة توجيه الطلب إلى مزود LLM المكوّن   المكالمة الخارجية الوحيدة في مسار الطلب   وتعيد الاستجابة إلى تطبيقك على الفور.
   
   
3. بعد تسليم الاستجابة، تنشر البوابة حدث التتبع الكامل بشكل غير متزامن إلى ناقل NATS داخلي. يتم التصدير بالكامل خارج مسار الطلب، لذا لا تتأثر زمن استجابة الاستدلال أبدًا بتوفر نقطة نهاية OTEL أو بطئها.
   
   
4. تقوم عملية تصدير OTEL مخصصة بالقراءة من ناقل NATS، وتحويل الامتدادات (spans) إلى حمولة OTLP/HTTP مشفرة بـ protobuf، وترسلها إلى نقطة نهاية المستأجر الخاص بك في Middleware على https://<your-domain>.middleware.io:443/v1/traces مع مفتاح API الخاص بـ Middleware في رأس التفويض (Authorization header).
   
   
5. تستقبل Middleware الحمولة في طبقة استيعاب OTLP الخاصة بها وتخزن الامتدادات (spans) في الواجهة الخلفية للقياس عن بعد المترابطة، حيث يمكن الاستعلام عنها فورًا إلى جانب السجلات ومقاييس البنية التحتية وبيانات APM لبقية مكدسك.
   
   

التكوين سهل بنفس القدر. انتقل إلى هندسة الذكاء الاصطناعي (AI Engineering) ← الإعدادات (Settings) ← تكوين OTEL (OTEL Config) في لوحة تحكم TrueFoundry، وأدخل نقطة نهاية المستأجر الخاص بك في Middleware ومفتاح API، واضبط البروتوكول على HTTP مع ترميز protobuf، وستكون جاهزًا للانطلاق.

ابدأ بمراقبة الذكاء الاصطناعي الشاملة

لا يجب أن تعني مراقبة الذكاء الاصطناعي أعمال أدوات معقدة. مع دمج Middleware في بوابة TrueFoundry AI، يصبح كامل حركة مرور الاستدلال لديك مرئيًا   مرتبطًا بإشارات البنية التحتية، وقابلًا للتصفية حسب اسم النموذج أو عدد الرموز، ومُخططًا في بنية خدمة حية   من لحظة حفظ التكوين. إنها مراقبة شاملة وجاهزة للإنتاج، سهلة الإعداد، أشبه بقلب مفتاح تشغيل منه بمشروع هندسي مخصص.

لمعرفة المزيد، تفضل بزيارة وثائق Middleware و مرجع تكامل TrueFoundry لترى مدى سهولة الحصول على رؤية شاملة لتطبيقات الذكاء الاصطناعي الخاصة بك.

هل أنت مستعد للبدء؟ قم بتوصيل بوابة TrueFoundry الخاصة بك بـ Middleware اليوم وحوّل كل طلب استدلال إلى حدث مراقبة منظم وقابل للاستعلام.