تكامل بوابة TrueFoundry للذكاء الاصطناعي مع LangSmith

تنتقل الشركات بتطبيقات الذكاء الاصطناعي إلى مرحلة الإنتاج أسرع من أي وقت مضى، والواقع التشغيلي على الجانب الآخر يبدو مختلفًا تمامًا عن النموذج الأولي. تحتاج فرق التطبيقات إلى الإطلاق والتكرار بسرعة. وتحتاج فرق المنصة والجودة إلى معرفة ما فعلته كل استدعاء للنموذج ولماذا، وما إذا كان الناتج صحيحًا. السؤال الأصعب هو كالتالي: كيف يمكنك مراقبة وتقييم مئات من استدعاءات النماذج عبر مزودين متعددين وأطر عمل وكلاء متعددة دون الحاجة إلى كتابة أدوات قياس مخصصة داخل كل تطبيق؟

في TrueFoundry، يتمثل نهجنا في الحفاظ على طبقة التنفيذ موحدة والسماح للفرق بدمج نظام المراقبة والتقييم الذي يستخدمونه بالفعل. لهذا السبب، نعلن عن تكامل أصلي بين TrueFoundry AI Gateway و LangSmith من LangChain. تصبح البوابة هي الحدود التنفيذية الوحيدة التي تمر عبرها كل استدعاء للنموذج وكل خطوة للوكيل، ويصبح LangSmith هو نظام السجلات حيث تتحول هذه الاستدعاءات إلى تتبعات وتقييمات وتشغيل مجموعات بيانات يمكن للفريق التصرف بناءً عليها.

تقديم بوابة TrueFoundry للذكاء الاصطناعي

تُنشئ TrueFoundry AI Gateway نقطة دخول واحدة ومحكومة لجميع طلبات النماذج والوكلاء. لم تعد التطبيقات والوكلاء يتحدثون مباشرة إلى مزودي النماذج، بل يتحدثون إلى وكيل البوابة. يُعد هذا القرار المعماري مهمًا لأنه يخلق سطحًا متسقًا لتطبيق السياسات، وقرارات التوجيه، وتوليد القياس عن بعد. تحدد البوابة النموذج المستخدم، وتحت أي قيود، وفي أي بيئة، ومع أي ضمانات. كما تصبح المكان الوحيد الذي يمكن فيه مراقبة سلوك الإنتاج بشكل شامل.

بالنسبة لقادة المنصات، هذه هي النقطة التي تتوقف فيها أنظمة الذكاء الاصطناعي عن كونها مجموعة من نصوص بايثون البرمجية وتبدأ في التصرف كبنية تحتية.

تقديم LangSmith

بينما تتحكم البوابة في مكان وكيفية تنفيذ الطلبات، LangSmith هو المكان الذي تلجأ إليه لإعادة بناء ما حدث بالفعل كبيانات تتبع منظمة بدلاً من سجلات متناثرة. وفقًا لمصطلحات LangSmith، التتبع يلتقط التسلسل الشامل للخطوات لطلب واحد (من الإدخال إلى الإخراج النهائي)، وكل خطوة داخل هذا التتبع هي تشغيل، وهي وحدة عمل واحدة مثل استدعاء نموذج لغوي كبير (LLM)، أو خطوة في سلسلة، أو تنسيق موجه، أو أي عملية أخرى ترغب في رؤيتها. يتم تنظيم التتبعات في مشاريع (حاوية لكل ما يتعلق بتطبيق أو خدمة معينة)، ويمكن ربط المحادثات متعددة الأدوار كسلاسل بحيث يمكنك فحص السلوك عبر حوار كامل بدلاً من طلب واحد معزول. اقرأ هنا إذا كنت ترغب في التعمق أكثر: مفاهيم قابلية الملاحظة

يتعامل LangSmith أيضًا مع الملاحظات كمفهوم أساسي، مما يتيح لك إرفاق درجات ومعايير بالتشغيلات - سواء كانت هذه الملاحظات تأتي من البشر، أو المقيمين الآليين، أو المقيمين عبر الإنترنت الذين يعملون على حركة المرور الإنتاجية. هذا ما يجعله أكثر من مجرد "مراقبة": فهو يدعم حلقة تقييم حيث يمكنك إجراء تقييمات دون اتصال بالإنترنت على مجموعات بيانات منسقة قبل النشر، وتقييمات عبر الإنترنت على تفاعلات المستخدم الحقيقية في الإنتاج لاكتشاف الانحدارات وتتبع الجودة في الوقت الفعلي. 

هكذا تظهر التتبعات من بوابة TrueFoundry للذكاء الاصطناعي في واجهة مستخدم LangSmith. يظهر كل استدعاء نموذج كتشغيل خاص به مع نوع العملية وزمن الاستجابة الملتقط على مستوى البوابة.

كيف يعمل TrueFoundry و LangSmith معًا

تدير معظم الشركات بالفعل مكدس مراقبة مركزيًا يرتكز عليه استجابتها للحوادث وممارسات هندسة الموثوقية (SRE). التحدي مع أنظمة النماذج اللغوية الكبيرة (LLM) هو أن القياس عن بعد الناتج عن استدعاءات النموذج (الموجهات، الإكمال، استخدام الرموز، مرات الوصول إلى ذاكرة التخزين المؤقت، قرارات الحماية، رسوم بيانية لخطوات الوكيل) لا يتوافق بشكل واضح مع المقاييس والتتبعات التي صُممت تلك الأدوات من أجلها في الأصل. عادةً ما ينتهي الأمر بالفرق إلى الاختيار بين خيارين غير مرضيين:

1. تجهيز كل تطبيق بحزمة تطوير برمجيات (SDK) خاصة بالنماذج اللغوية الكبيرة (LLM)
2. إرسال التتبعات إلى المكدس الحالي مع فقدان التشغيلات والسلاسل والتقييمات.

من جانب TrueFoundry، تقوم بتمكين مصدر OpenTelemetry لتصدير التتبعات من بوابة الذكاء الاصطناعي. تظل البوابة مسؤولة عن إنشاء وتخزين التتبعات التي يمكنك عرضها داخل واجهة مستخدم TrueFoundry Monitor، ويعد تصدير هذه التتبعات عملية إضافية لا تغير سلوك تخزين TrueFoundry الخاص. تحقق من وثائق تصدير OTEL هنا: TrueFoundry

من جانب LangSmith، توفر مفتاح API للمصادقة و (اختياريًا) اسم مشروع بحيث تهبط التتبعات في مشروع يمكن التنبؤ به بدلاً من الافتراضي. يوثق دليل OpenTelemetry الخاص بـ LangSmith رؤوس OTLP المستخدمة للمصادقة وتوجيه المشروع. الوثائق: LangChain

الدمج مع LangSmith المُدار (خدمة برمجية كخدمة)

انظر وثائقنا هنا: LangSmith

استضافة LangSmith ذاتيًا في شبكة افتراضية خاصة (VPC) وتصدير التتبعات من بوابة الذكاء الاصطناعي

إذا كنت تقوم بالنشر على Kubernetes، فإن الدليل الرسمي "استضافة LangSmith ذاتيًا على Kubernetes" يعتمد على Helm ويوضح صراحة ما يجب عليك توفيره مقدمًا: مفتاح ترخيص LangSmith، وملح مفتاح API، و (إذا كنت تستخدم المصادقة الأساسية) سر JWT. كما يوصي باستخدام Postgres/Redis/ClickHouse مُدار خارجي للإنتاج بدلاً من الإعدادات الافتراضية داخل المجموعة، لأن حجم التتبع يمكن أن ينمو بسرعة. لمزيد من القراءة المتعمقة، نوصي بالاطلاع على وثائق LangSmith للاستضافة الذاتية على Kubernetes: استضافة ذاتية على Kubernetes.

لتبسيط هذا الإعداد على TrueFoundry، نحتفظ بمستودع لمخططات Helm على github.com/truefoundry/tfy-langsmith-charts الذي يضم LangSmith بالإضافة إلى خدمات الواجهة الخلفية المطلوبة.

خاتمة

لقادة الذكاء الاصطناعي، يوفر تكامل TrueFoundry-LangSmith أساسًا مشتركًا حيث تظل عمليات التنفيذ والمراقبة والتقييم متوافقة مع توسع الأنظمة. يتيح ذلك للفرق إدارة تطبيقات نماذج اللغة الكبيرة (LLM) بنفس الدقة التي تُدار بها الخدمات الموزعة التي تلبي متطلبات المؤسسات، دون إبطاء عملية التطوير، لأن الذكاء الاصطناعي في مرحلة الإنتاج يحتاج إلى بنية تحتية بمستوى إنتاجي.

الشراكة مصممة لتكون قابلة للتركيب: TrueFoundry تدير وتوجه التنفيذ، LangSmith تسجل وتقيّم السلوك، و OpenTelemetry تربط بينها. معًا، تعمل هذه المكونات كلوحة تحكم عملية تنقل المؤسسات من العروض التوضيحية الواعدة إلى ذكاء اصطناعي موثوق ومسؤول في مرحلة الإنتاج.