TrueFoundry + Seldon: لوحة تحكم واحدة للذكاء الاصطناعي للمؤسسات

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TL;DR تتحد TrueFoundry و Seldon في منصة واحدة. تنضم خدمة التعلم الآلي في الوقت الفعلي من Seldon إلى AI Deploy و AI Gateway من TrueFoundry، مما يمنح المؤسسات لوحة تحكم واحدة لكل من التعلم الآلي التقليدي والوكلاء. تستمر نماذجك الإنتاجية في العمل على نفس نظام Kubernetes الذي تستخدمه اليوم، وتكتسب مسارًا واضحًا لنماذج اللغات الكبيرة (LLMs) ووكلاء الذكاء الاصطناعي فوقها.
تعمل معظم فرق الذكاء الاصطناعي للمؤسسات الآن على جبهتين متوازيتين. فهي تشغل نماذج التعلم الآلي التقليدية في بيئة الإنتاج لأشياء مثل تسجيل الاحتيال، وتوقع التوقف عن الخدمة، والتوصيات. وفي الوقت نفسه، تقوم ببناء تطبيقات وكيلة تستطيع التفكير واستدعاء الأدوات والتصرف بشكل مستقل. كان هذان العالمان يتحركان بسرعات مختلفة. لم يعد الأمر كذلك. كلاهما أصبحا حاسمين للأعمال في آن واحد، وإدارتهما كمجموعتين منفصلتين، مع بائعين مختلفين ونموذجين مختلفين للحوكمة، يصبح مكلفًا وهشًا بسرعة.
هذه هي الفجوة التي تسدها TrueFoundry و Seldon معًا. أمضت Seldon أكثر من عقد من الزمان في إتقان خدمة التعلم الآلي في الوقت الفعلي لبعض أكثر المؤسسات تطلبًا في العالم. بنت TrueFoundry لوحة التحكم حول الذكاء الاصطناعي الحديث، مع النشر، وبوابة الذكاء الاصطناعي (AI Gateway)، والحوكمة لنماذج اللغات الكبيرة (LLMs) والوكلاء. نحن ندمج الاثنين في منصة واحدة، بحيث تحصل الفرق على مكان واحد لتشغيل النماذج التنبؤية والوكلاء على أساس Kubernetes الذي يثقون به بالفعل.
فريقان، هندسة معمارية واحدة
يعمل هذا الاندماج لأن أيًا من الطرفين لا يضطر إلى التخلي عن تصميمه. اتخذت Seldon و TrueFoundry نفس الخيار المعماري منذ سنوات. كلاهما يعملان كلوحة تحكم على نظام Kubernetes الخاص بالعميل، داخل شبكتهم الافتراضية الخاصة (VPC)، أو في الموقع، أو في بيئة معزولة (air-gapped). كلاهما محايدان للسحابة. كلاهما يعتمدان على نفس المكونات القياسية لحركة المرور، والتحجيم التلقائي، والقياس عن بعد، وكلاهما يمنح الفريق مساحة اسم خاصة به بدلاً من طلب صلاحيات المسؤول على مستوى المجموعة بأكملها.
أخذت Seldon هذا الأساس المشترك وتعمقت في طبقة واحدة، لخدمة التعلم الآلي التقليدي في الوقت الفعلي على نطاق واسع. أخذنا نفس الأساس وتوسعنا، من النشر وصولاً إلى بوابة تحكم النماذج والوكلاء والأدوات. لذلك لم تكن المنصتان في مسار تصادمي أبدًا. كانتا تحلان أجزاء متجاورة من نفس المشكلة، بنفس الطريقة. جمعهما معًا يربط فقط طبقتين تتحدثان نفس اللغة بالفعل.
ما تقدمه Seldon
كانت Seldon العمود الفقري للاستدلال بالتعلم الآلي في الوقت الفعلي في البنوك، وشركات الاتصالات، وشركات التأمين، وتجار التجزئة، وشركات الرعاية الصحية لأكثر من عقد من الزمان. تأتي هذه السمعة من التعمق في أصعب أجزاء خدمة التعلم الآلي في بيئة الإنتاج:
- مسارات Core 2 تربط عدة نماذج ومحولات وموجهات في تطبيق واحد مخدوم. يتلقى المتصل استجابة متزامنة، بينما يقوم تدفق بيانات Kafka بنقل البيانات بين الخطوات الداخلية. هذا هو التنسيق الحقيقي للتطبيقات في طبقة الخدمة، وليس مجرد نقاط نهاية لنموذج واحد.
- MLServer هي بيئة تشغيل متعددة النماذج قائمة على المعايير، مبنية على بروتوكول الاستدلال المفتوح V2، مع التجميع التكيفي وتحميل النماذج المتعددة.
- Alibi Detect و Alibi Explain تتعامل مع اكتشاف الانحراف والقيم الشاذة وشروحات النماذج، وهي إشارات جودة النموذج التي تعتمد عليها فرق المخاطر والفرق السريرية.
- مراقبة أداء النموذج يتتبع كيفية تصرف النموذج بمجرد تشغيله.
معًا، يشكل هذا طبقة تقديم ومراقبة ناضجة ذات جذور عميقة في البيئات المنظمة ومنخفضة الكمون، وهي البيئات التي تتحول فيها التنبؤات الخاطئة إلى مشكلة للعميل في غضون دقائق.
ما تقدمه TrueFoundry
بنت TrueFoundry لوحة التحكم حول النموذج، وهي الطبقات التي تحول النموذج المقدم إلى تطبيق مُدار وواعٍ بالتكلفة وجاهز للوكلاء:
- AI Deploy يشغل ويوسع نطاق أعباء عمل التعلم الآلي والذكاء الاصطناعي التوليدي على Kubernetes، مع مرونة وقت التشغيل لتقديم النماذج على واجهات خلفية مثل FastAPI و Triton و vLLM.
- بوابة الذكاء الاصطناعي (The AI Gateway) تضع أكثر من 1000 نموذج لغوي كبير (LLM) خلف واجهة برمجة تطبيقات واحدة متوافقة مع OpenAI، مع ضوابط وصول موحدة، وحواجز حماية، وإمكانية مراقبة على مستوى الطلب. تضيف حوالي 3 إلى 4 مللي ثانية من الحمل الزائد وتتعامل مع أكثر من 350 طلبًا في الثانية على وحدة معالجة مركزية افتراضية واحدة، لذلك فهي تقع في المسار الحرج دون أن تصبح عنق الزجاجة.
- بوابة الوكيل (The Agent Gateway) يمتد هذا التحكم إلى كيفية عمل الوكلاء فعليًا: خوادم MCP التي يستدعونها، والأدوات التي يستخدمونها، وعمليات التسليم فيما بينهم. يمكن نشر وإدارة الوكلاء من LangGraph أو CrewAI أو AutoGen أو إطار عمل مخصص في مكان واحد.
يشغل عملاؤنا بالفعل الذكاء الاصطناعي الحاسم للأعمال عبر البوابة على نطاق يتجاوز تريليون رمز يوميًا.
أفضل معًا: لوحة تحكم واحدة
هذا هو الجزء المهم. عندما تتضافر طبقة تقديم Seldon وطبقات النشر والبوابة من TrueFoundry، تحصل المؤسسة على لوحة تحكم واحدة تغطي نصفي ذكائها الاصطناعي.
يقوم Deploy بتشغيل أعباء العمل. تتولى البوابة إدارتها وتوجيهها. توجد نماذج التعلم الآلي الكلاسيكية والوكلاء لديك على نفس Kubernetes، تحت مجموعة واحدة من ضوابط الوصول، ومكدس مراقبة واحد، ورؤية واحدة للتكلفة. يمكن لطلب واحد أن يصل إلى نموذج اكتشاف الاحتيال، ونموذج لغوي كبير (LLM)، ووكيل يستدعي أداة، ويتم تسجيل كل قفزة وإدارتها بنفس الطريقة.

إلى أين تتجه نفقات الذكاء الاصطناعي للمؤسسات
من المفيد النظر إلى أين تتجه الأموال. يتم بناء وتشغيل التعلم الآلي التنبؤي بشكل أساسي وبثبات. يتجه الاستثمار الجديد في الذكاء الاصطناعي للمؤسسات نحو النماذج اللغوية الكبيرة (LLMs) والوكلاء، وتتدفق هذه النفقات عبر البوابة. كل استدعاء نموذج، وكل خطوة وكيل، وكل استدعاء أداة يمر عبرها، وهذا هو السبب في أن عملاءنا يمررون بالفعل أكثر من تريليون رمز يوميًا عبرها.
لذلك، تقوم المنصة المدمجة بشيئين مفيدين في آن واحد. فهي تحافظ على تشغيل التعلم الآلي الذي قمت ببنائه بالفعل، دون أي انقطاع. وتضعك في الواجهة حيث تهبط الموجة التالية من نفقات الذكاء الاصطناعي، دون الحاجة إلى إنشاء منصة منفصلة للوصول إلى ذلك.

ماذا يعني هذا بالنسبة لك
إذا كنت تدير Seldon اليوم، يستمر تعلم الآلة في الوقت الفعلي لديك بالعمل على Kubernetes الذي تديره بالفعل. تظل النماذج المقدمة عبر بروتوكول V2 قابلة للنقل، وتتوافق مسارات Core 2 مع أساسيات Deploy الخاصة بدلاً من إعادة كتابتها. علاوة على ذلك، تحصل على بوابة الذكاء الاصطناعي وطبقة الوكيل دون الحاجة إلى إعداد أي شيء جديد.
إذا كنت تدير TrueFoundry اليوم، لا يتغير شيء في حزمتك التقنية، ويصبح Deploy أقوى. فهو يكتسب سجل Seldon للتقديم والمراقبة، بما في ذلك اكتشاف الانحراف والقيم الشاذة، وتفسيرات النماذج، ومراقبة الأداء التي تتدفق مباشرة إلى المنصة التي تستخدمها بالفعل.
لكليهما، إنها حزمة تقنية واحدة بدلاً من اثنتين. مكان واحد لنشر نموذج، وتوجيه استدعاء، ومراقبة الانحراف، وحوكمة وكيل، وحساب التكلفة، عبر تعلم الآلة التقليدي والذكاء الاصطناعي التوليدي، على البنية التحتية التي تديرها بالفعل.
قراءات ذات صلة
- ما هي بوابة LLM؟ الهندسة المعمارية وراء بوابة الذكاء الاصطناعي.
- بوابة الوكيل كيف نربط الوكلاء وخوادم MCP والأدوات، ونديرها ونراقبها.
- ما هو MCP؟ البروتوكول الذي تستخدمه الوكلاء لاستدعاء الأدوات.
- منصة ذكاء اصطناعي محلية تشغيل كل هذا في بيئتك الخاصة.
الخلاصة
لا ينبغي على الشركات تشغيل منصة لنماذجها وأخرى لوكلائها. مع TrueFoundry و Seldon معًا، لم يعد عليهم ذلك. خدمة تعلم الآلة في الوقت الفعلي من Seldon وبوابة الذكاء الاصطناعي من TrueFoundry تقعان الآن على مستوى تحكم واحد للذكاء الاصطناعي المؤسسي، على Kubernetes الذي تديره بالفعل. يستمر تعلم الآلة الإنتاجي لديك في العمل، والمسار إلى الوكلاء ونماذج اللغات الكبيرة (LLMs) موجود مباشرة فوقه.
اكتشف كيف توحد بوابة TrueFoundry للذكاء الاصطناعي التعلم الآلي والوكلاء → استكشف بوابة الذكاء الاصطناعي
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
ما هو مستوى التحكم في الذكاء الاصطناعي للمؤسسات؟
إنها طبقة واحدة تتيح للشركة نشر وتشغيل ومراقبة وإدارة جميع حلول الذكاء الاصطناعي الخاصة بها في مكان واحد، بدءًا من نماذج التعلم الآلي التقليدية وصولاً إلى نماذج اللغات الكبيرة (LLMs) والوكلاء. فبدلاً من استخدام أداة مختلفة لكل مهمة عمل، تحصل على نقطة تحكم واحدة للنشر والوصول والضوابط والتكلفة والمراقبة، تعمل على بنية تحتية تتحكم بها.
هل ستستمر نماذج التعلم الآلي الخاصة بي في الإنتاج بالعمل بعد الدمج؟
نعم. ستستمر نماذجك في العمل على نفس Kubernetes الذي تستخدمه اليوم، على منصة AI Deploy من TrueFoundry جنبًا إلى جنب مع طبقة الخدمة من Seldon. تظل النماذج التي يتم تقديمها عبر بروتوكول الاستدلال المفتو V2 قابلة للنقل، ولا يوجد ما يستدعي إزالته.
ما الذي يتغير لعملاء Seldon؟
مسار أصيل للذكاء الاصطناعي التوليدي للمضي قدمًا. يستمر تعلم الآلة في الوقت الفعلي لديك في العمل كما هو الآن، وتكتسب بوابة الذكاء الاصطناعي وطبقة الوكلاء على نفس الأساس، بحيث يمكنك إضافة نماذج اللغة الكبيرة (LLMs) والوكلاء متى كنت مستعدًا.
هل يمكنني نشر TrueFoundry في شبكتي الافتراضية الخاصة (VPC) أو في موقعي؟
نعم. يعمل TrueFoundry في شبكتك الافتراضية الخاصة (VPC)، أو في موقعك، أو في بيئة معزولة، أو في بيئة هجينة، أو عبر سحابات متعددة، ولا تغادر أي بيانات نطاقك. هذا هو السبب الرئيسي الذي يجعل الشركات الخاضعة للتنظيم تفضلها على بوابات SaaS فقط.
كم عدد نماذج اللغات الكبيرة (LLMs) التي تدعمها TrueFoundry؟
أكثر من 1000، عبر واجهة برمجة تطبيقات (API) واحدة متوافقة مع OpenAI. يمكنك تبديل النماذج بتغيير اسم النموذج في الطلب، مع الحفاظ على نفس عنوان URL وبيانات الاعتماد.
هل تدعم TrueFoundry وكلاء MCP ووكلاء الذكاء الاصطناعي؟
نعم. يتضمن ذلك بوابة MCP، وبوابة وكيل، وسجل MCP والوكلاء مع التحكم في الوصول على مستوى الأداة، بحيث يمكن إدارة الوكلاء من LangGraph أو CrewAI أو AutoGen أو أي إطار عمل مخصص بشكل مركزي.












.webp)
.webp)


.png)

.png)














