تلاحظ غارتنر: "توخى الحذر عند اختيار بوابات الذكاء الاصطناعي محدودة الوظائف كجزء من منصات أكبر." يجب على المؤسسات التي اعتمدت على Portkey لإدارة التكاليف، أو توجيه النماذج، أو المراقبة، أو التكامل — وليس فقط الأمان — تقييم ما إذا كانت حالات الاستخدام هذه ستظل أولوية. يغطي TrueFoundry الطيف الكامل: ضوابط الأمان، وتحسين التكلفة، وتنسيق الوكلاء، والمراقبة العميقة للبنية التحتية، دون الارتباط بخارطة طريق منصة أمان واحدة.

Portkey هي بوابة ذكاء اصطناعي مملوكة الآن لشركة Palo Alto Network. TrueFoundry هي منصة بنية تحتية مستقلة للذكاء الاصطناعي. تتعامل بوابتنا مع التوجيه والمراقبة تمامًا كما يفعل Portkey، ولكننا ندير أيضًا الحوسبة الفعلية الأساسية — حتى تتمكن من تدريب النماذج وضبطها ونشرها على بنيتك التحتية الخاصة، وليس فقط توجيه حركة المرور إلى واجهة برمجة تطبيقات (API) خاصة بشخص آخر.

بين TrueFoundry و Portkey، يمنحك TrueFoundry رؤية شاملة للمكدس التقني. يسجل Portkey طلبات واجهة برمجة التطبيقات الخاصة بك: المدخلات، المخرجات، وما إلى ذلك. وهو مفيد لتصحيح أخطاء المطالبات. يربط TrueFoundry هذه السجلات بمقاييس البنية التحتية الخاصة بك مثل ذاكرة وحدة معالجة الرسوميات (GPU)، وصحة الحاويات (pods)، وسجلات الحاويات. لذلك، عندما يحدث خطأ ما، يمكنك معرفة ما إذا كانت المشكلة تتعلق بالنموذج أو مشكلة في البنية التحتية مثل خطأ نفاد الذاكرة (OOM error). لا يستطيع Portkey فعل ذلك لأنه لا يتعامل مع بنيتك التحتية.

يوجد فرق جوهري في نشر النماذج بين Portkey و TrueFoundry. لا يقوم Portkey بنشر أو استضافة النماذج؛ بل يوجه حركة المرور إلى نماذج مستضافة بالفعل في مكان آخر (مثل OpenAI أو Anyscale). أما TrueFoundry فيعمل كمحرك تنسيق. نحن نسمح لك بأخذ نموذج مفتوح المصدر (مثل Llama 3)، وتحويله إلى حاوية، ونشره مباشرة على بنيتك التحتية السحابية أو المحلية الخاصة بك. نحن نتولى التوسع التلقائي، وتوفير وحدات معالجة الرسوميات (GPU)، وفحوصات السلامة، مما يمنحك ملكية النموذج والحوسبة التي يعمل عليها.

إذا كنت تقارن بين TrueFoundry و Portkey لمتطلبات سيادة البيانات الصارمة، فإن TrueFoundry هو الأنسب عادةً. نحن ندير كل شيء (الحوسبة، البوابة، التخزين) داخل شبكتك الافتراضية الخاصة (VPC) أو بيئة معزولة تمامًا عن الشبكة. يتضمن ذلك تكاملاً أصيلاً مع مجموعات Kubernetes الخاصة بك، وإدارة الهوية والوصول (IAM)، والتحكم في الوصول المستند إلى الدور (RBAC)، وإدارة الأسرار. تبقى أوزان نموذجك وبيانات التدريب وكل شيء آخر داخل بنيتك التحتية الخاضعة للتحكم. كلا المنصتين توفران عمليات نشر خاصة، لكن TrueFoundry يمنحك تحكمًا كاملاً منذ اليوم الأول.