What is an AI gateway?

An AI Gateway is a specialized middleware platform designed to facilitate the integration, management, and deployment of artificial intelligence (AI) models and services within an organization's IT infrastructure. It acts as a bridge between AI systems, such as large language models (LLMs) like OpenAI's GPT or Anthropic's Claude, and end-user applications, ensuring efficient and secure communication. To know more, read our indepth guide on what is an AI gateway .

How does an AI gateway work?

An AI gateway solution sits between your applications and model providers. The TrueFoundry gateway intelligently routes requests, handles authentication, and manages failovers, ensuring your system maintains reliable, high-speed connectivity with any underlying model or tool you choose.

What are the benefits of an AI gateway?

An AI gateway provides a centralized platform for managing and optimizing AI services. It offers a unified interface to connect multiple AI models, enforces security through authentication and access controls, and ensures regulatory compliance. The gateway features usage monitoring, budget management, and intelligent load balancing to ensure optimal performance and reliability. It supports policy enforcement for data usage and ethical considerations while enabling horizontal scaling to meet growing demand and seamlessly integrate new AI services.

What are the capabilities of AI gateways?

AI gateways provide unified access and intelligent routing across multiple models with built-in fallbacks. For instance, TrueFoundry AI gateway helps with governance and security through authentication, access control, and policy enforcement; cost optimization via rate limiting and token budgeting; full observability with usage tracking and performance monitoring; and support for agentic workflows with multi-step orchestration. They act as a centralized control plane, enabling enterprises to operationalize AI safely and cost-effectively at scale.

Which AI gateway is best?

The TrueFoundry AI gateway is the best. It delivers comprehensive deployment and management of AI services with enterprise-grade security through RBAC, OAuth 2.0, and API key authentication. It features rate limiting, intelligent load balancing, and automatic failover for optimal performance and reliability. Built-in guardrails enforce ethical guidelines and prevent inappropriate outputs, while observability tools provide analytics, logs, and prompt optimization. With multi-cloud support and real-time inference capabilities, TrueFoundry provides a flexible and scalable solution for enterprise AI deployment.

What is the difference between an API gateway and an AI gateway?

While standard gateways route general web traffic, a TrueFoundry enterprise AI gateway is purpose-built for LLMs. It handles specific tasks like token counting, prompt caching, and model fallbacks—specialized logic that generic API gateways simply cannot execute efficiently.

Where does an AI Gateway sit in the GenAI architecture?

An AI Gateway sits directly in the production inference path between applications and model providers. It acts as a centralized control plane that manages routing, governance, observability, security, and cost controls across LLMs, tools, and agents, without requiring changes to application logic.

Can an AI Gateway be used with self-hosted and open-source models?

Yes. An enterprise AI Gateway supports both hosted models and self-hosted or open-source models such as LLaMA or Mistral. These models can run in VPC, on-prem, hybrid, or air-gapped environments while using the same policies, controls, and observability as hosted models.

How does an AI Gateway help control and optimize inference costs?

CAn AI Gateway provides real-time usage visibility, token-level tracking, quotas, and budget enforcement. It also enables intelligent routing, caching, and fallback strategies to reduce unnecessary calls to expensive models and prevent runaway inference spend.

How does an AI Gateway help with data privacy and compliance?

AI Gateways enforce data handling policies such as PII masking, request filtering, and controlled logging. When deployed in VPC, on-prem, or air-gapped environments, they ensure sensitive data never leaves enterprise boundaries while meeting compliance requirements.

How does an AI Gateway support multiple teams and environments?

AI Gateways enable team-level isolation using role-based access control (RBAC), per-team API keys, quotas, and usage tracking. This allows multiple teams to share models and infrastructure securely while maintaining governance, accountability, and cost visibility.

How does the TrueFoundry AI Gateway Playground help developers build and test?

The Playground is the interactive UI on top of the AI Gateway where developers can try out different LLMs, prompts, MCP tools and configurations before wiring them into applications. You can select any model that has been onboarded in the “Models” tab, adjust parameters such as temperature, max tokens, streaming and stop sequences, and immediately see the impact on responses, token usage and latency. This makes it easy to experiment with model choices and generation settings without writing code. Once you are happy with a setup, the entire configuration—prompt, model, tools, guardrails and structured output schema—can be saved as a reusable template in a shared repository. The Playground also generates ready-to-use code snippets for the OpenAI client, LangChain and other libraries, using the unified AI Gateway API, so teams can take a working experiment and drop it straight into their services with minimal effort.

What does “unified access” mean for APIs, keys, tools and agents?

With TrueFoundry AI Gateway, all model providers and tools sit behind a single, unified API. Instead of managing separate SDKs, endpoints and keys for OpenAI, Anthropic, Bedrock, self-hosted models and others, applications talk to one gateway endpoint and use one gateway key. The gateway then routes requests to the right underlying model based on configuration, so you can swap models or providers without changing your application code. This unified access layer also extends to tools via the MCP protocol and to agents via the emerging A2A protocol, so models, tools and agents can all be orchestrated through the same control plane. For developers, this means simpler integration and a cleaner security model: provider keys are stored once in the gateway, access is governed centrally using RBAC and policies, and teams can standardize on a single client pattern across languages and frameworks. As new models or providers appear, they can be added to the gateway and become immediately available behind the same unified interface.

How do prompt management, versioning and Agent Apps work together?

Prompts, tools and agent configurations are treated as first-class assets in the AI Gateway. In the Playground you can define system prompts, user prompts, input variables, MCP tools, guardrails and model settings, and then save them as named templates. Each template can have multiple versions so teams can iterate safely without overwriting each other’s logic, and roll back to previous versions when needed. This effectively becomes a prompt and agent configuration repository for your organization. When a particular configuration is ready to be shared more broadly, it can be published as an Agent App. Agent Apps are powered by the gateway but exposed through a simple, locked-down interface: business users or internal teams can interact with the agent exactly as it will run in production, while the underlying prompts, tools and guardrails remain immutable. This makes Agent Apps ideal for user acceptance testing, stakeholder demos and internal copilots, because product and platform teams retain control over the configuration while still giving others a safe way to try agentic workflows.

How do guardrails, safety checks and PII controls work end-to-end?

Guardrails in TrueFoundry AI Gateway operate on both the input and output paths to provide defense-in-depth. Before a request reaches a model, input guardrails can scan it for sensitive data such as PII, prompt injection patterns or disallowed topics, and either block, redact or transform the prompt based on your policies. After the model generates a response, output guardrails evaluate the content again for toxicity, bias, hallucinations, policy violations or accidental data leakage, and decide whether to return, modify or reject the response. The gateway can plug into existing safety and compliance services such as OpenAI Moderation, AWS Guardrails, Azure Content Safety and Azure PII detection, and it also supports custom rules written as configuration or Python code. Because guardrails are configured centrally and applied consistently across all models and applications going through the AI Gateway, security and compliance teams get a predictable way to enforce organizational policies for GenAI usage, including in regulated environments like healthcare, financial services and insurance.

What observability, tracing and debugging capabilities does the AI Gateway provide?

Every request flowing through TrueFoundry AI Gateway is instrumented so you can see exactly how your GenAI workloads behave. The monitoring views show aggregate metrics such as total requests, input and output tokens, and cost, broken down by model, team, user, customer, environment or any other metadata you choose to attach. Performance is tracked using P99, P90 and P50 latency, time-to-first-token and inter-token latency, so you can quickly identify models or routes that are causing slowdowns or errors. For deeper debugging, there is a request-level view that lets you inspect individual calls, see the full prompt and response, and understand how routing, fallbacks and guardrails were applied. For agentic workflows using tools and MCP, the gateway can capture traces that show each step an agent took, which tools it called, and how intermediate results flowed through the system. All of these logs and metrics are also exposed via APIs, so platform and observability teams can build custom dashboards and alerts in their existing monitoring stacks.

How are policies, rate limits, fallbacks and budgets configured and automated?

The AI Gateway lets you express reliability and governance rules as configuration so they can be applied consistently and automated. Rate limits can be defined per team, user, model, application or environment, ensuring that no single consumer can exhaust capacity or overspend. Budgets and quotas can be set so that when usage crosses certain thresholds, requests are throttled, downgraded to cheaper models or blocked, depending on your business rules. Load-balancing policies can route traffic based on fixed weights, measured latency or priority, while fallback chains describe the sequence of models to try when errors or timeouts occur. All of these controls can be managed through the UI or declared in YAML and applied via the TrueFoundry CLI, enabling a GitOps workflow where gateway configuration lives alongside application code and infrastructure definitions. Combined with caching, batching and centralized API key management, these features allow platform teams to treat the AI Gateway as the single place where they define how GenAI should be used, how much can be spent, and how applications should behave under failure—without forcing individual application teams to re-implement these concerns over and over again.

نشر آمن: VPC، في الموقع، معزول هوائيًا

بوابة الذكاء الاصطناعي: حوكمة ومراقبة مدمجة للمؤسسات

بوابة ذكاء اصطناعي موحدة لإدارة وحوكمة الذكاء الاصطناعي بشكل آمن عبر أكثر من 1600 نموذج، مع التحكم في السياسات والمراقبة في الوقت الفعلي وتخفيض التكاليف بنسبة تصل إلى 30%.

احجز عرضًا توضيحيًا

جرب الآن

Purple gradient square with white background, shiny surface, and rounded corners in rhombus shape.

مصمم للذكاء الاصطناعي الواقعي على نطاق واسع

99.99%

جاهزية الخدمة

تضمن آليات تجاوز الفشل والتوجيه والحواجز الوقائية المركزية بقاء تطبيقات الذكاء الاصطناعي الخاصة بك متصلة بالإنترنت، حتى عندما يتعطل موفرو النماذج.

10 مليار+

الطلبات المعالجة شهريًا

استدلال قابل للتوسع وعالي الإنتاجية للذكاء الاصطناعي في بيئة الإنتاج.

30%

تحسين متوسط التكلفة

يقلل التوجيه الذكي والمعالجة الدفعية وضوابط الميزانية من هدر الرموز.

1600+

النماذج

متصلة عبر بوابة ذكاء اصطناعي واحدة.

بوابة الذكاء الاصطناعي: وصول موحد لواجهة برمجة تطبيقات نماذج اللغة الكبيرة (LLM)

بسّط بنية GenAI الخاصة بك باستخدام بوابة ذكاء اصطناعي واحدة تدمج جميع النماذج الرئيسية.

اتصل بـ OpenAI وClaude وGemini وGroq وMistral وأكثر من 250 نموذج لغة كبير (LLM) عبر واجهة برمجة تطبيقات بوابة ذكاء اصطناعي واحدة
استخدم بوابة الذكاء الاصطناعي لدعم أنواع نماذج الدردشة والإكمال والتضمين وإعادة الترتيب
مركزة إدارة مفاتيح API ومصادقة الفريق في مكان واحد.
نسّق أعباء عمل النماذج المتعددة بسلاسة عبر بنيتك التحتية.

اقرأ المزيد

بوابة الذكاء الاصطناعي للمؤسسات مع وصول موحد لواجهة برمجة تطبيقات LLM

مراقبة بوابة الذكاء الاصطناعي

تتبع أداء بوابة الذكاء الاصطناعي الخاصة بك وتكاليفها، واضمن الامتثال عبر النماذج في الوقت الفعلي.

راقب استخدام الرموز المميزة، وزمن الاستجابة، ومعدلات الخطأ، وأحجام الطلبات عبر نظامك.
قم بتخزين وفحص سجلات الطلبات/الاستجابات الكاملة مركزيًا لضمان الامتثال وتبسيط تصحيح الأخطاء.
ضع علامات على حركة المرور ببيانات وصفية مثل معرف المستخدم أو الفريق أو البيئة للحصول على رؤى دقيقة.
قم بتصفية السجلات والمقاييس حسب النموذج أو الفريق أو الموقع الجغرافي لتحديد الأسباب الجذرية بسرعة وتسريع عملية الحل.

اقرأ المزيد

لوحة معلومات مراقبة بوابة الذكاء الاصطناعي من Truefoundry

الحصص والتحكم في الوصول عبر بوابة الذكاء الاصطناعي

فرض الحوكمة، والتحكم في التكاليف، وتقليل المخاطر من خلال إدارة سياسات بوابة الذكاء الاصطناعي للمؤسسات.

طبّق حدود المعدل لكل مستخدم أو خدمة أو نقطة نهاية.
عيّن حصصًا بناءً على التكلفة أو الرموز المميزة باستخدام فلاتر البيانات الوصفية.
استخدم التحكم في الوصول المستند إلى الدور (RBAC) لعزل الاستخدام وإدارته.
إدارة حسابات الخدمة وأعباء عمل الوكلاء على نطاق واسع من خلال قواعد مركزية.

اقرأ المزيد

حصة بوابة الذكاء الاصطناعي والتحكم في الوصول

ضمان الاستخدام المتوقع، وحدود الوصول القوية، والحوكمة القابلة للتوسع على مستوى الفريق لبنيتك التحتية للذكاء الاصطناعي التوليدي باستخدام ضوابط بوابة الذكاء الاصطناعي للمؤسسات.

الاستدلال منخفض زمن الوصول

شغّل أعباء عملك الأكثر حساسية للأداء عبر بنية تحتية عالية السرعة لبوابة الذكاء الاصطناعي.

حقق زمن وصول داخلي أقل من 3 مللي ثانية حتى في ظل أعباء العمل على مستوى المؤسسات.
قم بالتوسع بسلاسة لإدارة حركة المرور المفاجئة وأعباء العمل عالية الإنتاجية.
توفير أوقات استجابة يمكن التنبؤ بها للمحادثات في الوقت الفعلي، وأنظمة RAG، ومساعدي الذكاء الاصطناعي.
ضع عمليات النشر بالقرب من طبقات الاستدلال لتقليل زمن الوصول والقضاء على تأخر الشبكة.

اقرأ المزيد

ضع بوابة الذكاء الاصطناعي مباشرة في مسار الاستدلال الخاص بالإنتاج لديك — تضمن بنيتها ذات زمن الوصول المنخفض عدم وجود أي تنازلات في الأداء.

توجيه بوابة الذكاء الاصطناعي والرجوع الاحتياطي

اضمن الموثوقية، حتى أثناء تعطل النماذج، باستخدام ضوابط حركة المرور الذكية لبوابة الذكاء الاصطناعي.

يدعم التوجيه القائم على زمن الوصول إلى أسرع نموذج لغوي كبير (LLM) متاح.
وزّع حركة المرور بذكاء باستخدام موازنة التحميل الموزونة لتحقيق الموثوقية وقابلية التوسع.
الرجوع تلقائيًا إلى النماذج الثانوية عند فشل الطلب.
استخدم التوجيه الجغرافي لتلبية متطلبات الامتثال والتوافر الإقليمية.

اقرأ المزيد

يضمن نظام توجيه بوابة الذكاء الاصطناعي هذا أنك لن تنقطع عن الاتصال أبدًا، حتى عندما تواجه النماذج الفردية فترة توقف أو ارتفاعًا مفاجئًا في زمن الاستجابة.

استضافة النماذج المستضافة ذاتيًا

أتح النماذج مفتوحة المصدر بتحكم كامل.

انشر LLaMA و Mistral و Falcon والمزيد بدون أي تغييرات في SDK.
توافق كامل مع vLLM و SGLang و KServe و Triton.
تبسيط العمليات باستخدام إدارة قائمة على Helm للتحجيم التلقائي وجدولة وحدات معالجة الرسوميات (GPU) وعمليات النشر
قم بتشغيل نماذجك الخاصة في بيئات VPC أو الهجينة أو المعزولة.

اقرأ المزيد

تكامل بوابة الذكاء الاصطناعي و MCP

تمكين سير عمل الوكلاء الآمنة من خلال دعم MCP الأصلي لبوابة الذكاء الاصطناعي.

اربط أدوات المؤسسات مثل Slack و GitHub و Confluence و Datadog.
سجل خوادم MCP الداخلية بسهولة بأقل إعداد مطلوب.
تطبيق سياسات OAuth2 و RBAC والبيانات الوصفية على كل استدعاء أداة.

اقرأ المزيد

ضوابط حماية بوابة الذكاء الاصطناعي

أنشئ تطبيقات ذكاء اصطناعي آمنة باستخدام ضوابط حماية بوابة الذكاء الاصطناعي القابلة للتكوين وضوابط السياسات.

طبق بسلاسة ضوابط الأمان الخاصة بك، بما في ذلك تصفية معلومات التعريف الشخصية (PII) واكتشاف المحتوى الضار.
خصص بوابة الذكاء الاصطناعي بضوابط حماية مصممة خصيصًا لاحتياجاتك المتعلقة بالامتثال والسلامة.

اقرأ المزيد

جاهز للمؤسسات

انشر بوابة ذكاء اصطناعي آمنة تحافظ على بياناتك ونماذجك ضمن بنيتك التحتية السحابية / المحلية.

HIPAA, GDPR, and AICPA SOC compliance badges for data security and privacy regulations standards.

الامتثال والأمان
معايير SOC 2 و HIPAA و GDPR لضمان حماية قوية للبيانات
الحوكمة والتحكم في الوصول
تسجيل الدخول الموحد (SSO) + التحكم في الوصول المستند إلى الأدوار (RBAC) وتسجيل التدقيق
دعم وموثوقية للمؤسسات
دعم على مدار الساعة طوال أيام الأسبوع مع اتفاقيات مستوى خدمة للاستجابة مدعومة بضمانات

انشر TrueFoundry في أي بيئة

في VPC، أو محليًا، أو معزولة تمامًا، أو عبر سحابات متعددة.

لا تغادر أي بيانات نطاقك. استمتع بالسيادة الكاملة والعزل والامتثال على مستوى المؤسسات أينما تعمل TrueFoundry

ابدأ الآن

Cloud deployment options including On-Prem, Multi-Cloud, Air-gapped, and AWS, Google Cloud Platform.

نتائج حقيقية في TrueFoundry

لماذا تختار الشركات TrueFoundry

Smiling man in black blazer and white shirt with short dark hair and blurred greenery background.

براتيك أغاروال

مدير أول، علم البيانات وابتكار الذكاء الاصطناعي

منحتنا بوابة TrueFoundry للذكاء الاصطناعي طبقة موحدة لإدارة الوصول إلى النماذج والتوجيه وحواجز الأمان وضوابط التكلفة عبر الفرق. ما كان يتطلب سابقًا عمليات تكامل مخصصة متعددة ومراجعات أمنية، يحدث الآن من خلال واجهة واحدة محكومة. لقد سرعت من عملية الإنتاج، وزادت من وضوح الرؤية في الإنفاق والأداء، ومكنتنا من توسيع نطاق تجارب الذكاء الاصطناعي بأمان عبر المؤسسة.

Smiling man with short dark hair and glasses wearing a collared shirt and sweater indoors.

فيبهاس جيجي

مهندس تعلم آلة (ML) أول

بفضل بوابة TrueFoundry للذكاء الاصطناعي، أصبح لدينا أخيرًا واجهة واحدة متسقة لجميع مزودي النماذج والسياسات والقياس عن بعد. لقد قضت على الأعباء الإضافية لإدارة المفاتيح ومنطق التوجيه والمراقبة المتفرقة. أصبح تقديم نماذج جديدة مجرد إعداد. لقد حسنت البوابة سرعة المطورين، وقللت من عبء DevOps، وساعدتنا في تشغيل أنظمة متعددة النماذج برؤى وحوكمة في الوقت الفعلي.

Smiling man with beard and mustache wearing blue shirt and gray blazer against white background.

إندرونيل ج.

قائد العمليات الذكية

قامت بوابة TrueFoundry للذكاء الاصطناعي بتوحيد طريقة تفاعل كل فريق مع نماذج اللغات الكبيرة (LLMs) والتضمينات (embeddings) ومكونات RAG. فبدلاً من عمليات التكامل المتفرقة، نتحكم الآن في الوصول وسياسات التوجيه وحواجز الأمان مركزيًا. لقد كانت القدرة على التحسين من حيث التكلفة أو زمن الاستجابة دون تغيير التطبيقات بمثابة نقلة نوعية. لقد جعلت بنية الذكاء الاصطناعي لدينا أنظف وأكثر أمانًا وأسهل بكثير في التوسع.

Young man with short dark hair and neutral expression in circular frame.

نيلاف غوش

مدير أول، الذكاء الاصطناعي

أصبحت بوابة TrueFoundry للذكاء الاصطناعي طبقة التحكم لدينا لتبني الذكاء الاصطناعي الآمن والمنظم. إنها توحد سياسات الأمان والمراقبة واستخدام النماذج في مكان واحد، مما يمنحنا رؤية كاملة للأداء والإنفاق. يحصل المطورون على واجهة متسقة عبر السحابات والنماذج، بينما تحصل القيادة على الحوكمة والقدرة على التنبؤ. لقد قللت بشكل كبير من الاحتكاك في توسيع نطاق الذكاء الاصطناعي للمؤسسات.

الأسئلة الشائعة

ما هي بوابة الذكاء الاصطناعي؟

بوابة الذكاء الاصطناعي هي منصة برمجيات وسيطة متخصصة مصممة لتسهيل دمج وإدارة ونشر نماذج وخدمات الذكاء الاصطناعي داخل البنية التحتية لتكنولوجيا المعلومات للمؤسسة. تعمل كجسر بين أنظمة الذكاء الاصطناعي، مثل نماذج اللغات الكبيرة (LLMs) مثل GPT من OpenAI أو Claude من Anthropic، وتطبيقات المستخدم النهائي، مما يضمن اتصالاً فعالاً وآمنًا.

لمعرفة المزيد، اقرأ دليلنا الشامل حول ما هي بوابة الذكاء الاص9طناعي.

كيف تعمل بوابة الذكاء الاصطناعي؟

يقع حل بوابة الذكاء الاصطناعي بين تطبيقاتك ومقدمي النماذج. تقوم بوابة TrueFoundry بتوجيه الطلبات بذكاء، وتتعامل مع المصادقة، وتدير تجاوز الأعطال، مما يضمن أن نظامك يحافظ على اتصال موثوق وعالي السرعة مع أي نموذج أو أداة أساسية تختارها.

ما هي فوائد بوابة الذكاء الاصطناعي؟

توفر بوابة الذكاء الاصطناعي منصة مركزية لإدارة وتحسين خدمات الذكاء الاصطناعي. إنها تقدم واجهة موحدة لربط نماذج الذكاء الاصطناعي المتعددة، وتفرض الأمان من خلال المصادقة وضوابط الوصول، وتضمن الامتثال التنظيمي. تتميز البوابة بمراقبة الاستخدام، وإدارة الميزانية، وموازنة التحميل الذكية لضمان الأداء والموثوقية الأمثل. وهي تدعم تطبيق السياسات لاستخدام البيانات والاعتبارات الأخلاقية مع تمكين التوسع الأفقي لتلبية الطلب المتزايد ودمج خدمات الذكاء الاصطناعي الجديدة بسلاسة.

ما هي قدرات بوابات الذكاء الاصطناعي؟

توفر بوابات الذكاء الاصطناعي وصولاً موحدًا وتوجيهًا ذكيًا عبر نماذج متعددة مع آليات تراجع مدمجة. على سبيل المثال، تساعد بوابة الذكاء الاصطناعي من TrueFoundry في الحوكمة والأمان من خلال المصادقة والتحكم في الوصول وتطبيق السياسات؛ وتحسين التكلفة عبر تحديد المعدل وميزانية الرموز؛ والمراقبة الكاملة مع تتبع الاستخدام ومراقبة الأداء؛ ودعم سير عمل الوكلاء مع التنسيق متعدد الخطوات. إنها تعمل كلوحة تحكم مركزية، مما يمكّن المؤسسات من تفعيل الذكاء الاصطناعي بأمان وفعالية من حيث التكلفة على نطاق واسع.

ما هي أفضل بوابة للذكاء الاصطناعي؟

تعد بوابة الذكاء الاصطناعي من TrueFoundry هي الأفضل. إنها توفر نشرًا وإدارة شاملين لخدمات الذكاء الاصطناعي مع أمان على مستوى المؤسسات من خلال التحكم في الوصول المستند إلى الأدوار (RBAC)، وOAuth 2.0، ومصادقة مفتاح API. تتميز بتحديد المعدل، وموازنة التحميل الذكية، والتجاوز التلقائي للأعطال لتحقيق الأداء والموثوقية الأمثل. تفرض الضوابط المدمجة المبادئ التوجيهية الأخلاقية وتمنع المخرجات غير المناسبة، بينما توفر أدوات المراقبة التحليلات والسجلات وتحسين المطالبات. بفضل دعم السحابة المتعددة وقدرات الاستدلال في الوقت الفعلي، توفر TrueFoundry حلاً مرنًا وقابلاً للتطوير لنشر الذكاء الاصطناعي في المؤسسات.

ما الفرق بين بوابة API وبوابة الذكاء الاصطناعي؟

بينما تقوم البوابات القياسية بتوجيه حركة مرور الويب العامة، فإن بوابة الذكاء الاصطناعي للمؤسسات من TrueFoundry مصممة خصيصًا لنماذج اللغات الكبيرة (LLMs). إنها تتعامل مع مهام محددة مثل عد الرموز، والتخزين المؤقت للمطالبات، واستراتيجيات التراجع للنماذج — وهو منطق متخصص لا تستطيع بوابات API العامة تنفيذه بكفاءة.

أين تقع بوابة الذكاء الاصطناعي في بنية الذكاء الاصطناعي التوليدي (GenAI)؟

تقع بوابة الذكاء الاصطناعي مباشرة في مسار الاستدلال الإنتاجي بين التطبيقات ومقدمي النماذج. وهي تعمل كلوحة تحكم مركزية تدير التوجيه والحوكمة وإمكانية المراقبة والأمان وضوابط التكلفة عبر نماذج اللغات الكبيرة (LLMs) والأدوات والوكلاء، دون الحاجة إلى تغييرات في منطق التطبيق.

هل يمكن استخدام بوابة الذكاء الاصطناعي مع النماذج المستضافة ذاتيًا ومفتوحة المصدر؟

نعم. تدعم بوابة الذكاء الاصطناعي للمؤسسات كلاً من النماذج المستضافة والنماذج المستضافة ذاتيًا أو مفتوحة المصدر مثل LLaMA أو Mistral. يمكن تشغيل هذه النماذج في بيئات VPC أو داخلية أو هجينة أو معزولة، مع استخدام نفس السياسات والضوابط وإمكانية المراقبة المطبقة على النماذج المستضافة.

كيف تساعد بوابة الذكاء الاصطناعي في التحكم في تكاليف الاستدلال وتحسينها؟

توفر بوابة الذكاء الاصطناعي رؤية فورية للاستخدام، وتتبعًا على مستوى الرمز المميز، وحصصًا، وتطبيقًا للميزانية. كما أنها تتيح التوجيه الذكي، والتخزين المؤقت، واستراتيجيات التراجع لتقليل المكالمات غير الضرورية للنماذج باهظة الثمن ومنع الإنفاق المفرط على الاستدلال.

كيف تساعد بوابة الذكاء الاصطناعي في خصوصية البيانات والامتثال؟

تفرض بوابات الذكاء الاصطناعي سياسات معالجة البيانات مثل إخفاء معلومات التعريف الشخصية (PII)، وتصفية الطلبات، والتسجيل المتحكم فيه. عند النشر في بيئات الشبكة الافتراضية الخاصة (VPC)، أو في الموقع (on-prem)، أو البيئات المعزولة (air-gapped)، فإنها تضمن عدم مغادرة البيانات الحساسة لحدود المؤسسة أبدًا مع تلبية متطلبات الامتثال.

كيف تدعم بوابة الذكاء الاصطناعي فرقًا وبيئات متعددة؟

تتيح بوابات الذكاء الاصطناعي عزلًا على مستوى الفريق باستخدام التحكم في الوصول المستند إلى الدور (RBAC)، ومفاتيح API لكل فريق، والحصص، وتتبع الاستخدام. وهذا يسمح لفرق متعددة بمشاركة النماذج والبنية التحتية بأمان مع الحفاظ على الحوكمة والمساءلة ورؤية التكلفة.

كيف تساعد بيئة TrueFoundry AI Gateway Playground المطورين في البناء والاختبار؟

بيئة Playground هي واجهة المستخدم التفاعلية فوق بوابة الذكاء الاصطناعي حيث يمكن للمطورين تجربة نماذج اللغة الكبيرة (LLMs) المختلفة، والمطالبات، وأدوات MCP، والتكوينات قبل ربطها بالتطبيقات. يمكنك تحديد أي نموذج تم إعداده في علامة التبويب "النماذج"، وتعديل المعلمات مثل درجة الحرارة، والحد الأقصى للرموز، والتدفق، وتسلسلات التوقف، ورؤية التأثير الفوري على الاستجابات، واستخدام الرموز، وزمن الانتقال. وهذا يجعل من السهل تجربة خيارات النماذج وإعدادات التوليد دون كتابة أي كود.
‍
بمجرد أن تكون راضيًا عن الإعداد، يمكن حفظ التكوين بأكمله — المطالبة، والنموذج، والأدوات، والحواجز الوقائية، ومخطط الإخراج المنظم — كقالب قابل لإعادة الاستخدام في مستودع مشترك. تولد بيئة Playground أيضًا مقتطفات كود جاهزة للاستخدام لعميل OpenAI، و LangChain، والمكتبات الأخرى، باستخدام واجهة برمجة تطبيقات بوابة الذكاء الاصطناعي الموحدة، بحيث يمكن للفرق أخذ تجربة عاملة وإدراجها مباشرة في خدماتهم بأقل جهد.

ماذا يعني "الوصول الموحد" بالنسبة لواجهات برمجة التطبيقات (APIs)، والمفاتيح، والأدوات، والوكلاء؟

مع بوابة TrueFoundry للذكاء الاصطناعي، يقع جميع موفري النماذج والأدوات خلف واجهة برمجة تطبيقات (API) واحدة وموحدة. بدلاً من إدارة حزم تطوير البرامج (SDKs) ونقاط النهاية والمفاتيح المنفصلة لـ OpenAI، و Anthropic، و Bedrock، والنماذج المستضافة ذاتيًا وغيرها، تتحدث التطبيقات إلى نقطة نهاية بوابة واحدة وتستخدم مفتاح بوابة واحدًا. تقوم البوابة بعد ذلك بتوجيه الطلبات إلى النموذج الأساسي الصحيح بناءً على التكوين، بحيث يمكنك تبديل النماذج أو الموفرين دون تغيير رمز تطبيقك. تمتد طبقة الوصول الموحدة هذه أيضًا إلى الأدوات عبر بروتوكول MCP وإلى الوكلاء عبر بروتوكول A2A الناشئ، بحيث يمكن تنسيق جميع النماذج والأدوات والوكلاء من خلال نفس مستوى التحكم.
‍
بالنسبة للمطورين، هذا يعني تكاملاً أبسط ونموذج أمان أنظف: يتم تخزين مفاتيح الموفرين مرة واحدة في البوابة، ويتم التحكم في الوصول مركزيًا باستخدام التحكم في الوصول المستند إلى الدور (RBAC) والسياسات، ويمكن للفرق توحيد نمط عميل واحد عبر اللغات والأطر. عند ظهور نماذج أو موفرين جدد، يمكن إضافتهم إلى البوابة ويصبحون متاحين على الفور خلف نفس الواجهة الموحدة.

كيف تعمل إدارة المطالبات، وتحديد الإصدارات، وتطبيقات الوكيل (Agent Apps) معًا؟

تُعامل المطالبات والأدوات وتكوينات الوكلاء كأصول من الدرجة الأولى في بوابة الذكاء الاصطناعي. في بيئة Playground، يمكنك تحديد مطالبات النظام، ومطالبات المستخدم، ومتغيرات الإدخال، وأدوات MCP، والحواجز الوقائية، وإعدادات النموذج، ثم حفظها كقوالب مسماة. يمكن أن يحتوي كل قالب على إصدارات متعددة حتى تتمكن الفرق من التكرار بأمان دون الكتابة فوق منطق بعضها البعض، والعودة إلى الإصدارات السابقة عند الحاجة. يصبح هذا فعليًا مستودعًا لتكوين المطالبات والوكلاء لمؤسستك.
‍
عندما يصبح تكوين معين جاهزًا للمشاركة على نطاق أوسع، يمكن نشره كتطبيق وكيل (Agent App). تطبيقات الوكيل مدعومة من البوابة ولكنها تُعرض من خلال واجهة بسيطة ومقيدة: يمكن لمستخدمي الأعمال أو الفرق الداخلية التفاعل مع الوكيل تمامًا كما سيعمل في الإنتاج، بينما تظل المطالبات والأدوات والحواجز الوقائية الأساسية غير قابلة للتغيير. وهذا يجعل تطبيقات الوكيل مثالية لاختبار قبول المستخدم، والعروض التوضيحية لأصحاب المصلحة، والمساعدين الداخليين، لأن فرق المنتج والمنصة تحتفظ بالتحكم في التكوين مع الاستمرار في منح الآخرين طريقة آمنة لتجربة سير العمل القائم على الوكلاء.

كيف تعمل الحواجز الوقائية، وفحوصات السلامة، وضوابط معلومات التعريف الشخصية (PII) من البداية إلى النهاية؟

تعمل الحواجز الوقائية في بوابة TrueFoundry للذكاء الاصطناعي على مسارات الإدخال والإخراج لتوفير دفاع متعمق. قبل أن يصل الطلب إلى النموذج، يمكن للحواجز الوقائية للإدخال مسحه ضوئيًا بحثًا عن البيانات الحساسة مثل معلومات التعريف الشخصية (PII)، أو أنماط حقن المطالبات، أو الموضوعات غير المسموح بها، ثم حظر المطالبة أو تنقيحها أو تحويلها بناءً على سياساتك. بعد أن يولد النموذج استجابة، تقوم الحواجز الوقائية للإخراج بتقييم المحتوى مرة أخرى بحثًا عن السمية، أو التحيز، أو الهلوسات، أو انتهاكات السياسة، أو تسرب البيانات العرضي، وتقرر ما إذا كانت ستعيد الاستجابة أو تعدلها أو ترفضها.
‍
يمكن للبوابة الاتصال بخدمات السلامة والامتثال الحالية مثل OpenAI Moderation، و AWS Guardrails، و Azure Content Safety، و Azure PII detection، كما تدعم القواعد المخصصة المكتوبة كتكوين أو كود بايثون. نظرًا لأن الحواجز الوقائية يتم تكوينها مركزيًا وتطبيقها بشكل متسق عبر جميع النماذج والتطبيقات التي تمر عبر بوابة الذكاء الاصطناعي، تحصل فرق الأمن والامتثال على طريقة يمكن التنبؤ بها لفرض سياسات المؤسسة لاستخدام الذكاء الاصطناعي التوليدي، بما في ذلك في البيئات المنظمة مثل الرعاية الصحية، والخدمات المالية، والتأمين.

ما هي إمكانيات المراقبة، والتتبع، والتصحيح التي توفرها بوابة الذكاء الاصطناعي؟

يتم تجهيز كل طلب يمر عبر بوابة TrueFoundry للذكاء الاصطناعي بأدوات قياس حتى تتمكن من رؤية كيفية تصرف أعباء عمل الذكاء الاصطناعي التوليدي لديك بالضبط. تعرض طرق عرض المراقبة مقاييس مجمعة مثل إجمالي الطلبات، ورموز الإدخال والإخراج، والتكلفة، مقسمة حسب النموذج، والفريق، والمستخدم، والعميل، والبيئة، أو أي بيانات وصفية أخرى تختار إرفاقها. يتم تتبع الأداء باستخدام زمن الانتقال P99 و P90 و P50، وزمن الوصول إلى الرمز الأول، وزمن الانتقال بين الرموز، حتى تتمكن من تحديد النماذج أو المسارات التي تسبب تباطؤًا أو أخطاءً بسرعة.
‍
للتصحيح الأعمق، توجد طريقة عرض على مستوى الطلب تتيح لك فحص المكالمات الفردية، ورؤية المطالبة والاستجابة الكاملة، وفهم كيفية تطبيق التوجيه، وآليات التراجع، والحواجز الوقائية. بالنسبة لسير العمل القائم على الوكلاء باستخدام الأدوات و MCP، يمكن للبوابة التقاط آثار تظهر كل خطوة اتخذها الوكيل، والأدوات التي استدعاها، وكيف تدفقت النتائج الوسيطة عبر النظام. يتم أيضًا عرض كل هذه السجلات والمقاييس عبر واجهات برمجة التطبيقات (APIs)، بحيث يمكن لفرق المنصة والمراقبة بناء لوحات معلومات وتنبيهات مخصصة في مكدسات المراقبة الحالية لديهم.

كيف يتم تكوين وأتمتة السياسات، وحدود المعدل، وآليات التراجع، والميزانيات؟

تتيح لك بوابة الذكاء الاصطناعي (AI Gateway) تحديد قواعد الموثوقية والحوكمة كتكوين بحيث يمكن تطبيقها بشكل متسق وتلقائي. يمكن تحديد حدود المعدل لكل فريق أو مستخدم أو نموذج أو تطبيق أو بيئة، مما يضمن عدم استنزاف أي مستهلك واحد للقدرة أو تجاوز الإنفاق. يمكن تعيين الميزانيات والحصص، فعندما يتجاوز الاستخدام عتبات معينة، يتم تقييد الطلبات، أو تخفيضها إلى نماذج أرخص، أو حظرها، اعتمادًا على قواعد عملك. يمكن لسياسات موازنة التحميل توجيه حركة المرور بناءً على أوزان ثابتة، أو زمن انتقال مقاس، أو أولوية، بينما تصف سلاسل التراجع تسلسل النماذج التي يجب تجربتها عند حدوث أخطاء أو مهلات.
‍
يمكن إدارة كل هذه الضوابط من خلال واجهة المستخدم أو الإعلان عنها في YAML وتطبيقها عبر واجهة سطر الأوامر (CLI) الخاصة بـ TrueFoundry، مما يتيح سير عمل GitOps حيث يعيش تكوين البوابة جنبًا إلى جنب مع رمز التطبيق وتعريفات البنية التحتية. بالاقتران مع التخزين المؤقت، والتجميع، وإدارة مفاتيح API المركزية، تسمح هذه الميزات لفرق المنصة بمعاملة بوابة الذكاء الاصطناعي كمكان واحد يحددون فيه كيفية استخدام الذكاء الاصطناعي التوليدي (GenAI)، ومقدار ما يمكن إنفاقه، وكيف يجب أن تتصرف التطبيقات في حالة الفشل—دون إجبار فرق التطبيقات الفردية على إعادة تنفيذ هذه المخاوف مرارًا وتكرارًا.