MCPゲートウェイとランタイムガードレールによるエンタープライズAIセキュリティ

We conducted a webinar with the team at Palo Alto Networks with 400+ people joining from different regions and functions. Our goal at TrueFoundry was always to create infrastructure that supports your GenAI stack and we decided to pick up security as our next milestone. In this blog, we distill down all important key factors that we discussed and learnt during the webinar and boil it down to some key factors which will help you make decisions on scaling AI initiatives across your company. It’s a quick 6-7 min read, and also serves as a practical guide on AI Security that you can share with security leaders, platform teams, and AI builders.

From packets to prompts: the new perimeter is context and identity

Traditional security assumed that if an adversary couldn’t pass your firewall, they can't reach your sensitive data. Today, an engineer can paste snippets of source code into a chat to “fix a bug” and walk sensitive IP straight out the door, without any firewall being touched. In this world, context and identity become the new perimeters: who is asking, what are they asking for, and what data and tools are being pulled into that context?

It’s a fundamental shift in the threat model. Instead of blocking ports or hardening endpoints alone, we have to secure the language interface to systems and data, and everything that language can cause the system to do.

Why AI security feels different now?

Four failure modes show up first for most teams:

• Prompt injection & context tampering. Hidden instructions may be embedded in support tickets, SharePoint pages, lengthy chat histories, or retrieved documents and treated as valid context.‍
• Data leakage (exfiltration): Sensitive text can appear in prompts or outputs which includes PII, secrets, internal plans, even training artifacts.‍
• Toxic/off-brand content: Generations that fail company policy or brand guidelines.‍
• Confident hallucinations: Plausible-sounding but wrong assertions that drive real decisions.
  

If you want to learn more, OWASP's AI Top 10 is a solid map. In practice we have seen these four areas are where most programs begin. 

What attendees told us live

We ran quick polls during the session. The top concern, by a wide margin: data leakage/exfiltration, followed by prompt injection and lack of observability into model and agent behavior. That aligns with what we see in enterprise rollouts: if you secure inputs and outputs first, and then make every interaction traceable, you have mostly covered what's needed for AI security

The five pillars of safe AI adoption

Here’s the short checklist we’ve seen work across industries:

• Authentication & Access Control: Don’t collapse everything behind a single shared model key. Preserve user/service identity end-to-end. Rotate keys. Avoid shared tokens.
  
• Input guardrails: Catch prompt injection, context tampering, and untrusted sources before they reach the model.
  
• Output guardrails: Block PII leaks, sensitive data egress, and toxic/off-brand text. Enforce “answer only if grounded in approved sources” for regulated workflows.
  
• Full observability: Trace every request: user identity, tool calls, model choice, parameters, cost, and guardrail decisions. No more shadow usage.
  
• Cost control & loop breakers: Agents can spiral out. Impose per-user and per-app budgets, loop detection, and hard circuit breakers. Reduce the blast radius from “one bad prompt.”
• Supply chain checks: Only use models and connectors you trust. Open-source isn’t automatically safe—check what you’re pulling before it runs in prod.

Why MCP raises the stakes

Now, LLMs no longer just talk—they can act. With the Model Context Protocol (MCP), agents discover tools and perform actions across GitHub, Jira, Slack, cloud APIs, internal systems, and more. That makes MCP a huge accelerator for developer productivity and a new class of risk. A poorly scoped agent can close 500 tickets overnight, exfiltrate data, or delete a branch because a sneaky instruction slipped in during a retrieval step.

Now you can see how the shift goes from “wrong answer” to “unauthorized actions”. Tools multiply both value and risk, so changes must be made to accommodate these.

Key Metrics for Evaluating Gateway

Criteria	What should you evaluate ?	Priority	TrueFoundry
Latency	Adds <10ms p95 overhead for time-to-first-token?	Must Have	✅ Supported
Data Residency	Keeps logs within your region (EU/US)?	Depends on use case	✅ Supported
Latency-Based Routing	Automatically reroutes based on real-time latency/failures?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported

MCP Gateway Evaluation Checklist

A practical guide used by platform & infra teams

What are the points to take care in an AI Gateway

When MCP enters the picture, elevate your baseline in these areas:

• Authentication & Authorization for MCP servers (who are you, what can you do).
  
• Granular access control (tool and operation level).
  
• Guardrails (input/output and tool-use policies).
  
• Observability (trace, attribute, audit).
  
• Rate limiting & quotas (per-user/app loop breakers).
  
• Supply chain security (vetted servers, signed artifacts, pinned versions).

Lets dig deep into some less talked about factors

• Guardrails in the traffic path:
  The gateway sits between agents and tools/models and applies guardrails on both input and output. You can scope policies per user, per app, per model, per team, or via metadata. Typical checks:
  • Input: prompt injection, role escalation inside long conversations, malicious URLs/code in retrieved context.
    
  • Output: DLP masking (SSNs/cards/tokens), toxicity and topic policies, grounding checks for regulated answer
  ‍
• Observability: trace, attribute, audit:
  Without attribution and decision logs, you can’t investigate or prove enforcement. The AI gateway emits end-to-end traces (identity, prompt metadata, model parameters, every tool call with params/results, guardrail rule hits/decisions, and costs). Use the dashboards to answer:
  
  • Which agent is hammering code_executor—valid workload or malicious prompt?
  • Why did ask_bot latency jump to 20s—API slowdown or recursive loop?
  • Why is one tool eating 80% of calls—is it business-critical or just over-privileged?
    
    
• Rate limiting & budgets: loop breakers by design:
  Agents can spiral. Treat budgets and QPS as security controls:
  
  • Per-user/app/tool quotas and per-minute caps to contain blast radius.
  • Loop detection to trip a breaker on repeating patterns.
  • Stricter caps for sensitive services (payments, customer data).
    ‍
• Supply-chain integrity for MCP and models:
  If you don’t vet servers, a “Slack MCP” could be a malicious package quietly shipping out chat logs, which is why organizations increasingly rely on AI code security tools alongside governance controls. Auto-updates can pull tampered versions. The governance answer is a vetted/curated registry, pinned versions, and signed artifacts—plus model scanning and red-team runs before production.  
  

How TrueFoundry and Palo Alto helps you secure your GenAI infrastructure

Agents are most useful when they can call tools to get real work done. MCP standardizes how agents discover and invoke those tools. But power demands control. Our recommended pattern is a two-layer design:

• AI Gateway (control layer): The central place for routing, access control, rate limiting, key management, observability, and guardrails. This is the single proxy layer that all agent/model/tool traffic flows through. This is also where you centralize MCP server auth modes—No Auth (demo), Header/Bearer, and OAuth (Slack/GitHub/Atlassian), so every team doesn’t solve auth over and over.
  
• Security (validation layer): Runtime inspection, AI posture management, model scanning, and red-teaming, delivered via Palo Alto Networks Prisma AIRS, integrated inline with the gateway.

But why split control and validation?

Putting control in one place gives platform teams a great developer experience (one endpoint, unified SDKs, self-serve onboarding). Putting validation in its own layer gives security teams deep hooks and evidence (guardrail verdicts, DLP masking, URL/code inspection, and posture checks) without blocking developer velocity.

Three-layer authorization

Our CTO Abhishek walkthroughs a simple model for MCP authorization within TrueFoundry's AI Gateway:

1. Who are you? The gateway verifies the human or service identity (e.g., via your IdP token) at ingress.
   
2. What can you do? The gateway enforces policy to the specific MCP server and tool/operation (“read PRs”/“comment PRs,” but “no branch delete”).
   
3. How do we prove it downstream? The gateway does token translation to exactly what the target server expects (swap to Slack/GitHub OAuth, or a short-lived header token).
   

This “3-layer authN/Z” pattern removes one-off secrets, keeps attribution, and prevents over-privileged bots from doing irreversible damage.   
Example: A PR-review agent can list PRs and leave comments, but AI gateway policy denies branches.delete even if a prompt tries “also delete main after summarizing.” The denial—and the identity behind the attempt—are logged. 

Virtual MCP servers

We also covered what are virtual MCP servers. In short, don’t hand agents the entire Jira/GitHub/Confluence catalogs. Compose a Virtual MCP that exposes just what the workflow needs—for instance: Jira.create_issue, GitHub.create_pr, and Confluence.search_docs as a single Engineering MCP endpoint. You get cleaner prompts, faster approvals, and a smaller blast radius by design. 

What the MCP gateway gives you

The best MCP gateways エージェントとツールの間でポリシー対応の交換台として機能します。

• 検出とアクセス制御を一元的に行える場所。 MCPサーバーを一度登録するだけで、誰がどのツールにアクセスできるかを強制します。
  
• ツールレベルの権限と厳選されたレジストリ。 アプリまたはチームごとに、許可されたツールインターフェースのみを表示します。
  
• スマートなツール選択。 多数のツールを単一のプロンプトコンテキストに渡さないでください。
  
• グローバルなレート制限とクォータ。 ループやコストの暴走を抑制します。
  
• ツールとモデル全体にわたる統合されたトレーシング。 すべてのアクションを人間またはサービスIDに帰属させ、どのポリシーがどこで発動したかの証拠を伴います。
  

「MCPゲートウェイなし」と「MCPゲートウェイあり」を比較すると、その違いは歴然としています。特注の接続が減り、中央集権的な認証フロー、一元化された認証情報管理、エンタープライズグレードの監査証跡、そして管理されていないスクリプトの拡散ではなく、審査済みのサーバーカタログが提供されます。

Palo Alto Prisma AIRSがゲートウェイ層内でガードレールをどのように強化するか

• ランタイムセキュリティ： プロンプトインジェクション、悪意のあるURLやコード、有害なコンテンツ、エージェント固有の脅威などについて、プロンプトと出力を検査します。DLPポリシーとマスキングをリアルタイムで適用します。
  
• AIセキュリティポスチャ管理（AI-SPM）： 設定ミスを早期に発見し、モデルおよびエージェントサービスのベストプラクティスを適用します。
  
• レッドチーム演習AIネイティブなワークフローのペネトレーションテストを行い、ポリシーの有効性を測定します。
  
• モデルスキャン: モデルファイル自体に内在する脆弱性（逆シリアル化、バックドア、マルウェアなど）を検出します。
  
• エージェントのセキュリティ: エージェント間でのツールの悪用や通信の汚染を監視します。
  

アプリケーションごとに安全プロファイルを調整してレイテンシーと保護のバランスを取ることができ、すべての決定は監査目的でログに記録されます。

デモを簡単に見てみる

チームメイトの未解決のプルリクエストを一覧表示し、Slackで通知するエージェントをデモンストレーションしました。トレースには、ツール呼び出し、モデルの推論、タイミング、そして途中のガードレール決定など、各ステップが示されます。ダッシュボードは、どのツールが最も多くの呼び出しを消費しているか、レイテンシーの急増、ループのような動作を強調表示します。それが、 エージェントが安全であることを願うこと と、それが安全であることを知っていることとの違いです。 詳細については、ブログの後半に添付されているYouTubeリンクからご覧いただけます。

ライブで回答した質問

「通常のAPIゲートウェイを使えばいいのでは？」
AIワークロードには、ツールごとのトークン変換、ツールレベルのRBAC、入出力ガードレール、豊富な監査/追跡機能、スマートなツールルーティングといった新たな要件が加わるためです。従来のゲートウェイは、プロンプト、トレース、モデル/ツールのセマンティクスについて何も知りません。

「ChatGPTやクラウドIDEのような既存のツールも監視できますか？」
ツールがプロキシまたはカスタムモデルのエンドポイントを設定できる場合、ゲートウェイ経由でルーティングし、そこでガードレール/可観測性を適用します。そのような制御を公開していない場合、中間に透過的な検査を追加することはできません。

「有害なファインチューニングを避けるにはどうすればよいですか？」
データに注意してください。PII（個人識別情報）と機密情報を除外します。取り込むすべてのベースモデルの出所を検証します。トレーニング前にモデルファイルに隠された動作がないかスキャンします。

「開発者向けSDKはありますか？」
標準のMCPクライアントはすぐに使用できます。Prisma AIRSはサーバーとSDKを公開しており、ゲートウェイはPython/TypeScriptおよび一般的なエージェントフレームワーク向けのコピペ用スニペットを提供します。 

全セッションを見る

見逃した方、またはプラットフォームチームやセキュリティチームに情報共有したい方は、こちらの録画をご覧ください。
YouTube: https://youtu.be/hWNV2v3C8SA

ぜひお試しいただき、ご相談ください

1ヶ月間のトライアルをご提供しています。 MCP Gateway—SaaSまたはセルフホスト型でご利用いただけます。コスト、レイテンシー、ガードレールプロファイルを調整するための30分間のアーキテクチャレビューをご希望でしたら、喜んでお手伝いさせていただきます。提供内容：

• 無料セットアップとオンボーディング
  
• サポート用のプライベートなSlack/Teamsチャンネル
  
• アプリケーションに合わせてカスタマイズされた可観測性ダッシュボードとガードレールプロファイルへのアクセス
  

ご参加いただき、AIセキュリティの発展を推進してくださったPalo Alto Networksチームの皆様に心より感謝申し上げます。

よくある質問

エンタープライズAIセキュリティとは何ですか？

エンタープライズAIセキュリティとは、プロンプトインジェクションやデータ抜き出しといった特殊な脅威からAIモデルと企業データを保護するために設計された、プロトコル、ツール、ポリシーからなる多層的なフレームワークです。モデルのインタラクションが安全かつコンプライアンスに準拠していることを保証するため、厳格なアクセス制御とリアルタイム監視の実装が含まれます。TrueFoundryはこれらの要件を単一のコントロールプレーンに集約することで、アーキテクチャの複雑さを増すことなく、様々なモデルや内部システムにわたるセキュリティ管理を可能にします。

エンタープライズにとってAIセキュリティが重要なのはなぜですか？

エンタープライズAIセキュリティを維持することは、機密性の高い個人情報（PII）や知的財産が外部のモデルプロバイダーに誤って公開されるのを防ぐ上で極めて重要です。専用のセキュリティレイヤーがなければ、組織は規制違反のリスクや、自律型エージェントを危険にさらす可能性のある敵対的攻撃に対する脆弱性に直面します。TrueFoundryは、AIスタック全体をプライベートVPC内にデプロイすることでこれらの懸念に対処し、データの所在が維持され、すべてのツール呼び出しが完全に監査可能で統制されていることを保証します。

MCPゲートウェイランタイムガードレールは、エンタープライズAIセキュリティにどのように役立ちますか？

包括的なエンタープライズAIセキュリティ戦略において、MCPゲートウェイランタイムガードレールは、すべてのインタラクションをリアルタイムで検査するプロアクティブな防御レイヤーとして機能します。これらのガードレールは、機密情報を自動的に編集し、悪意のある入力をモデルや内部バックエンドシステムに到達する前にブロックします。TrueFoundryのゲートウェイは、これらのガードレールを使用してツール使用に対するきめ細かい権限を適用し、エージェントが安全で事前に定義された境界内で動作することを保証する動的な保護レイヤーを提供します。