エンタープライズ AI プラットフォーム RFP

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
エンタープライズ AI プラットフォーム RFP
2026年にすべてのベンダーに質問すべき 50 の項目
エンタープライズ AI プラットフォームの評価は、予測可能なパターンで失敗します。ベンダーのデモは、調整されたテストプロンプトに対して実行されます。料金プランのスライドでは、実際のワークロードと一致しない「1回の呼び出しあたり 5,000 トークン」という前提が使用されています。提示されるセキュリティアーキテクチャ図は、依頼していないデプロイモードのものです。主張されている MCP 機能は「次のリリースで利用可能」となっています。6 週間後、自社の要件に 70% しか適合しない製品の契約に署名することになり、プラットフォームチームは契約期間中、残りの 30% をカスタム作業で埋めることに費やすことになります。
スコア付き RFP はこの状況を変えます。デモが実行される前に、すべてのベンダーが同じ質問に文書で回答します。彼らの「不回答」(質問の回避、「統合パートナーが必要」な機能、範囲の質問で破綻するコンプライアンスの主張)は書面による記録として表面化し、その後のコールで言い逃れすることはできません。同じ記録が、署名後の現実が署名前の売り込みから逸脱し始めた際にベンダーの責任を追及する手段となります。これは、1年目の更新時に最もよく見られる調達上の不満です。
3つの要素が、このテンプレートを一般的なエンタープライズ調達フレームワークを超えたものに引き上げています。第1に MCP ガバナンス。これは AI エージェントがツールと通信するために使用するプロトコルスタックであり、ほとんどの AI ゲートウェイ製品では、設計時に想定していなかったアクセス制御を後から付け足している段階にあります。第2に エージェント AI 制御。トレースの相関関係、コストの割り当て、分離境界により、マルチステップのエージェントタスクを、断片化した LLM 呼び出しの霧ではなく、デバッグ可能で請求可能、かつ管理可能なユニットに変えます。第3に AI 特有のコンプライアンス。これには、LLM 呼び出しとツール呼び出し間の監査ログフィールドの同一性、地域をまたぐモデルプロバイダーのルーティングを考慮した構造化されたデータレジデンシー回答、および HIPAA の適用を書面だけでなく実質的なものにする BAA アーキテクチャ制御が含まれます。
これを設計の出発点として活用してください。貴社の環境に合わせて重み付けを調整してください。最終候補に挙がったすべてのベンダーに同じドキュメントを送付してください。TrueFoundry のソリューションチームは、フォーマルなエンタープライズ評価の一環として、エビデンスを添えて 50 の質問すべてに文書で回答する体制を整えています。
それでは、質問自体に進みましょう。

図1. スプリットプレーンリファレンスアーキテクチャ: コントロールプレーンとコンピュートプレーンがメタデータのみの境界によって分離され、1つの IdP が両方にアイデンティティを提供。
この RFP テンプレートを効果的に活用する方法
質問そのものよりも、実行順序が重要です。失敗する評価のほとんどは、ステップ1(ベンダーによるデモの実行を許可する前に、テンプレート全体に対する書面による回答を入手すること)をスキップしています。デモは書面による主張を検証するためのものであり、要件を探索するためのものではありません。機能に関するベンダーからの最初の説明がスライドによるものである場合、評価の主導権をベンダーに渡してしまっています。
最終候補のすべてのベンダーにこのテンプレートを同時に送信し、2週間後の書面回答期限を設定します。回答を使用して、重み付けされたルーブリックに基づいてスコア化します。スコア化を行った後にのみデモを予約し、そのデモにおけるプラットフォームチームの役割は、書面の内容と実際に稼働している内容が一致しているかを検証することです。デモで表面化したものの書面回答に含まれていなかった主張は、高く評価すべき機能ではなく、調査すべき発見事項として扱ってください。
これを適切に運用するためのいくつかの具体例:
- 推奨されるスコアの重み付け。 セキュリティとコンプライアンスに 25%(規制の厳しい環境の多くで譲れない項目)。デプロイとインフラストラクチャに 20%(プラットフォームが自社環境で動作可能かどうかを決定)。AI ゲートウェイと LLM ガバナンスに 20%。MCP とエージェント AI ガバナンスに 20%(2026年における差別化機能であり、多くのベンダーが苦労するセクション)。可観測性とコスト管理に 15%。優先順位が異なる場合は調整してください。FedRAMP に準拠する必要があるチームはセキュリティの重みを高く設定し、年間 200 万ドルの LLM 費用に対して FinOps を最適化するプラットフォームチームはコスト管理の重みを高く設定することになるでしょう。
- 曖昧な回答への対応方法。 すべてのコンプライアンス表明に対してエビデンス(SOC 2 Type II レポート、HIPAA BAA テンプレート、最近のペネトレーションテストのサマリー)を要求します。「将来のリリースで利用可能」という回答は、日付が契約上コミットされていない限り、利用不可として扱います。「サードパーティ統合により利用可能」という回答は、その統合が事前構築され、ベンダーによって維持されている場合を除き、利用不可として扱います。
- RFP 回答におけるレッドフラグ(危険信号)。 次の点に注意してください: 直接回答せずにドキュメントを指し示す回答。具体的な制御の説明がない「エンタープライズ対応」という主張。スコープの明確化がないコンプライアンス認定の言及(SOC 2 は SaaS マルチテナントデプロイ、オンプレミスデプロイ、あるいはその両方をカバーしているか?)。MCP やエージェントガバナンスの質問に対して、代わりに LLM の可観測性を説明して回答しているケース。最後のケースは特に顕著です。ベンダーがセクション 5 について語ることでセクション 4 に回答している場合、そのベンダーは MCP ゲートウェイを保持していません。
ベンダーのコンプライアンススコープが、使用する予定のない SaaS オプションのみをカバーしていたセキュリティレビューを経験したことがあるなら、評価基準のステップをスキップするコストを理解できるはずです。スコア付き RFP を実施することで、契約前にそうした詳細を明らかにできます。
セクション 1: セキュリティとコンプライアンス(10 項目)
セキュリティとコンプライアンスは、ほとんどの AI プラットフォームの評価が 2 回目の会議で破綻する部分です。ベンダーに認証が欠けているからではありません。ほとんどのベンダーはどこかで SOC 2 Type II を取得しています。失敗のモードは「適合性」です。認証のスコープ、それを実装するアーキテクチャ上の制御、および実際に購入しようとしているデプロイモードが一致していないのです。ベンダーのマーケティングポータルをカバーする SOC 2 は、オンプレミスで PHI を処理する AI ゲートウェイには何の役にも立ちません。テンプレート形式で存在するものの、データプレーンで PHI がどのように分離されているかを説明していない BAA は、制御ではなく単なる書類です。以下の質問は、認証スコープとアーキテクチャ上の現実との整合性を強制し、「認証済みである」という回答が不当な重みを持たないようにします。
早い段階で指定しておくべきもう 1 つの失敗モードは、セキュリティの質問に対して抽象的に回答するベンダーです。なぜなら、彼らの具体的なアーキテクチャは、異なる制御姿勢を持つ 2 つの製品に分かれているからです。彼らのオンプレミス版は機能が乏しく、個別に認証されていません。SaaS 版は認証を取得していますが、自社環境には適合しません。デプロイモードを毎回指定して、同じ質問を 2 回行うことで、これを見破ることができます。回答が異なる場合、1 つとしてマーケティングされている 2 つの製品を見ていることになります。
このセクションは厳格に評価してください。
- プロンプトの内容、モデルの応答、監査ログを含む顧客データが、顧客のクラウドアカウントから一切外部に出ない、オンプレミスまたは VPC 隔離デプロイをプラットフォームはサポートしていますか? ベンダーインフラストラクチャへの送信接続を必要とするすべてのコンポーネント(テレメトリ、ライセンス、更新の取得)を挙げて、デプロイアーキテクチャを説明してください。送信接続が切断された場合に、プラットフォームの機能に何が起こるかを説明してください。
アーキテクチャにおける「VPC 隔離」の真の意味。
データプレーン(プロンプト、モデル応答、埋め込み、MCP ツール呼び出しを処理するプロキシ)がすべて顧客の VPC 内で動作し、リクエストペイロードのためにベンダーのインフラストラクチャへのアウトバウンド接続を一切確立しないスプリットプレーンデプロイメント。コントロールプレーン(構成、RBAC 設定、ダッシュボード)は、デプロイモードに応じてベンダーのインフラストラクチャまたは顧客のインフラストラクチャで実行される場合がありますが、メタデータのみを交換します。監査ログ、プロンプト・応答データ、および埋め込みは、ベンダーが管理するデータベースではなく、顧客が管理するブロブストレージ(S3、GCS、Azure Blob)に保存されます。ベンダーの「VPC デプロイメント」が依然としてプロンプトをベンダー管理のログアグリゲーターに送信している場合、それは異なるラベルが貼られた SaaS デプロイメントに過ぎません。
- プラットフォームは SOC 2 Type II 認定を受けていますか? 対象となるサービスの範囲が明確に特定された最新の監査レポートを提供してください。認定がオンプレミスデプロイメントオプションをカバーしているか、それとも SaaS 製品のみをカバーしているかを明記してください。多くのベンダーは一方の SOC 2 認定を受けていても、もう一方の認定は受けていません。レポートを見れば明らかになります。
レポートの読み方。
「システム記述」セクションで、対象となるデプロイモードが明示的に記載されているか確認してください。「[クラウド] でホストされているマルチテナント SaaS 環境」という表現と、「顧客がデプロイするゲートウェイおよびコントロールプレーンコンポーネント」という表現の比較を探します。記述に一方しか指定されていない場合、認定は一方のみをカバーしています。カバーされているトラストサービス規準を確認してください。セキュリティは基本ですが、規制対象データを扱う AI ワークロードでは、利用可能性、機密性、および処理の完全性が重要となります。セキュリティのみをカバーする SOC 2 は、全体の一部でしかありません。
- プラットフォームは HIPAA に準拠したデプロイをサポートしていますか? 事業提携協定(BAA)は利用可能ですか?また、エンタープライズ評価の一環としてベンダーが提供するコンプライアンスドキュメントは何ですか? 単に BAA が存在することだけでなく、PHI の露出を防ぐアーキテクチャ制御(データ分離境界、暗号化要件、監査ログ処理)について説明してください。強制力のある制御を伴わない署名済み BAA はリスクでしかありません。この点については徹底的に追及してください。
- API クレデンシャル、モデルプロバイダーキー、およびサービスアカウントトークンはどのように管理されますか? それらはベンダーインフラストラクチャ、顧客インフラストラクチャ、あるいは AWS Secrets Manager、HashiCorp Vault、Azure Key Vault などの顧客管理シークレットマネージャーのどこに保存されますか? 侵害されたクレデンシャルのローテーションプロセスと、ローテーション要求から反映されるまでの最大時間を説明してください。
適切な統合の姿。
プラットフォームは、ゲートウェイの起動時またはオンデマンドで、顧客管理の IAM ロールを使用して顧客の Vault または Secrets Manager からモデルプロバイダーキーを取得し、プラットフォーム構成にはキー参照(キー値ではない)を保存します。ローテーションは Vault の操作となります。Vault 内のキーを書き換えると、ゲートウェイは次の読み取り時または設定可能な更新間隔で新しい値を取得します。プラットフォームは休止状態のプロバイダーキーを永続化することはありません。ベンダーの回答が「管理 UI にキーをアップロードすると、暗号化されて保存されます」というものである場合、それは異なる(そしてより脆弱な)セキュリティモデルです。「VPC」デプロイであっても、キーはベンダーのインフラストラクチャ内に存在することになります。
- プラットフォームは、エンタープライズ SIEM と互換性のある形式(JSON、CEF、Syslog)で構造化監査ログを生成しますか? すべてのフィールドにラベルが付けられた LLM 推論呼び出しのサンプルログエントリを提供してください。MCP ツール呼び出しについても同等のサンプルを提供してください。両者はフィールドの範囲において同等である必要があります。MCP ログが不十分な場合、それは MCP ガバナンスが不可欠な要素として設計されているのではなく、後から付け足されたものであることを示しています。
フィールドの同一性が実際にどのように見えるか。適切な LLM 推論ログエントリには、おおむね以下のフィールドが含まれます:
MCP ツール呼び出しログは、共有次元(タイムスタンプ、request_id、trace_id、ユーザー、アプリケーション、latency_ms、ステータス、ポリシー決定)に加えて、ツール固有のフィールドについてフィールドの同一性を保持する必要があります:
両方に同じ trace_id が含まれていることに注目してください。LLM 呼び出しと MCP 呼び出しは 1 つのユーザーリクエストに関連付けられており、これがセクション 4 の質問 8 に対する具体的な回答となります。パラメータをそのままログに記録するのではなく、ハッシュ化します。規制された環境では、パラメータの完全なログ記録はデータ漏洩のリスクとなります。ベンダーのサンプル MCP ログに policy.decision、trace_id、またはユーザー帰属情報が含まれていない場合、MCP ガバナンスは事後レポートであり、強制力のある制御ではありません。

図 2. 監査ログデータフロー: LLM 推論イベントと MCP ツール呼び出しイベント間のフィールド同一性。どちらも 1 つの trace_id によって相関。
- 監査ログの顧客設定可能な保持ポリシーとはどのようなものですか? 顧客はログタイプ(認証イベント、モデル推論、MCP 呼び出し、管理者アクション)ごとに保持期間を指定できますか? VPC 分離デプロイではログはどこに保存され、ベンダーはそれらに対するアクセスパスを持っていますか?
- プラットフォームのデータストア(構成データベース、監査ログストア、可観測性およびトレースデータ、モデルアーティファクト、および任意のベクトルインデックス)全体で、保存データがどのように暗号化されるかを説明してください。どの暗号化キーが顧客の管理下にありますか? 顧客デプロイ(セルフホスト)モードでは、顧客はプラットフォームデータを保護する暗号化キーとして、クラウドプロバイダー固有のキー管理サービス(AWS KMS、Azure Key Vault、GCP KMS)を使用できますか? ベンダー管理のキーによる暗号化がデフォルトであり、顧客管理のキーはアップグレードとなります。
この質問が見た目以上に重要である理由。
「保存時の暗号化」は一般的です。誰のキーが暗号化を行っているかが実際の制御となります。セルフホストデプロイメントでは、データストアが顧客のアカウント内にあるため、顧客管理キーの利用が可能です。SaaS デプロイメントでは、顧客管理キーは設計に組み込まれるべきベンダー側の機能となります。デプロイモードを明記した上で、質問を行ってください。
- プラットフォームのサードパーティによるセキュリティ評価の取り組みについて説明してください。過去 12 か月間にプラットフォームが受けた独立したセキュリティレビュー(ペネトレーションテスト、コード監査、セキュアアーキテクチャレビュー)と、エンタープライズ評価の一環として提供されるエビデンスは何ですか? 90 日経過後も解決されていないオープンな指摘事項については、その理由と修復タイムラインを文書で説明する必要があります。
- 脆弱性の開示とパッチ管理プロセス(顧客デプロイへのクリティカルなセキュリティパッチの適用に関する SLA を含む)について説明してください。セルフホストデプロイの場合、パッチが顧客環境にどのように届き、誰がパッチの適用に責任を持つかを説明してください。
要求すべきパッチ SLA ティア(エンタープライズプラットフォームの業界標準):
セルフホストデプロイの場合、「パッチ提供開始」とは、顧客のプラットフォームチームがデプロイできるタグ付きリリースを意味します。「顧客適用期間」は、顧客が社内で契約する SLA です。ベンダーがクリティカルな CVE に対して 30 日間の顧客適用期間を提案している場合、それは過度に長い露出期間となるため、見直しを求めてください。
- 各デプロイモードにおいて、顧客データは物理的にどこに保存され、処理されますか? 利用可能なデータレジデンシーオプション(米国、EU、特定国)を一覧表示し、フェイルオーバーやメンテナンス中に顧客データが選択した地域外で処理されるのを防ぐ制御について説明してください。SaaS デプロイの場合は、関与するサブプロセッサー(クラウドプロバイダー、可観測性ベンダー、サポートツール)を明記し、最新のサブプロセッサーリストを提供してください。
セクション 2: デプロイとインフラストラクチャ(8 項目)
エンタープライズ調達の大部分は、デプロイメントの段階で破綻します。プラットフォームは SaaS デモでは優れて見えますが、その後のセキュリティレビューで 3 つの問題が浮き彫りになりブロックされます。テレメトリのためのベンダーインフラへの送信接続、ベンダークラウドでホストされる構成データベース、そして特定のクラウドリージョンに強力に結合されたコントロールプレーンです。これらの制約が明確になる頃には、すでに誤った製品で価格交渉を進めてしまっており、前進するための道は、サンクコストの立場から再交渉するか、コンプライアンス上の負債を生み出すデプロイを受け入れるかのどちらかになります。
このセクションでは、デプロイメントに関する制約をあらかじめ表面化させます。これに明確に回答できるベンダーは、すでに貴社のような環境でデプロイを行った経験があるベンダーです。セクション 2 に回答するためにヒアリングを必要とするベンダーは実績がなく、費用を支払って参加するヒアリングで、貴社が統合エンジニアリングを行うことになります。
回答を注意深く確認してください。
- デプロイにおいてサポートされているクラウドプロバイダーとリージョンはどれですか? プラットフォームは任意の AWS、Azure、GCP リージョンで動作できますか、それとも地理的な制限がありますか? GovCloud、中国リージョン、ソブリンクラウドデプロイに対するサポート体制はどのようになっていますか?
- 単一の統合コントロールプレーン、統一されたコスト割り当て、および単一の監査ログストリームを使用して、複数のクラウドプロバイダー(AWS と Azure、または AWS と GCP)にわたってプラットフォームを同時に実行できますか? 「マルチクラウド」とは、場合によっては「3つのクラウドすべてをサポートするが、一度に1つのみ」を意味することがあります。これは、1つのオペレーターインターフェースで2つのクラウドにまたがるワークロードを実行することとは異なります。
- 本番環境でプラットフォームを実行するために必要な最小インフラストラクチャは何ですか? コンピュート、データベース、ネットワーク、ストレージの要件を含む、標準構成および高可用性構成のリファレンスアーキテクチャ図を提供してください。vCPU、GB RAM、永続ストレージボリュームで数量化してください。
VPC 分離型 AI ゲートウェイの HA リファレンスアーキテクチャに含まれる標準的な要素:
継続的な約 500 RPS 向けの概算サイズ: それぞれ 2 vCPU / 4 GB RAM のゲートウェイ複写 3〜4 個、100 GB SSD を備えた 4 vCPU / 16 GB RAM の Postgres、保持期間に応じてスケールされるブロブストレージ(10 KB/ログエントリ、500 RPS での 90 日間保持はおよそ 1.2 TB)。ベンダーは「ワークロードによる」ではなく、契約前にこのような数値を文書で提出する必要があります。

図 3. AWS、Azure、GCP、およびオンプレミスの Kubernetes 全体のコンピュートプレーンを同時に管理する 1 つのコントロールプレーン。それぞれ独自のデータレジデンシー境界を保持。
- 規定されている稼働率 SLA は何ですか? それは契約上の約束ですか、それとも目標値ですか? 定められた SLA を達成するために必要な高可用性構成と、その構成の責任が顧客とベンダーのどちらにあるのかを説明してください。
- プラットフォームの更新やアップグレードは、顧客のデプロイメント環境にどのように提供されますか? 顧客はアップグレードのスケジュールを制御し、検証のために特定のバージョンを維持し、リリースにより問題が発生した場合にロールバックすることができますか? SaaS リリースと同等のオンプレミスリリースとの間の標準的なラグはどれくらいですか?
- プラットフォームは、送信接続が制限または管理されているデプロイメントをサポートしていますか? 送信トラフィックが特定の宛先(社内エグレスプロキシ、モデルプロバイダーエンドポイントのみ)にホワイトリスト登録されている環境において、プラットフォームが機能するために必要な条件と、送信が制限されている場合に動作が異なる機能を説明してください。動作するものだけでなく、機能しないものについても具体的に記述してください。
- 規定されている障害復旧(DR)の体制はどのようなものですか? 各デプロイモード(SaaS、単一リージョンセルフホスト、マルチリージョンセルフホスト)における RTO と RPO の数値を提示してください。フェイルオーバープロセス、フェイルオーバーが自動かオペレーター主導か、および各シナリオにおけるデータ損失の境界について説明してください。RTO が 4 時間のプラットフォームは、アプリケーションが 4 時間停止するまでは問題ないように見えます。
エンタープライズグレードのプラットフォームに期待される DR 目標の目安:
マルチリージョンの本番環境セットアップにおいて、これより劣る仕様については文書による説明が必要です。小規模ベンダーによる「マルチリージョン非対応」は許容できますが、「対応しているが RTO は約束できない」というのは受け入れられません。
- 顧客は監査ログ、プロンプトと応答のペア、構成、可観測性データを含むすべてのデータを構造化フォーマットでエクスポートできますか? エクスポートメカニズム、サポートされているフォーマット(Parquet、JSON、CSV)、および顧客がプラットフォームから抽出できないデータがある場合はそのデータを説明してください。データの不透過性によるロックインは実在する問題です。
Section 3: AI Gateway and LLM Governance (9 Questions)
AI ゲートウェイの製品ページはどれも似たように書かれています。統合 API、インテリジェントルーティング、コスト管理、可観測性。それらの言葉の背景にある具体的な仕様こそが、本番環境で運用できるゲートウェイと、ランディングページを備えただけの薄いプロキシとを分ける要素です。「インテリジェントルーティング」は、2 つのモデル間の静的なラウンドロビンから、コスト上限、機能マッチング、フォールバックチェーンを備えた実質的なカスケードポリシーまで、多岐にわたる意味を持ち得ます。「コスト管理」は、昨日の請求額を表示するダッシュボードを意味することもあれば、チームが上限に達した際にアプリケーションに 429 エラーを確実に返す厳密なトークンバジェットを意味することもあります。
このセクションの質問は、その詳細を明確にすることを求めています。マーケティングコピーを再掲するような回答は却下してください。ルール言語、カスケード動作、エラー処理、バジェット統合の説明なしに「インテリジェントルーティングをサポートしています」と主張するベンダーは、ルーティング機能を保持していません。彼らが持っているのは設定フラグだけです。
アーキテクチャの実在を証明させてください。
- プラットフォームはどの LLM プロバイダーとモデルバージョンをサポートしていますか? 完全なリストを提示してください。新しいモデルがリリースされた際、プロバイダーリストはどのくらいの頻度で更新されますか? 新しいモデルが一般公開(GPT-5.5、Claude Opus 4.7、Gemini 3.1 Pro、Llama 4 Maverick)されてからプラットフォームでサポートされるまでの標準的なタイムラグはどれくらいですか? 数日、数週間、「来四半期」では回答の意味が大きく異なります。明確に質問してください。
- インテリジェントルーティング機能の詳細を説明してください。サポートされているルーティング条件(コスト、レイテンシ、機能、カスタムルール)は何ですか? ルーティングルールは、アプリケーションコードを変更することなく、チーム、アプリケーション、またはユースケースごとに構成できますか? ルーティングルールはカスケード実行(最初にモデル A を試行し、コストがしきい値を超えた場合はモデル B を試行し、モデル B が失敗した場合はモデル C を試行する)が可能ですか?
設定ファイルにおける実際のルーティングルールの例:
アプリケーションは、標準的な OpenAI 互換リクエストを送信します。ゲートウェイはルールに基づいてプロバイダーを選択し、障害発生時にはカスケードをフォールバックし、コスト帰属のために予算リファレンスを添付し、インラインでガードレールを適用します。ルートが再設定されても、アプリケーションコードを変更する必要はありません。ベンダーの「インテリジェントルーティング」がバリアントごとにアプリケーションレベルでの変更を要求する場合、それはゲートウェイレベルのルーティングではありません。単なるラッパーです。
- トークン予算とレート制限はどのように強制されますか?これらはユーザー、チーム、アプリケーション、およびモデルレベルで同時に適用されますか?予算はソフト(アラート)またはハード(ブロック)として設定できますか?ハード予算を超過した場合、アプリケーションはどのようなレスポンスを受け取りますか?構造化されたエラーメタデータを含むクリーンな 429 が正解です。500 やサイレントなスロットリングは不正解です。
- ゲートウェイは、レスポンス全体をバッファリングすることなく、ネイティブなストリーミングレスポンス(Server-Sent Events、OpenAI 互換のチャンクレスポンス)を返しますか?多くの「ゲートウェイ」製品は、検査のためにバッファリングを行うため、静かにストリーミングを破壊します。単なる機能のチェックボックスではなく、負荷下でのトークンレベルのレイテンシーでストリーミングを確認してください。
- ガードレールとポリシー強制のアーキテクチャについて説明してください。ガードレールは、コール前(モデルが入力を確認する前にブロック)、インライン(コール中)、またはコール後(レスポンス生成後)のいずれで適用されますか?ガードレールは Validate 専用(ポリシー違反時にブロック)または Mutate(書き換えまたは伏字化)が可能ですか?文書化された SDK またはテンプレートを使用して、カスタマーがカスタムガードレールを開発できますか?また、サポートの境界線はどのようになっていますか?
- プラットフォームは、設定可能な類似度閾値を持つセマンティックキャッシュをサポートしていますか?また、ユーザーごとまたはバーチャルアカウントごとにスコープを設定できますか?キャッシュヒット時はモデルコストゼロで返されるべきです。類似度スコアリングに使用される埋め込みモデルは何ですか?また、それはカスタマーが設定可能ですか、それともベンダー固定ですか?
- プロンプト、プロンプトテンプレート、およびシステムメッセージは、アプリケーションコードとは別に、バージョン管理および統制されたアセットとしてプラットフォーム上で管理されていますか?アプリケーションを再デプロイすることなく、本番環境でプロンプトバージョンを A/B テストできますか?Prompt-as-Config(設定としてのプロンプト)は、モデルの動作の反復修正を数週間ではなく数分で完了できるかどうかの違いを生み出します。
- AI Gateway レイヤーにおけるプラットフォームの MCP サポートについて説明してください。具体的には、エージェントのレスポンスにツール使用マーカーが含まれている場合、アプリケーションがツール呼び出しループを実装することなく、ゲートウェイが MCP ツール呼び出しを起動し、完全なコンテキストとともに起動をログに記録し、ツールの結果をモデルの会話に返しますか?これは、AI ゲートウェイに最も直接関連する MCP ガバナンスのサブセットです。セクション 4 では、MCP ゲートウェイについて具体的に取り上げます。
- ゲートウェイは本番グレードのスループットに対してどのようにテストされていますか?エンタープライズスケールに関連する持続的なスループットレベル(100 RPS、500 RPS、2,000 RPS)におけるレイテンシーオーバーヘッドの数値(モデルのレイテンシーを除く、ゲートウェイのみ)を提示してください。「10ms 未満」は単なるキャッチフレーズです。持続的な負荷下での P99 の数値こそが、実際の指標となります。

図 4. ルーティングカスケードフロー:予算チェック、コール前ガードレール、プライマリモデルへの試行、フォールバックチェーン、および監査、コスト、キャッシュを備えた統合レスポンスパス。
セクション 4: MCP Gateway とエージェンティック AI ガバナンス(9 項目)
このセクションは、ほとんどの AI ゲートウェイ製品が苦戦する場所です。なぜなら、それらの多くは LLM 呼び出しの時代に設計され、実際のエンタープライズ環境に MCP が登場し始める前のものだからです。MCP は「ツール呼び出しのためのさらなる可観測性(Observability)」ではありません。それは独立したガバナンスプレーンです。承認されたサーバーのレジストリ、各ロールが呼び出せるツールを制限する強制ポイント、フィールドのカバー率が LLM 呼び出しログと一致する監査ログ、そして事後レポートとしてではなく起動時に実行されるポリシーエンジンです。このプレーンを持たないベンダーは、セクション 4 の質問に対して LLM 可観測性の説明で答えようとするでしょう。すり替えに注意してください。回答が直接的であるほど、その機能はよりリアルです。
期待されるパターン:強力な AI ゲートウェイベンダーは、MCP ゲートウェイを独自のレジストリ、独自の RBAC マッピング、独自の監査ログスキーマ、および独自のポリシー言語を備えた独立したプロダクトサーフェスとして説明します。弱いベンダーは、既存の LLM 可観測性スタック上の「拡張された可観測性」として説明しますが、これはガバナンスが不十分であることの明らかな証拠です。セクション 4 は具体的にスコア付けし、セクション 3 にまとめないでください。
各回答を読み、直接的な強制言語が含まれているか確認してください。
- プラットフォームは、AI エージェントや開発者ツールによる MCP サーバーへのアクセスを統制するための MCP ゲートウェイを提供していますか?これは現在の本番機能ですか、それともロードマップ項目ですか?本番機能である場合、カスタマーリファレンスと機能が GA(一般提供)された日付を提示してください。
- プラットフォームは、審査および承認ワークフローを備えた、承認済み MCP サーバーの集中カタログを維持できますか?カタログエントリを管理するのは誰ですか?新しい MCP サーバーを追加するためのレビュープロセスはどのようなものですか?また、各開発者が各自で接続を設定するのではなく、開発者の IDE 設定(Cursor、Claude Code、Continue など)にカタログを自動的に配信できますか?
- MCP サーバーは開発環境にどのように配信されますか?配信はカタログを通じて自動化されていますか、それとも各開発者が手動で接続を設定しますか?手動設定は、5 年前の最初の SSO 推進の契機となったものと同じシャドウツール問題を引き起こします。集中化が重要です。
- プラットフォームは、LLM アクセスポリシーとは別に、MCP サーバーアクセスに対する SSO と RBAC を強制しますか?ツールレベルのアクセスポリシーをチームおよびロールレベルで設定できますか?これらは起動時に強制されますか(ゲートウェイが呼び出しをブロック)、それとも事後的にのみログ記録されますか(呼び出しが通過し、翌日のレポートに表示される)?
- MCP ツールの呼び出しは、呼び出し元のアイデンティティ(ユーザーまたはエージェント)、ツール名、渡されたパラメーター、受信したレスポンス、およびポリシー決定とともにログに記録されますか?これらのログは構造化され、クエリ可能ですか?これらは LLM 推論呼び出しログと同じフィールドカバー率で作成されますか?等価性が重要です。「誰がこの LLM を呼び出したか」に答えられても、「誰がこのツールを呼び出したか」に答えられない場合、監査ストーリーに穴があります。早期にフラグを立てる価値があります。
- ツール呼び出しが MCP サーバーに到達する前に、起動時にポリシールールに基づいてプラットフォームが特定の MCP ツール呼び出しをブロックできますか?ポリシールール言語について説明してください。MCP サーバー自体を再デプロイすることなくポリシーを更新できますか?ポリシーの更新パスによって、新たな脅威に対してどれだけ迅速に対応できるかが決まります。
ツール呼び出しが MCP サーバーに到達する前にブロックするサンプルポリシールール:
このルールへの更新は、数秒でゲートウェイに伝播する必要があります(再デプロイではなく設定のプッシュ)。ベンダーの回答が「ポリシーは MCP サーバー自体によって評価される」である場合、それはゲートウェイによって強制されるポリシーではありません。サーバーによって強制されるものであり、カタログ内のすべての MCP サーバーにわたってポリシーの同等性を維持する必要があります。これは別の問題です。
- 悪意のある MCP サーバー記述にエージェントの動作をリダイレクトするように設計された指示が埋め込まれる、MCP ツール記述の汚染(Description Poisoning)から、プラットフォームはどのように保護しますか?新しい MCP サーバーがカタログに対して承認される前に、どのようなレビューまたは検証ステップが発生しますか?また、ツール記述は承認後に不変となりますか、それとも呼び出しごとに再取得されますか?
- プラットフォームは、単一のユーザーリクエストを複数の LLM 呼び出し、MCP ツール呼び出し、およびサブエージェント呼び出しにわたって追跡し、1 つの関連付けられたトランザクションに相関させることができますか?トレース識別子の伝播メカニズム(W3C Trace Context、カスタムヘッダー)と、相関されたトレースが表示される可観測性ツールについて説明してください。相関されたトレースがない場合、マルチステップエージェントの障害のデバッグは、孤立したログ行を読んで順序を推測する作業になってしまいます。
エンドツーエンドでの W3C Trace Context 伝播の例。アプリケーションはインバウンドリクエストを受信し、W3C 仕様に従って traceparent ヘッダーを生成または転送します:
ゲートウェイは、アウトバウンドヘッダーに注入することにより、ダウンストリームの呼び出し(LLM プロバイダー、MCP サーバー、セカンダリゲートウェイホップ)全体で trace-id を保持し、各呼び出しを同じ trace-id の下のスパンとして出力します。Datadog、Grafana Tempo、または Jaeger では、その結果、ユーザーリクエスト → LLM 呼び出し(claude-sonnet-4-6、2.1秒)→ ツール呼び出し(github.create_issue、528ミリ秒)→ LLM 呼び出し(出力フォーマッター、380ミリ秒)→ レスポンスという単一のウォーターフォールが表示されます。これがなければ、同じフローが 4 つの無関連なエントリとして表示され、根本原因分析は勘に頼ることになります。
- あるエージェントが別のエージェントの MCP ツールを呼び出したり、別のエージェントとコンテキストを共有したりする場合、エージェント間通信はどのように統制されますか?エージェント間での特権昇格を防ぐ分離境界は存在しますか?書き込みアクセス権を持つエージェントに委任する読み取り専用ツールへのアクセス権を持つエージェントは、AI 版の Confused Deputy 問題であり、その緩和策は助言的なものではなく、アーキテクチャ上の設計である必要があります。見落としやすく、後から組み込むのは困難です。

図 5. MCP Gateway アーキテクチャ:クライアントと MCP サーバーの間に認証、レジストリ、ポリシー、およびログレイヤーを備えた、開発者ツールとエージェントのための単一のエンドポイント。
セクション 5: 可観測性とコスト管理(7 項目)
優れたモニタリング(監視)を行う AI プラットフォームと、優れたオブザーバビリティ(可観測性)を備えた AI プラットフォームの違いは、月末に財務チームから提出される質問に現れます。モニタリングは、請求額が 40% 増加したことを知らせます。オブザーバビリティは、マーケティングチームのチャットボットが 3 週間前にコンテキストウィンドウのエッジケースでループし始めたこと、増加額の 70% が単一のアプリケーションによるものであること、そして暴走したリクエストにはより安価なモデルにルーティングできる特定のアナウンスがあることを伝えます。最初の回答は財務チームを怒らせます。2 番目の回答は財務チームを味方にします。
同じ違いがエージェントのデバッグにも現れます。モニタリングは、エージェントタスクが失敗したことを知らせます。オブザーバビリティは、どの LLM 呼び出しが悪形式のレスポンスを返したか、その結果どのダウンストリームツール呼び出しがタイムアウトしたか、そしてその失敗がどのユーザーリクエストにロールアップされたかを伝えます。LLM プレーンと MCP プレーン全体にわたる相関トレース(セクション 4 の質問 8)がない場合、すべてのエージェントの失敗はデジタル鑑識の作業になります。以下の質問は、コールごとに実際に何が記録されるか、それがどのようにクエリ可能か、財務システムが必要とするときにデータがプラットフォームからどのようにエクスポートされるかをベンダーに説明させるものです。
ここでは具体的な内容が重要です。
- すべての LLM 呼び出しに対してどのような可観測性データが収集されますか?モデル、プロバイダー、トークン数(入力、出力、キャッシュ済み)、コスト、レイテンシー(最初のトークンまでの時間、合計)、チームおよびアプリケーションへの帰属、リクエスト識別子、およびカスタマーが添付できるカスタムメタデータを含む、記録されるフィールドの完全なリストを提示してください。ここでの欠落フィールドは、鑑識能力のギャップとなります。
- プラットフォームは、チーム、アプリケーション、モデル、および期間ごとにブレークダウンされたリアルタイムコストダッシュボードを提供していますか?これらのダッシュボードは、プラットフォームの完全な管理インターフェースへのアクセス権を付与することなく、チームリードと共有できますか?閲覧専用ダッシュボードは管理者アクセスとは異なる RBAC 権限であり、両方が可能であるべきです。
- コストおよび予算アラートは複数の閾値で設定できますか(予算の 70% で警告をトリガー、100% でブロックをトリガー、120% でエスカレーションをトリガー)?アラートは誰が受け取りますか?また、どのチャネル(メール、Slack、PagerDuty、Webフック)を通じて受け取りますか?単一の受信トレイに届くアラートは脆弱です。マルチチャネルルーティングこそが、「阻止できた」か「見逃した」かの違いになります。午前 3 時には大きな違いを生みます。
- 単一のユーザーリクエストが複数の LLM 呼び出し、ツール呼び出し、およびサブエージェント呼び出しを生成する場合、エージェントの実行コストはどのように追跡されますか?プラットフォームは、マルチステップエージェントタスクの合計コストを、単一の開始リクエストと単一のユーザーに帰属させることができますか?これがなければ、エージェントのコスト帰属は解決不可能になり、実行可能なアクションにマッピングされないモデルレベルの合計だけが残ることになります。
ロールアップ帰属が生成すべき出力。ユーザーによって開始された単一のエージェントタスクに対して、プラットフォームはセクション 4 で説明した W3C Trace Context の trace_id をキーとするクエリ可能なサマリーを生成する必要があります:
これこそが、「エージェントのコスト帰属」を技術的な好奇心ではなく、財務グレードのシグナルにするものです。

図 6. 単一のエージェントタスクのトレースウォーターフォールビュー:LLM 呼び出し、MCP ツール呼び出し、および 2 回目の LLM 呼び出し。すべてが 1 つの trace_id の下にあり、スパン全体でコストがロールアップされています。
- プラットフォームは、コスト割り当ておよび課金処理のために、外部 BI または財務システムへの使用状況およびコストデータのエクスポートをサポートしていますか?どのようなエクスポートフォーマットと統合メカニズムが利用可能ですか(S3 ドロップ、BigQuery 同期、REST API、スケジュールされた CSV)?エクスポートの更新頻度はどのくらいですか?
- どのようなアラート統合がサポートされていますか?また、どの程度の忠実度(フィデリティ)ですか?アラートはメール、Slack、または Webフックの送信先に配信されますか?また、Webフックルーティングによって、異なるアラートタイプを異なるダウンストリームシステムにルーティングできますか(コストアラートは財務へ、セキュリティアラートはセキュリティ運用へ、レイテンシーアラートはオンコールエンジニアへ)?Webフックはユニバーサルな回避策です。プラットフォームがカスタムペイロード形状の Webフックをサポートしていれば、カスタマーがすでに運用しているあらゆるアラートバックエンドと統合できます。
- 可観測性データおよび監査データは、デフォルトでどれくらいの期間保持されますか?また、保持期間はデータタイプごとに設定可能ですか?保持期限が切れた場合、自動削除、コールドストレージへのアーカイブ、またはカスタマーの選択のどれが発生しますか?カスタマーが自身のログインフラストラクチャをエンドツーエンドで管理するエアギャップデプロイにおける保持コントロールについて説明してください。
Section 6: Enterprise Integrations, SLAs, and Support (7 Questions)
統合のギャップによるコストが調達時に目に見えることはめったにありません。それが表面化するのは 6 か月後です。SCIM が本物でないために退職した従業員のアクセス権取り消しに 48 時間かかるとき、SLA が努力目標に過ぎないために午前 2 時の P1 障害に対する自動返信が「営業時間内に対応します」となっているとき、プラットフォームの SSO 統合がグループライフサイクルイベントでテストされていなかったために Okta のグループ名変更によってロール割り当てが破損するときです。これらはそれぞれ限定的なエンジニアリングコストですが、積み重なることで運用上のペナルティとなり、プラットフォームチームが 3 年目の更新時に、他の点では有能な製品から密かに移行する原因となります。
セクション 6 では、運用の現実を表面化させます。2 つの診断パターン:プロトコルサポートの質問に対するすべての「はい」という回答は、現在どのカスタマーが本番環境でそのプロトコルを実行しているか、対してどのカスタマーが最初の試行者になるかについての追加質問を行う価値があります。また、明示的なクレジットが添付されていない SLA のコミットメントは、マーケティング上の目標として扱う必要があります。契約上の SLA には、ベンダーが未達成のリスクを価格に織り込んでいるためクレジットが伴いますが、努力目標の SLA はマーケティングによって書かれたものであり、クレジットは伴いません。
書面でクレジットを取得してください。
- エンタープライズ SSO でサポートされているアイデンティティプロバイダーはどれですか?明示的にリストアップしてください:Okta、Azure AD (Entra ID)、PingFederate、ADFS、Google Workspace、汎用 SAML 2.0、汎用 OIDC。SSO 統合はすべてのデプロイモード(SaaS およびオンプレミス)で利用可能ですか、それとも特定の層でのみ利用可能ですか?ボーナス質問:これらの統合のうち、カスタマーによって検証された本番デプロイメントが存在するものはどれで、「プロトコルはサポートしていますが、あなたが最初の試行者になります」というものはどれですか。
プラットフォームが受け入れるべき標準的な SAML 属性マッピング。アイデンティティプロバイダーはベンダー固有の属性名を送信するため(特に ADFS は長い URI スタイルのクレームを出力します)、プラットフォームではそれらを小型の標準セットにマッピングできるようにする必要があります:
プラットフォームが 1 つの固定されたクレームフォーマットしか消費できない場合、Okta/Azure AD 以外との統合は困難になります。上記の柔軟性は 1 回限りの設定コストですが、これがなければ、すべての IdP オンボーディングがカスタムエンゲージメントになってしまいます。
- プラットフォームは、自動化されたユーザーおよびグループのプロビジョニングとプロビジョニング解除のための SCIM 2.0 をサポートしていますか?ユーザーがアイデンティティプロバイダーから削除されたとき、そのプラットフォームアクセス権は自動的に失効しますか、それとも手動でのプロビジョニング解除ステップが必要ですか?手動でのプロビジョニング解除は、コンプライアンス上の問題を引き起こす要因となります。これは常に監査時に表面化します。
ネットワーク上での SCIM プロビジョニングの仕組み。ユーザーが SSO アプリケーションに追加されると、Okta または Azure AD はプラットフォームの SCIM エンドポイントに POST を送信します:
ユーザーが IdP でプロビジョニング解除されると、同じエンドポイントが active を false に反転させる PATCH を受信します。プラットフォームは、次回のログイン試行時ではなく、即座にユーザーのアクセス権を失効させる必要があります。概念実証(PoC)でこれをテストしてください:IdP でテストユーザーをプロビジョニング解除し、まだ有効なプラットフォームトークンの使用を試みて、プロビジョニング解除ライフサイクルがエンドツーエンドで動作することを確認します。プラットフォームが次回のユーザーログイン時にのみプロビジョニング解除を適用する場合、それは書面で明文化すべきコンプライアンス上のギャップです。

図 7. アイデンティティと RBAC のフロー:IdP がアイデンティティを提供し、プラットフォームがグループをチームとバーチャルアカウントにマッピングし、AI Gateway、MCP Gateway、ダッシュボード、および Agent Gateway で強制を適用します。
- エンタープライズサポートの SLA はどのようになっていますか?重要度レベル別のレスポンスタイムコミットメントを提示してください:P1(本番環境の障害)、P2(大幅な低下)、P3(非致命的な問題)、P4(情報リクエスト)。これらは返金制度(クレジット)を伴う契約上のコミットメントですか、それともマーケティング資料にある努力目標ですか?
契約する価値のあるエンタープライズ SLA ティアの基準:
「レスポンスタイム」が「チケットを受信したことを知らせる自動送信メール」と定義されている場合は注意してください。それはレスポンスではありません。本当のレスポンスとは、エンジニアが問題に取り組むことです。そして、クレジット条項がテストとなります:契約上の SLA には返金が伴いますが、マーケティング上の SLA には伴いません。
- エンタープライズオンボーディングおよび継続的なサポートモデルはどのようになっていますか?支援付きデプロイプロセス、コントロールプレーンおよびコンピュートプレーンのセットアップのために提供されるドキュメントとプレイブック、ベンダーのソリューションチームとの継続的なエンゲージメントモデル(エスカレーションパス、変更管理通知、定期的なレビュー)、およびライセンス費用に含まれる要素と個別エンゲージメントとして定義される要素について説明してください。オンボーディングのギャップは、本番運用開始の遅延として表面化します。契約前に確認してください。
- プラットフォームはどの程度拡張可能ですか?カスタマーは、ベンダーのロードマップに依存することなく、カスタムガードレール、カスタムルーティングルール、またはカスタム MCP サーバー統合を投稿できますか?拡張メカニズム(SDK、FastAPI テンプレート、プラグインモデル)と、ベンダー提供の拡張機能とカスタマー構築の拡張機能の間のサポートの境界線について説明してください。
- カスタマーが契約を終了する場合の、契約上のデータ削除プロセスについて説明してください。データ削除の SLA はどのようになっていますか?また、削除証明書は提供されますか?オンプレミスデプロイメントの場合は、ライセンスキーの失効およびソフトウェアの廃止プロセスについて説明してください。解約は交渉の立場を逆転させます。署名する前にプロセスを理解しておきましょう。
- エンタープライズオンボーディングの一環として、どのようなプロフェッショナルサービスが提供されますか?初期デプロイ、既存のアイデンティティおよび可観測性システムとの統合、カスタム統合開発、および継続的な運用サポートにおけるプラットフォームチームの関与範囲を説明してください。これらがライセンス料に含まれているか、個別のエンゲージメントとしてスコープが定められているか、あるいはプレミアム階層でのみ利用可能かを明記してください。隠れたサービスコストは、1 年目の更新時に繰り返し発生する不満の原因です。
TrueFoundry はどのように RFP 評価を解決するか
TrueFoundry のソリューションチームは、この RFP を単なる営業資料ではなく、公式の評価基準として扱います。すべての質問に対して証拠を添えた書面での回答を提供します:SOC 2 Type II レポート、ヘルスケアデプロイメント向けの BAA ドキュメント、ペネトレーションテストのサマリー、リファレンスアーキテクチャ、サンプル監査ログ、カスタマーリファレンス。その出力は、セキュリティ、調達、およびプラットフォームチームが、穴を埋めるためのヒアリングを必要とせずに意思決定を行うために使用できるドキュメントとなります。
回答の背後にあるアーキテクチャは、このテンプレートのセクション構造に直接マッピングされているため、ほとんどの質問が明確に解決されます。以下にその詳細を説明します:
デプロイメントモデルはスプリットプレーン(分離型プレーン)です。コントロールプレーンはオーケストレーションの頭脳であり、設定、RBAC、およびダッシュボードをホストします。コンピュートプレーンはエージェントを介して送り返され、AI Gateway、MCP Gateway、デプロイされたアプリケーションやセルフホスト型モデルを含む実際のワークロードをホストします。コンピュートプレーンは、カスタマーのクラウドアカウント(AWS、GCP、Azure)またはオンプレミスの Kubernetes 上で実行でき、複数のコンピュートプレーンが 1 つのコントロールプレーンに接続して、単一の制御サーフェス下でマルチ環境運用を可能にします。AI Gateway は、データレジデンシーとデータ主権の管理のために、カスタマーのインフラストラクチャ内部にセルフホストできます(デプロイメントオプションは別途文書化されています)。監査ログとトレースデータは、Gateway のリクエストロギングおよびトレースプロジェクトを使用して保存され、RBAC がトレースとログへのアクセスを管理します。各デプロイを個別のコントロールポスチャを持つ個別の製品として扱うのではなく、SaaS、シングルクラウド、マルチクラウド、およびセルフホストデプロイメント全体で同じデータレジデンシーポスチャを利用可能にしているのは、このスプリットプレーンアーキテクチャによるものです。
データ主権とはアーキテクチャそのものであり、単なる文句ではありません。
認証は、OIDCまたはSAML 2.0を介したエンタープライズSSOを使用し、APIアクセス制御のためにAI Gatewayで直接IdPトークン検証(オプション)を行います。主要なIdP(Microsoft Entra ID、Okta、Keycloak、Google)がサポートされており、IdPからのアイデンティティクレームおよびグループメンバーシップがTrueFoundryチームにマッピングされ、大規模なRBACを推進します。SCIMプロビジョニングはすべてのSSO設定(OIDCおよびSAMLの両方)でサポートされているため、IdPでのプロビジョニング解除は、次のユーザーログインを待つことなく即座に伝播されます。RBACはテナントレベル(Admin/Memberロール)に加えて、ユーザー、チーム、クラスタ、ワークスペース、デプロイメント、AI Gatewayプロバイダーアカウント、MCPサーバー、トレーシングプロジェクト全体にわたるスコープ付き権限を持つカスタムロールで機能します。非人間アイデンティティ(アプリケーション、エージェント)にはサービスアカウントスタイルのトークンを持つVirtual Accountsが割り当てられ、AI Gateway境界(モデル、エージェント、MCPサーバー、ツール)でのリクエストごとの認可により最小権限パターンがサポートされます。プロバイダーキーは顧客管理のシークレットストアと統合され、ゲートウェイ認証はIdPを置き換えるのではなくその上にレイヤー化されるため、MFAおよび条件付きアクセスは顧客のIdPによって引き続き強制されます。
AI Gatewayは、単一のOpenAI互換エンドポイントを介して1,000以上のLLMにルーティングします:OpenAI、Anthropic(直接およびAWS Bedrock経由)、Azure OpenAI、GCP Vertex AI、Groq、Mistral、およびvLLM、TGI、Tritonを介して配信されるセルフホストモデル。ルーティングはVirtual Modelsを介して設定され、1つのモデルインターフェースを公開し、複数の背後にあるプロバイダーやモデル間でロードバランシングまたはフェイルオーバーを行います。TrueFailoverは、マルチリージョンおよびマルチクラウドのレジリエンスが組み込まれた、障害および低下を認識するルーティングをその上にレイヤー化します。ユーザー、チーム、またはVirtual Accountごとのハードトークンおよびリクエスト制限は、リクエストが通過してしまうソフトアラートではなく、チームがバジェットに達したときに構造化された拒否を返します。プロバイダーフェイルオーバーは自動であり、レイテンシペナルティは総レイテンシに埋もれることなく、呼び出し時の個別のメトリクスとして記録されます。セマンティックキャッシュはエンベディングとコサイン類似度を使用し、設定可能な閾値とTTLを備えています。ドキュメントによると、繰り返しまたは類似のクエリに対して最大約20倍のレイテンシ改善が報告されています。Guardrailsはルールベース(モデル、ユーザー、またはメタデータでターゲット指定)であり、それぞれがValidate(ブロック)またはMutate(書き換え/伏字化)でき、FastAPIテンプレートを使用したカスタムガードレールサーバーを介してBring-Your-Own Guardrailがサポートされています。
ここでのルーティングは、設定フラグではなく製品そのものです。
MCPおよびエージェントスタックが差別化要素です。TrueFoundryは、ガバナンスされたアクセス制御とエンタープライズ認証フローを通じて、MCPサーバーおよびツールを中央で登録、検出、安全に接続するネイティブなMCP GatewayおよびMCP Registryを実行します。プロキシ接続用のストリーマブルHTTPを含む現代のMCPトランスポートがサポートされており、プロトコルレイヤーはMCP仕様に従って標準のJSON-RPCメッセージングを使用します。認証はレイヤー化されています:ゲートウェイ認証、MCPサーバーへのアクセス制御、およびサーバーごとまたはツールごとの認証(エンタープライズMCPサーバー向けにドキュメント化されているOAuthベースのパターンを含む)。中央集権的な設定により、開発者ツールは各開発者が独自のMCP接続を配線するのではなく、1つのゲートウェイエンドポイントと通信します。これはレジストリが防止するように設計されているシャドウツールパターンです。Agent Hubは、複雑なエージェントや既存のエージェントに組織的なカタログ化とオーケストレーションを提供し、Agent Gatewayはそれらのエージェントを本番環境で実行するためのエンタープライズガバナンスレイヤー(安全なツールアクセス、観測可能性、コスト制御)を提供します。LLMアクセスを統括するのと同じアイデンティティがツールアクセスも統括するため、両方の認可は1つのIdP設定内に存在します。そして、マルチステップLLMエージェントタスクを結び付ける同じトレースコンテキストが、その下のMCP呼び出しを結び付けます。これにより、タスクごとのコストロールアップとエンドツーエンドのデバッグが、理論上のものではなく実行可能になります。
観測可能性には、トレース付きのGatewayリクエストログを使用します。トークン数、コスト、レイテンシ(TTFTおよび合計)、ガードレール判定、ポリシー判定、およびチームとアプリケーションのアトリビューションが呼び出しごとにキャプチャされ、トレースとして保存され、独自のRBACを持つトレーシングプロジェクトを通じてアクセスできます。テレメトリエクスポートは標準ベースです:OpenTelemetryデータエクスポートに加えて、Grafana、Datadog、Prometheusを含む外部システムへのログおよびトレースのエクスポートを行うため、顧客は独自のスタックを学習することなく既存の観測可能性スタックと統合できます。コストダッシュボードはリアルタイムであり、読み取り専用RBACを通じてチームリードに共有可能です。同じログ/トレースストアが、プロンプトインジェクションの試み、ポリシーヒット、および乱用パターンの監査可能なデータセットを作成し、顧客はこれを時間とともにガードレールのチューニングのためにマイニングできます。
既存の観測可能性スタックは、既存の観測可能性スタックのまま機能します。
これらすべてを支えるスループットの実証:顧客ベース全体で月間100億リクエストを処理、プラットフォームによって管理される1,000以上のKubernetesクラスタ、ゲートウェイ側のオーバーヘッドはp95(TTFT)で10ms未満、単一vCPUで350以上のRPSを維持。本番環境で運用している顧客には、Resmed、Siemens Healthineers、Automation Anywhere、Zscaler、Nvidiaが含まれます。シリーズAは2025年2月にIntel Capitalが主導し、Peak XV Partners(Surge)、Eniac Ventures、Jump Capitalの参加により、資金調達総額は約2,100万ドルに達しました。
パイロットスケールではなく、プロダクションスケール。

図8. TrueFoundry エンドツーエンドリファレンスアーキテクチャ:コントロールプレーン、コンピュートプレーン(AI Gateway、MCP Gateway、Agent Gateway、Customer Appsを含む)、顧客IdP、および観測可能性ターゲット。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






