エンタープライズLLMにおけるAIガバナンスと監査:バーチャルキー、RBAC、コンプライアンス基準のログ

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
LLMがパイロット段階から複数チームにわたる本番環境へと移行する際、ガバナンスはもはやオプションではありません。誰が、どのデータを使って、どのような予算でどのモデルを呼び出すことができるのか、そして監査のためにすべての呼び出しを再構成できるのかを問われることになります。本記事は、これらの疑問に答えるコントロールプレーンを解説します:アクセス権をプロバイダーのクレデンシャルから分離するバーチャルキー、RBACとpolicy-as-code、ガバナンスとしての予算とクォータ、コンプライアンス基準の監査ログ、データレジデンシー、そしてこれらのゲートウェイコントロールがEU AI Actのような義務にどのように対応するか(コンプライアンス保証ではなく、何を充足するのに役立つかという視点でフレーム化)を説明します。
Northwind社の四半期末。 プラットフォームリードのMeiは、セキュリティおよびコンプライアンスチームから答えることのできない質問を受けました。過去四半期にどのチームがどのモデルプロバイダーに顧客データを送信したか、そしてその記録を提出できるか、というものです。彼女にはできませんでした。すべてのサービスは、数年前に設定ファイルにチェックインされた1つの共有APIキーを介してモデルプロバイダーを呼び出していました。チームごとの属性特定も、どのリクエストに顧客データが含まれていたかの記録も、他の全員のキーを変更せずに1つのチームのアクセス権を取り消す方法も、プロバイダー独自の不透明な請求記録以外の監査ログも存在しませんでした。LLMの使用は1つのプロトタイプから12のプロダクションサービスへと成長していましたが、ガバナンスはそれに合わせて成長していませんでした。
厳密には何もトラブルは起きていませんでした。侵害も、検出された過剰支出もありません。しかし、「質問に答えられない」こと自体が1つの監査指摘事項であり、日常的な監査を大事へと変える要因になります。この記事は、誰かに問われる前にその質問に答えられるようにするためのコントロールプレーンについて解説します。
TrueFoundryのAI Gatewayが提供するもの
この記事で扱うすべての要素 — バーチャルキー、RBAC、予算制限、レート制限、監査ログ、レジデンシー規則、そして強制適用ポリシーとしてのガードレール — は、TrueFoundry's AI Gatewayが単一のコントロールプレーン内の設定として表現するものです。Access controlは、誰が(ユーザー、チーム、バーチャルアカウント)どのプロバイダーアカウントやモデルを呼び出せるかを定義します。Personal Access Tokens and Virtual Account Tokensは、アプリケーションが生のプロバイダーキーを保持する代わりにゲートウェイで認証を行う方法です。rate-limit and budget configsは、ユーザー、チーム、バーチャルアカウント、モデル、または任意のカスタムメタデータキーごとに適用されます。そしてguardrails(MCPツール境界でのpolicy-as-codeとしてのCedarやOPAを含む)は、4つのライフサイクルフックで強制適用されるルールとして実行されます。
すべてのリクエストは同じパスを通過します:認証、呼び出し元のアイデンティティ解決、アクセスポリシーとキーごとの予算評価、レート制限ルールの順番通りの評価(最初に一致したものが適用)、インプットガードレールの実行、プロバイダーへのルーティング、監査グレードのトレースの出力、そしてアウトプットガードレールの実行です。この同じビューが、監査人が必要とする記録になります。誰が、いつ、何を、どのポリシーに対して呼び出し、どのようなガードレールの結果になったか、という記録です。Request TracesとOpenTelemetry exportにより、そのトレースはクエリできないベンダーのダッシュボードではなく、お客様のSIEMに転送されます。


アプリケーションコードは一般的なOpenAIスタイルの呼び出しから変更されません。ガバナンスはクライアントロジック内ではなく、ベアラートークンとメタデータヘッダーに含まれています。Personal Access Tokenはユーザーに解決され、Virtual Account Tokenは本番用サービスの非人間アイデンティティに解決されます。X-TFY-METADATAヘッダーは、ポリシー、予算制限、監査ログが照合する構造化フィールド(team、project、cost_center、environment)を保持します:
アイデンティティと監査メタデータを使用してゲートウェイを呼び出す(Python、OpenAI互換)
1. 本番環境でガバナンスが不可欠となる理由
1つのキーで1つのモデルを呼び出す単一のプロトタイプには、ガバナンスは不要です。しかし、複数のチームにわたる多数のサービスが、さまざまな感度のデータで複数のプロバイダーを呼び出す場合、コントロールプレーンが必要となります。障害モードがもはや机上の空論ではないからです。共有キーを使用していると利用者の属性が特定できないため、ファイナンスチームにどのチームがコストを発生させているかを伝えることも、セキュリティチームにどのチームが顧客データに接触したかを伝えることもできません。支出制限がないと、1つの暴走したエージェント(ルーティングの記事で紹介したサイレントエスカレーションを思い出してください)が誰にも気づかれないうちに予算を使い果たす可能性があります。監査ログがなければ、インシデントや監査人に対して何が起こったのかを再構成できません。そしてアクセス制御がなければ、シャドーAIが発生します。誰も把握していない状態でチームが勝手にモデルを組み込んでしまうのです。
運用上のプレッシャーに加えて、規制上のプレッシャーも存在します。EU AI Actは、記録保持、透明性、および人間の監視に関する義務(第7条)を段階的に導入しており、SOC 2、HIPAA、金融規制などの業界規制でも長年にわたりアクセス制御と監査が求められてきました。共通しているのは、それらすべてがMeiの質問に答えられることを前提としている点です。AI governanceとは、それに答える能力を整備する取り組みです。

2. バーチャルキー:アクセス権をプロバイダーのクレデンシャルから分離する
Meiの問題の根本原因は共有プロバイダーキーにありました。バーチャルキーはこれを解決します。チームに本物のプロバイダーのクレデンシャルを渡す代わりに、各チームまたはアプリにゲートウェイ管理のキーを発行し、それがゲートウェイ側で基礎となるプロバイダーキーにマッピングされるようにします。アプリケーションはバーチャルキーで認証を行い、ゲートウェイが本物のキーを保持します。
この1つの間接化によって、ガバナンスの大部分が達成されます。使用状況はバーチャルキーに紐付けられるため、支出やデータアクセスをチームごとにレポートできます(cost-attribution postはまさにこの仕組みの上に構築されています)。アクセス取り消しはローカルで行えます。他の全員のためにプロバイダーキーをローテーションすることなく、1つのチームのバーチャルキーを無効化できます。また、アクセス範囲の制限も可能です。バーチャルキーを特定のモデル、ルート、またはデータクラスに制限できます。プロバイダーのクレデンシャルは追跡やローテーションが困難な多数のサービス設定に分散するのではなく、ゲートウェイという1つの場所に一元管理されます。TrueFoundry's AI Gatewayにおいて、バーチャルキーは使用状況、予算制限、アクセスポリシーを、不透明な共有クレデンシャルではなくチームやアプリケーションに結び付ける単位となります。
3. RBACとPolicy-as-Code:誰が何を呼び出せるか
バーチャルキーがアイデンティティを確立し、RBACとポリシーがそのアイデンティティに許可される操作を決定します。問われる内容は具体策です。どのチームが高価なフロンティアモデルを使用できるか、どのチームが特定のプロバイダーにアクセスできるか、どのチームが(MCP環境において)どのツールを呼び出せるか、そしてどのデータクラスがどこに送信できるか。これらをCedarやOPAのようなエンジンを使ってpolicy-as-codeとして符号化することで、暗黙の了解や分散した条件分岐ではなく、明示的でレビュー可能、かつバージョン管理されたルールを作成できます。
アクセスポリシーの例(概念図 — 正確なスキーマはゲートウェイ固有)# Only the research team may call the frontier model.allow if principal.team == "research" and resource.model == "gpt-5.5"# Customer-data requests must stay on an EU-resident model.deny if request.data_class == "customer_pii" and resource.region != "eu"# Finance team may not call external providers at all — self-hosted only.allow if principal.team == "finance" and resource.kind == "self_hosted"
policy-as-codeの価値は、「誰が何を呼び出せるか」をプルリクエストでレビューし、テストし、監査人に証明できるものに変える点にあります。これはTrueFoundryのMCP securityにおけるMCPツールアクセスに適用されたものと同じガバナンス規律であり、CedarやOPAがエージェントの呼び出せるツールを制限します。ゲートウェイがすべてのリクエストがプロバイダーやツールに到達する前に必ず通過する唯一の場所であるため、強制適用ポイントとなります。
4. ガバナンスとしての予算、クォータ、レート制限
予算やレート制限は通常、不正利用やコストの無制限な増加を防ぐための対策として捉えられます。しかしガバナンスの文脈では、これらは公平性と説明責任を担保するコントロール機能でもあります。各チームに定められたシェアが割り当てられ、超過が可視化され、単一のチームが組織全体のモデル予算を密かに使い果たすことがなくなります。メカニズムとしては、チームやバーチャルキーごとのハードおよびソフト制限、制限に近づいた際のアラート通知、そして超過時の強制適用(通常は429エラー)があり、これはcost-attribution postで説明されている強制適用パスと同じです。
ガバナンスの視点を入れることで、設定方法が変わります。アラート機能を備えたソフト制限は、説明責任を果たすツールとなります。本番環境を停止させることなく、チームが予算を超過しそうであることを予算所有者に通知します。ハード制限は、ルーティングの記事で触れたサイレントエスカレーションによる連鎖のように、コストの暴走を食い止めるガードレールとして機能します。また、キーごとのレート制限は、共有キャパシティの環境における公平性メカニズムとしても機能し、あるチームのバッチジョブが別のチームのインタラクティブなトラフィックを圧迫するのを防ぎます。これらをTrueFoundry's AI Gatewayで設定することで、サービスごとに個別に再実装することなく、バーチャルキーごとに一貫して適用されます。
スキーマは意図的にルールベースになっており、ポリシーを監査人に説明するように読み取ることができます:誰が(対象:ユーザー、チーム、バーチャルアカウント、または任意のカスタムメタデータキー)、何を(モデル)、どれだけ(制限量と単位 — 分、時間、日あたりのリクエスト数またはトークン数)、そしてどのように制限するか(1つの共有制限、またはrate_limit_applies_perを介したユーザー別/モデル別/メタデータ値別の個別の制限)。ルールは順番に評価され、最初に一致したものが優先されるため、特定のルールは広範なフォールバックの上に配置されます:
gateway-rate-limiting-config(TrueFoundryドキュメントの実際のスキーマ)

内部的には、強制適用にスライディングウィンドウ・トークンバケットアルゴリズムを使用しており、60秒のウィンドウにわたって12個の5秒バケットを集計します。これにより、短いスパイクでチームがロックアウトされない程度のバースト性を確保しつつ、暴走したスクリプトを数秒以内に検知して停止できる厳格さを備えています。ゲートウェイはすべての呼び出しでアイデンティティ(PATまたはVAT → ユーザー、チーム、バーチャルアカウント)を解決し、X-TFY-METADATAを読み取るため、1つのポリシーが通常カバーすべき4つのガバナンス対象(キーごとにレート制限される開発者、まとめてレート制限されるチーム、グローバルにレート制限されるモデル、メタデータタグによってレート制限されるプロジェクト)を同一のルール表現で網羅できます。
監査におけるストーリーはもう半分の重要な要素です。すべてのレート制限の決定、すべてのガードレールの結果、すべてのフォールバックホップ、そしてすべてのモデル呼び出しは同じリクエストトレース(レスポンス内のx-tfy-trace-id)に記録されます。そしてこのトレースこそが、Request Traces in the UIで表示され、OpenTelemetryを介してエクスポートされるデータです。これによって「単にログが存在する」状態から「規制当局に提出できる監査トレースが存在する」状態へと昇華されます。
5. コンプライアンス基準の監査ログ:ログが監査に耐えうる条件
「ログがある」ことと「コンプライアンス基準の監査トレースがある」ことは異なる主張です。監査に耐えうるログには4つの属性があります。第一に不可逆性(改ざん不可)であり、作成されたエントリーは後から編集や削除ができません。第二に完全性であり、すべての呼び出しに対して「誰が(どのチーム/バーチャルキー)」「何を(モデル、ルート、アクション)」「いつ」「どのデータカテゴリーが関わったか」が記録されます。第三に改ざん検知性であり、エントリーには暗号化トレースIDやハッシュチェーンのようなものが含まれており、改ざんを検知できます。第四にエクスポート可能性であり、クエリできないベンダーダッシュボードに留まるのではなく、自社のSIEMにストリーミング出力されます。
これこそが、Meiが質問に答えることを可能にしたはずのレイヤーです。すべての呼び出しについて不可逆で、チームごとに分類され、データカテゴリーがタグ付けされた記録が、SIEMにエクスポートされ、後からクエリ可能な状態で保持されます。これはOpenTelemetry postで説明したトレース機能を直接基盤としており、可視性を向上させるのと同じスパンを活用しながら、監査が求める完全性と不可逆性の特性を備えています。
6. データレジデンシーとデータ主権
規制対象のデータにおいて、リクエストがどこで処理されるか自体がガバナンス上の決定事項であり、ルーティングとして強制適用されます。リージョン認識型ルーティングにより、EUの個人データを含むリクエストはEU域内のエンドポイントに保持されます。プロバイダーの制限により、特定のデータクラスが特定のプロバイダーに届かないよう完全にブロックされます。そして最も機密性の高いデータについては、セルフホスト型のオープンウェイトモデルにより処理が自社のインフラ内に維持されるため、規制対象のコンテンツが境界の外に出ることはありません。
これらの決定はセクション3のポリシーエンジンと組み合わされます。「顧客のPIIはEU域内のモデルでのみ処理可能」というポリシーは、アクセス権ポリシーとして表現されたレジデンシールールであり、ゲートウェイはそれに応じてルーティングを行う(あるいはルーティングを拒否する)ことで強制適用します。TrueFoundry's AI Gatewayは、ホスト型モデルとセルフホスト型モデルの両方を単一のインターフェース経由で集約しているため、データレジデンシーは個別統合の手間なくルーティングルールとして設定でき、データクラスがどこで処理されたかの選択は他のすべての決定と同様にログに記録されます。
7. ゲートウェイのコントロールとEU AI Actの対応(慎重なアプローチ)
EU AI Actの適用が段階的に進んでいます。禁止行為およびAIリテラシーに関する義務は2025年2月から適用されており、汎用AIモデルに関する義務は2025年8月から、ハイリスクシステムに関する義務(リスク管理、data governance、記録保持/ログ管理、透明性、人間の監視)は2026年8月頃に順次適用されます。ただし、用途ベース(附属書III)のハイリスクシステムのタイミングについては、欧州委員会のDigital Omnibus簡素化提案の対象となっており、本稿執筆時点ではトリログ(三者協議)段階にあり、一部規定が2027年12月頃に延期される可能性があります。施行日は変更される可能性があるため、最新の動向を注視し、現在の法文を確認してください。
ゲートウェイが役立つのは、これらの義務の多くが前提としている運用基盤の提供です。記録保持と自動ログ管理は、コンプライアンス基準の監査ログ(セクション5)に対応します。人間の監視は、ハイリスクなアクションに対してprompt-injection postで議論されたHuman-in-the-Loopのチェックポイントに対応します。データガバナンスは、レジデンシールーティングとPIIガードレールに対応します。透明性の義務は、システムが何をどのようなデータに基づいて実行したかを示せることによって支援されます。
8. 強制適用ポリシーとしてのガードレール
ガバナンスとはアクセス権や予算管理だけを指すのではなく、どのようなコンテンツの流通を許可するかという点も含まれます。本シリーズの他の記事で紹介しているガードレール機能(PII/PHIの検出、プロンプトインジェクション対策、コンテンツモデレーション、シークレット検出)は、各アプリケーションの判断に委ねられるのではなく、ポリシーとして強制適用されることでガバナンスコントロールとして機能します。「顧客のPIIはすべてのルートで取り除かれる」「出力はログストレージに到達する前にスクリーニングされる」といったルールはポリシー声明であり、これらを一貫して強制適用すべき場所こそがゲートウェイです。
これにより、以前の記事との整合性が完了します。PII postの4つの挿入ポイント、prompt-injection postのインプット/アウトプットガードレール、そして本記事のRBACと監査は、1つのコントロールプレーンのさまざまな側面です。アイデンティティが「誰が」を決定し、ポリシーが「何を呼び出せるか」を決定し、ガードレールが「どんなコンテンツが通過できるか」を決定し、予算が「どれだけ」を決定し、レジデンシーが「どこで」を決定し、監査ログがそのすべてを記録します。TrueFoundry's guardrailsは、LLMおよびMCPのフックで強制可能な設定可能なポリシーとして実行され、これにより優れた意図を監査人が検証可能なガバナンスへと変えることができます。
9. FAQ
バーチャルキーを使うことと、チームごとに別々のプロバイダーキーを持たせることの違いは何ですか?
チームごとにプロバイダーキーを分けることで一定の属性特定は可能になりますが、本物のクレデンシャルがサービス設定内に分散したままになり、ローテーションが難しく漏洩しやすくなります。また、これらにはポリシーが付与されません。バーチャルキーはゲートウェイによって管理されます。中央で本物のプロバイダーキーにマッピングされ、チームのRBAC、予算、レジデンシーポリシーを保持し、プロバイダーのクレデンシャルや他のチームに影響を与えることなく取り消しや範囲変更が可能です。間接化すること自体に意義があります。
監査ログを作成するということは、プロンプトの内容もログに残すという意味ですか?
いいえ、通常は残すべきではありません。何が起こったかを再現するために必要なメタデータ(チーム、モデル、ルート、アクション、データカテゴリー、ガードレールイベント、タイムスタンプ、トレースID)を記録してください。生のプロンプトコンテンツをログに記録することは、PIIガードレールが防ごうとしている機密データ保持の問題を再発させてしまいます。コンプライアンス基準とは、ユーザーデータの逐語的な記録ではなく、メタデータが完全であり不可逆であることを意味します。
ゲートウェイを導入すればEU AI Actに準拠できますか?
いいえ。記録保持、ログ管理、人間の監視の支援、データガバナンスといった特定の運用上の義務を満たす助けにはなりますが、コンプライアンス適合はリスク分類、提供者または導入者としての役割、文書化、ゲートウェイでは代替できない適合性評価に依存します。ゲートウェイは必要なインフラとして捉え、具体的な要求事項については実際の規制内容や法務専門家にご相談ください。スケジュールもDigital Omnibus提案によって変化する可能性があります。
この記事の内容は、コスト属性特定に関する記事と同じではありませんか?
バーチャルキーとチームごとの属性特定という基盤は共通していますが、視点が異なります。コストに関する記事は支出(誰がコストを発生させているか、予算、チャージバック)に焦点を当てています。本記事はコントロールと説明責任(誰が何を呼び出してよいか、どんなコンテンツが流通してよいか、監査のために何が記録されるか、規制対象データがどこで処理されるか)を扱っています。同じコントロールプレーンの上に、異なる義務が乗っているという関係性です。
ガバナンスはアプリ側とゲートウェイ側のどちらに実装すべきですか?
ゲートウェイです。ガバナンスとは本質的に横断的なものであり、すべてのサービスにわたってアクセス、予算、レジデンシー、監査ルールを一貫して適用し、すべてのリクエストが通過する単一のポイントで強制適用されるべきだからです。アプリごとのガバナンスは実装のブレやギャップを生み出し、結果として共有キーが長年放置される原因になります。ただし、どのアクションが人間の承認を必要とするほど高リスクかといったドメイン固有の判断については、引き続きアプリケーション側が担当します。
Meiの監査における指摘事項は、セキュリティ侵害ではなく「質問に答えられないこと」でした。ガバナンスとは、誰が、何を、どれだけ、どこで、誰のデータを使って実行しているのかという問いに対して、事前に対処できるようにするための地道な取り組みであり、ゲートウェイはそれらの回答がリクエストごとに強制適用され記録される場所です。
TrueFoundryについて
TrueFoundry's AI Gatewayは、アプリケーションと1,600以上のモデル(OpenAI、Anthropic、Google、AWS Bedrock、Azure OpenAI、自社セルフホスト型モデルなど)の間に位置する、単一のOpenAI互換APIの背後で動作するエンタープライズグレードのコントロールプレーンです。本記事で紹介したガバナンスコントロールを、サービスごとのコード変更ではなく設定変更だけで実現します。本番環境の非人間アイデンティティ用Virtual Accounts、開発用Personal Access Tokens、プロバイダーアカウントごとにスコープされたRBAC、ユーザー別/チーム別/モデル別/メタデータ別のスコープを持つYAML表現のレート制限・予算ルール、そしてMCPツール境界におけるpolicy-as-codeガードレール(CedarおよびOPA)を提供します。
ゲートウェイはすべてのリクエスト上に位置し、すべての呼び出しに対して完全なトレースを出力するため、コンプライアンス基準の監査を現実的に運用できる場所でもあります。アイデンティティ、ポリシー決定、ガードレールの結果、モデルの選択、トークン数、コストのすべてが同じトレースIDに集約されます。これはUIのRequest Tracesで確認できるほか、OpenTelemetryを介してエクスポート可能で、SIEM統合用のAPI経由でもアクセスできます。さらに、完全一致・セマンティックキャッシュ、フォールバックとリトライ機能、可視化ダッシュボード機能も統合されており、SaaS、VPC内、オンプレミス、あるいはエアギャップ環境(SOC 2、HIPAA、ITARコンプライアンス準拠)でデプロイ可能です。また、GartnerのMarket Guide for AI Gatewaysでも評価されています。詳細については、access control、rate limiting、guardrailsのドキュメント、またはAI Gateway overviewをご覧ください。
References
- TrueFoundry AI Gateway — virtual keys, RBAC, budgets, and audit
- TrueFoundry — AI Gateway guardrails as enforced policy
- European Commission — Regulatory framework for AI (the AI Act)
- Cedar and Open Policy Agent (OPA) — policy-as-code engines
NorthwindとMeiはイラスト的な例です。ガバナンスパターン(バーチャルキー、RBAC、policy-as-code、監査ログ、レジデンシールーティング)は、LLMトラフィックに適用される標準的なコントロールプレーンのプラクティスです。EU AI Actの日付と義務は、2026年5月時点での欧州委員会が公表したタイムラインと報告をまとめたものであり、今後の改訂(特にトリローグにおけるDigital Omnibus提案)の対象となります。本記事はエンジニアリング上のガイダンスであり、法的助言ではありません。説明されているゲートウェイコントロールは特定の義務を満たすのに役立つものであり、それ自体でコンプライアンスを構成するものではありません。ご自身のユースケースについては、最新の規制要件および有資格の法律顧問にご確認ください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






