FIPS準拠のためのTrueFoundry AIゲートウェイの活用

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
速度、セキュリティ、主権:FIPS準拠AIゲートウェイ
今日の公共部門では、衝突が起きています。一方には、 止められない力 の生成AIがあります。機関のリーダーたちは、大規模言語モデル(LLM)が文書処理時間を数日から数秒に短縮できることを知っています。彼らは、莫大な効率向上への可能性を見出しています。
もう一方には、 不動の存在:コンプライアンスです。具体的には、連邦情報処理標準(FIPS)の要件です。これらは単なる形式的な手続きではなく、政府データにとって譲れない物理法則なのです。
一般的な考えでは、選択を迫られます。 速度かセキュリティか。 ルールを破るような、モダンでアジャイルなAIスタックを持つか、あるいは、準拠していて「安全」だが時代遅れのスタックを持つか、です。
私たちはそうは思いません。選択する必要はありません。必要なのは適切なアーキテクチャだけです。それを私たちは、 Truefoundry AI Gatewayを通じて提供します。 私たちはこれを 「オンプレミス・クラウド」戦略と呼んでいます。
コンプライアンスが必須である理由
解決策について話す前に、問題について、外交的かつ直接的に述べましょう。なぜFIPSが必要なのでしょうか?なぜOpenAIやAnthropicの標準APIキーをそのまま使えないのでしょうか?
経営幹部向け概要:FIPS義務化と「秘密の」問題
解決策を議論する前に、制約を明確に定義する必要があります。
FIPS(連邦情報処理標準)、特にFIPS 140-3(https://csrc.nist.gov/pubs/fips/140-3/final)は、暗号モジュールに関する米国政府の公式標準です。これは単に「データは暗号化されていますか?」と問うものではありません。はるかに厳格な問いを投げかけます。「暗号化を実行する特定の数学的モジュールは、NIST認定ラボによって検証されていますか?」
政府機関にとって、これは譲れない点です。データ、あるいはそのデータを保護する秘密が、未検証のモジュール(ほとんどの商用ソフトウェアに見られる標準的なOpenSSLなど)によって処理される場合、監査人の目には、実質的に「平文」と見なされます。
現代AIとの衝突:秘密の管理 FIPSと生成AIの交差点は、APIキーに関して重大な脆弱性を生み出します。現代のLLM(GPT-4やClaude 3.5など)は、長期的な秘密、つまりAPIキーを交換することで機能し、これにより機関のデータや予算へのアクセスが許可されます。
- SaaSのリスク: 標準的なSaaS展開では、これらの価値の高いAPIキーをベンダーのクラウドにアップロードします。管理権を失います。そのベンダーが、未検証の暗号化に依存する標準的なデータベースにそれらを保存する場合、あなたは実質的に資格情報を未承認の環境に晒していることになります。
- オンプレミスのアドバンテージ: Truefoundryを「オンプレミス」でデプロイすることで、主権を取り戻します。APIキーは、お客様自身のAWS Secrets ManagerまたはAzure Key Vault(これらはFIPS検証済みのサービスです)に保存されます。AIゲートウェイは、リクエストに署名するために必要なほんの一瞬だけ、プログラムによってそれらを取得します。キーはFIPS検証済みの境界を離れることはなく、ソフトウェアベンダーから見えることもありません。
シャドーAIの結果: 機関がこれらのキーに対して準拠したアーキテクチャを提供できない場合、チームは勝手な行動を取らざるを得なくなります。
- Samsungの事例: 2023年、Samsungの善意あるエンジニアが、最適化のために独自のコードをChatGPTの公開バージョンに貼り付けました。彼らは何も「ハッキング」したわけではなく、ただ効率的であろうとしただけです。その結果、機密性の高い知的財産が公開されてしまいました。
- Equifaxの教訓: 大規模な情報漏洩は、暗号化が欠けていたからではなく、実装が不十分だった(脆弱なキー、期限切れの証明書など)ために発生することがよくあります。FIPSは、これを義務付けることで防ぎます。 検証済みの 暗号モジュール。
要点: チームにAIを使用するための安全で準拠した方法を提供しない場合、彼らは安全でない方法を見つけてそれを行うでしょう。
解決策:クラウド上のTruefoundry「オンプレミス」
TruefoundryはAIゲートウェイであり、LLMとのやり取りを管理するコントロールプレーンです。モデルルーティング、キャッシング、コスト追跡といったフロンティアクラスの機能を提供します。
まず、皆さんが気になっている点についてお話ししましょう。 Truefoundryのソフトウェア自体はFIPS 140-2の認証を受けていません。 堅牢な商用認証を保持しており、例えば SOC 2 Type IIやHIPAAこれは、エンタープライズ用途において成熟しており、安全であることを証明しています。しかし、防衛関連のワークロードに必要とされる特定のFedRAMP High認証は取得していません。
では、政府機関の環境でどのように利用するのでしょうか?
私たちは 「フォートレス戦略」を採用しています。
Truefoundryの データプレーンを セルフホスト型(「オンプレミス」)のワークロードとして 内部に お客様の既存の AWS GovCloud または Azure Government Microsoft AzureのAzure Government Google Public Sector GCPの環境(本ブログでは、説明のためにAWS GovCloudを例に挙げますが、AzureおよびGCPにも同じ原則が適用されます)にデプロイします。
- The Tank(インフラストラクチャ): AWS GovCloudはFIPS検証済みの保護を提供し、物理的セキュリティと負荷の高い暗号化処理を担います。
- エンジン (Truefoundry): AIゲートウェイはスピードとインテリジェンスを提供します。
アプリケーションをセキュアなインフラストラクチャ内に配置することで、 継承によりコンプライアンスを達成します。
アーキテクチャの詳細解説:要塞
FIPS準拠のシェル内に非FIPSソフトウェアをどのように隔離するのでしょうか?私たちはTruefoundry Gatewayを、AWSサービスによって保護された「ブラックボックス」として扱います。

図1:全体的な概念モデル
略語解説(この方法で構築した理由)
- FIPS対応ALB (Application Load Balancer): これは私たちの「用心棒」です。このALBをFIPS 140-3、または以前のFIPS 140-2で検証された暗号スイートを使用するように設定します。ここでTLS接続を終端します。これは、「暗号ハンドシェイク」がTruefoundryコンテナではなく、AWSの検証済みハードウェアによって処理されることを意味します。アプリケーションは、イングレスに関してこのコンプライアンスを実質的に「継承」します。
- エアギャップVPC: ゲートウェイは、インターネットへの直接ルートがないプライベートサブネット内に存在します。ALBから話しかけられたときにのみ「話す」ことができ、または厳格なNATゲートウェイファイアウォールを介して特定のLLMプロバイダーに「ささやく」ことができます。
- WORMストレージ (Write Once, Read Many): 監査ログは、オブジェクトロックが有効なAmazon S3にルーティングされます。これにより、コンプライアンス担当者を満足させる、法的に防御可能な監査証跡が作成されます。一度ログが書き込まれると、削除することはできません。
ユーザー体験:アレックスとの「安全なスピード」
アーキテクチャ図はエンジニアにとって素晴らしいものですが、これが日常の現実をどのように変えるかを見てみましょう。 アレックス、シニアアナリストです。このワークフローは、「フォートレス」が現実世界のタスクを処理し、同時に組織をミスから保護する方法を示しています。
ミッション: アレックスは、ベンダーからの提案書を持っており、そこには 管理非機密情報(CUI) および個人特定情報(PII)が含まれる可能性があります。彼は20分で要約を作成する必要があります。

図2:TrueFoundryのMeritsによるユーザーワークフロー
フェーズ1:アクティブプロテクション(「セーフティネット」)
アレックスはテキストをTruefoundryのUIに貼り付けます。彼は、4ページ目にベンダーの 納税者番号が含まれていることに気づきません。
- 傍受: アレックスがエンターキーを押すと、Truefoundryの ガードレール が入力内容を即座にスキャンします。
- アクション: システムは納税者番号のパターンを検出します。単にリクエストをブロックするだけでなく、外科的に 墨消し します。
- 結果: 実際にLLMに送られるプロンプトは安全です。アレックスに通知が届きます。 「税務IDが見つかりました!墨消し中...」 彼は意図しない情報漏洩から保護されます。
フェーズ2:モデル非依存性(「ピボット」)
システムは、墨消しされたプロンプトを Bedrock上のLlama 3にルーティングします。要約は「いまひとつ」という結果でした。
- 切り替え: アレックスはIT部門に電話する必要はありません。彼は 「Claude 3.5 (Azure)」 をドロップダウンメニューから選択し、「再生成」をクリックします。
- ルーティング: Truefoundryは、リクエストを自動的にまったく異なるクラウドプロバイダーに再ルーティングします。AzureとAWSでの認証の複雑さはアレックスには意識されません。彼はただ、より良い回答を得るだけです。
フェーズ3:コストと監査(「証跡」)
アレックスが「完璧な要約」を得ると、2つのバックグラウンド処理がトリガーされます。
- キャッシュ: 回答は保存されます。もし同僚が明日同じ質問をしても、費用は0.00ドルで即座に回答を得られます。
- 監査ログ: システムは、墨消しイベントとコスト(0.42ドル)を含むやり取り全体をログに記録し、永続的な記録保持のためS3 WORMストレージを介してマネージャーに送信します。
結論:相乗効果の源
Truefoundryの「オンプレミス」アプローチは、政府機関が両方のメリットを享受することを可能にします。
TruefoundryデータプレーンをAWS GovCloud内に組み込むことで、以下のようなシステムを構築できます。
- 主権性: データは、許可なくお客様の管理下を離れることはありません。
- 俊敏性: テクノロジーの進化に合わせて、モデル(OpenAI、Anthropic、Llama)を瞬時に切り替えることができます。
- 準拠性: AWSの既存のFIPS認証を活用して、アプリケーションを保護します。
これは単にコンプライアンスフォームのチェックボックスにチェックを入れること以上の意味を持ちます。アレックスのような人々が、安全かつ効率的に、そして次のニュースの見出しになることを恐れることなく、職務を遂行できるよう支援することなのです。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.





















