Blank white background with no objects or features visible.

TrueFoundryはSeldon AIの買収を発表し、エンタープライズAI向けコントロールプレーンを拡張します。プレスリリース全文はこちら→

規制業界におけるLLMデプロイメント:HIPAA、SOC2、GDPRプレイブック 2026年版

By アシシュ・ドゥベイ

Published: July 4, 2026

規制対象企業で大規模言語モデルを導入する際の技術的課題は、主に機械学習の問題ではありません。モデルは存在し、機能しており、医療、金融、保険といった重要なユースケースに十分対応できます。課題はモデルを取り巻くアーキテクチャにあります。つまり、誰がデータを管理し、どこを流れ、何がログに記録され、誰がベンダーを承認し、コンプライアンスチームがそれらすべてを規制当局にどのように説明できるか、ということです。

従業員9万人を擁し、FDA規制対象のデバイスポートフォリオを持つメドトロニックは、AIを本番環境で稼働させています。Innovaccerは、管理された臨床インテリジェンスプラットフォーム内で、保護された医療情報を大規模に処理しています。英国GDPRの下で事業を展開するアビバは、保険業務全体でAIを活用しています。シーメンスヘルシニアーズは、複数の規制管轄区域で同時にAIを展開しています。これらは概念実証ではありません。これらは、法務、コンプライアンス、ITセキュリティの審査を通過した、エンタープライズ規模の本番環境導入事例です。

これらの導入を可能にしたアーキテクチャが、このプレイブックの主題です。医療、金融サービス、保険における具体的な規制要件、それらの要件がもたらす技術的決定、そして同様の承認プロセスを経ようとしているチームにとって、管理されたVPC分離型デプロイメントが実際にどのようなものかについて解説します。

規制産業におけるAI導入が異なる点

規制対象と非規制対象のAI導入の違いは、主に技術的なものではありません。基盤となるモデルは同じです。違いは法的義務、説明責任の構造、監査負担にあり、これらがアーキテクチャの決定を根本から変えます。

  • データ処理ルールは外部で設定されます。 規制環境では、データの許容される使用方法はエンジニアリングの判断ではなく、法令によって定義されます。患者記録を外部APIに送信するAIシステムは、技術的には優れていても、同時にHIPAA違反となる可能性があります。実装の技術的な洗練度は、法的基準とは無関係です。重要なのは、データがどこに送られたか、そしてそこに送ることが許可されていたかどうかです。
  • AIシステムは規制監査の対象となります。 医療、金融サービス、保険の規制当局は、AIシステムがアクセスしたデータ、それらのシステムが影響を与えた決定、導入を承認した者、および人間の監視プロセスがどのようなものであったかを組織が文書化することをますます期待しています。HIPAAセキュリティ規則は、リスク評価に基づき、保存時および転送時の暗号化を含む適切な保護措置を要求しています。コンプライアンスを実証する責任は、常に組織にあります。
  • AIベンダーもコンプライアンスの対象となります。 あなたに代わって保護された医療情報(PHI)を作成、受領、維持、または送信するベンダーは、HIPAAの下でビジネスアソシエイトと見なされ、PHIがそのインフラストラクチャに触れる前に署名済みのBAA(事業提携契約)が法的に必要です。ほとんどの標準的な公開LLM APIサービスは、デフォルトではBAAの対象外であり、エンタープライズ契約または代替の導入モデルが必要です。AWS BedrockとAzure OpenAI Serviceは、特定の構成要件を満たせばBAAの対象となるオプションを提供していますが、対象となることとコンプライアンスは同じではありません。
  • データレジデンシーにより、SaaSの選択肢が完全に排除される場合があります。 GDPRの対象となる個人データを処理する欧州の保険会社は、標準契約条項(SCC)の取り決めまたはその他の承認されたGDPR転送メカニズムなしに、そのデータを米国拠点のインフラストラクチャ経由でルーティングすることは法的にできません。多くのSaaS AIゲートウェイ製品は米国拠点であるため、技術的な導入を開始する前にEUから米国へのデータ転送に関する文書を完了する必要があります。一部の組織やデータタイプにとっては、これによりSaaSの選択肢が完全に排除されます。
  • 監査証跡は必須であり、構造化されている方が優れています。 AIによるアクセスを含む、規制対象データへのすべてのアクセスは監査記録を生成する必要があります。HIPAAの場合、その記録にはタイムスタンプ、アクセス者のID、実行されたアクション、およびアクセスされたPHIへの参照が含まれている必要があります。構造化されたJSON形式でこれらの記録を自動的に生成するAIシステムは導入可能です。事後に手動でのログ相関が必要なシステムは、規制当局が同等と認めないコンプライアンス上のギャップを生じさせます。

医療分野:LLM導入におけるHIPAA要件

HIPAAは、保護された医療情報(PHI)を扱うあらゆるシステムを対象とします。LLMの導入は、モデルがプロンプトでPHIを受信できる場合、モデルに渡される検索拡張生成コンテキストにPHIが含まれる場合、またはモデルの出力が個々の患者に関する決定に影響を与える場合に、対象となります。臨床ノートの要約、患者記録分析、診断支援ツール、事前承認サポートはすべてこの範囲に含まれます。

3つのHIPAA規則が、LLM導入アーキテクチャを直接的に形成します。プライバシー規則は、PHIを何に利用できるか、誰がアクセスできるかを規定し、特定のタスクに必要なものにデータ公開を制限する「最小限の必要性」基準を含みます。セキュリティ規則は、電子PHIに対する管理上、物理的、技術的な保護措置(アクセス制御、監査ログ、送信セキュリティなど)を要求します。侵害通知規則は、制御が失敗した場合に何が起こるかを定めます。これら3つすべてに、ポリシー文書だけでなく、AIインフラストラクチャの設計方法に現れる技術的な実装要件があります。

PHIの分離:ほとんどのクラウドLLM APIが臨床用途に適さない理由

  • OpenAI、Anthropic、Googleが提供する標準的なコンシューマー向けAPIは、一般的にHIPAA規制対象のワークロード向けには設計されておらず、通常、公開エンドポイントに対して事業提携契約(BAA)を提供していません。BAAが締結されていない状態で、事業提携者として機能する第三者サービスにPHIが送信されると、これはHIPAAコンプライアンス違反となります。これは、ベンダーガバナンスプロセスよりも迅速に進められる初期の企業AI導入において、最も一般的な失敗モードの一つです。
  • AWSとMicrosoftはどちらも、自社プラットフォーム内の特定の対象サービスをカバーするHIPAA事業提携契約を提供しています。AWSは標準BAAの下で対象サービスを含めていますが、Microsoftはオンラインサービスデータ保護補遺を通じてカバーしています。しかし、コンプライアンスは、対象となるサービスのみを使用し、それらを正しく設定することにかかっています。保存時および転送時の暗号化、監査ログ、最小権限のIAM制御が必要です。BAAの締結は前提条件であり、コンプライアンスの最終状態ではありません。
  • PHIを扱う臨床用途では、VPC分離型または自己ホスト型モデルのデプロイが最もクリーンなアーキテクチャ境界を提供します。モデルが組織自身のクラウドアカウント内で実行される場合、PHIは企業境界内に留まり、外部のモデルプロバイダーに公開されることはありません。これにより、第三者のモデルAPIベンダーとの別途BAAは不要になりますが、全体的なコンプライアンス体制の一部として、基盤となるクラウドプロバイダー(AWSやAzureなど)とのBAAは引き続き必要です。
  • 限られたシナリオで外部モデルAPIを使用する必要がある組織にとって、データマスキングまたは非識別化は有効なパターンとなり得ます。機密性の高いフィールドは、リクエストが送信される前に削除またはトークン化され、応答が返された後にのみ制御された環境内で再構築されます。これがコンプライアンスに準拠するためには、変換によって識別可能なPHIが外部サービスに公開されないことを保証する必要があり、そのプロセスは組織のコンプライアンス管理の一部として文書化され、検証され、監査人に対して実証可能でなければなりません。

AIシステムにおけるHIPAA監査ログ要件

  • HIPAAセキュリティ規則は、対象事業体および事業提携者に対し、電子PHIを扱うシステムにおける活動を記録および調査する監査管理策を実装することを義務付けています。実際には、これはシステムが、調査と説明責任をサポートする方法でアクセスイベントを捕捉するログを生成する必要があることを意味します。規制は正確なフィールドを規定していませんが、業界標準の実装には、タイムスタンプ、ユーザーまたはシステムID、実行されたアクション、アクセスされたデータまたはシステムが含まれます。LLMのデプロイメントでは、どのユーザーまたはエージェントがリクエストを開始したか、どのモデルがそれを処理したか、そして何が起こったかを再構築するのに十分なコンテキストを捕捉することにまで及びます。集計された使用状況メトリクスだけでは、監査やインシデント調査をサポートするには不十分です。
  • HIPAAは、セキュリティ管理策に関連する文書(該当する場合は監査記録を含む)を最低6年間保持することを義務付けています。さらに、システムは、ログが不正な改ざんや削除から保護されるように整合性管理策を実装する必要があります。実際には、これは多くの場合、追記型(WORM)構成、厳格なアクセス制御、および運用チームによる変更を防止する集中型ログ管理システムなどの改ざん防止ストレージメカニズムを通じて実現されます。
  • HIPAAは、ePHIを含むシステムにアクセスするユーザーを一意に識別し、認証するメカニズムを義務付けています。その結果、監査ログはアクセスイベントを特定の個人またはシステムIDに帰属させることができなければなりません。ユーザーレベルの帰属なしに共有サービスアカウントやAPIキーのみに依存する実装は、説明責任にギャップを生じさせ、監査および調査要件を満たすことを困難にします。現代のAIシステムでは、これは通常、エージェントやゲートウェイを通じて実行されたアクションを元のユーザーに遡って追跡できるように、ID認識型アクセス制御を統合することを必要とします。

アクセス制御要件

  • HIPAAは、PHIへのアクセスが、一意のユーザー識別、認証、ロールベースのアクセス制御を含む技術的および管理上の保護措置を通じて制御されることを義務付けています。さらに、プライバシー規則は、PHIの使用および開示に関して「必要最小限」の基準を強制します。実際には、これはアクセスが文書化されたプロセスを通じてプロビジョニングおよび管理され、権限がユーザーの役割に合わせられる必要があることを意味します。AIシステムの場合、これには2つの意味合いがあります。第一に、アクセスは、特定のユーザーに帰属できない共有APIキーではなく、組織のIDプロバイダーを通じて個々のIDに紐付けられるべきです。第二に、ロールベースの制御は、ユーザーがその機能に適したAI機能のみにアクセスできることを保証する必要があります。例えば、PHIの公開レベルが異なる請求ワークフローと臨床ワークフローを分離するなどです。
  • 必要最小限の基準は、PHIがシステム内でどのように使用されるかにも適用され、単にどのユーザーがアクセスを開始するかだけではありません。AIシステムでは、これはモデルのプロンプトやコンテキストに含まれるデータにまで及びます。構造化されたフィールドの一部のみが必要な場合に、完全な患者記録を渡すことは、必要最小限の原則に合致しない可能性があります。HIPAAはAIプロンプトにこれがどのように適用されるかを明示的に定義していませんが、組織はタスクに必要な範囲にPHIの公開を制限することが求められます。これをインフラ層で強制すること、例えばユーザーの役割とユースケースに基づいてコンテキスト認識型データポリシーを適用するAIゲートウェイを通じて行うことは、アプリケーションレベルの実装に依存するのではなく、一貫した遵守を確保するための一つのアプローチです。

金融サービス:LLMデプロイメントにおけるSOC2および規制要件

LLMを導入する金融サービス企業は、多層的な規制環境に直面しています。SOC2 Type II要件は、テクノロジーインフラストラクチャに適用されます。OCC、連邦準備制度理事会、およびFINRAのAIおよびモデルリスクに関するガイダンスは、金融上の意思決定に使用されるモデルに適用されます。そして、2026年8月からEU域内での運用に適用される高リスクAIシステムに関するEU AI法規定は、国際的な組織にとってさらなる層を追加します。これらのフレームワークは、AIゲートウェイおよびモデルデプロイメントインフラストラクチャに特定のアーキテクチャ要件を生み出す形で重複しています。

AIインフラストラクチャにおけるSOC2 Type II管理策

  • 金融データを扱うAIゲートウェイおよびモデルデプロイメントプラットフォームは、監査対象のデータまたはシステムに触れる場合、SOC2 Type II評価の対象となります。関連するトラストサービス基準は、CC6(論理的および物理的アクセス制御)、CC7(システム運用監視)、CC8(変更管理)、およびCC9(リスク軽減)です。各基準は、AIゲートウェイ内またはその隣に存在しなければならない特定の技術的制御を要求します。
  • AIゲートウェイのデプロイメントで最も一般的なSOC2の指摘は、APIレベルでの不十分なアクセス制御です。具体的には、個人にアクセスを帰属できない共有サービスアカウント、ソースコードに保存されたAPIキー、またはCC6で要求されるきめ細かなアクセス制御をサポートしないAIプラットフォームなどです。企業IDプロバイダーと統合し、モデルおよびチームレベルでRBACを強制するプラットフォームを選択することで、監査期間が始まる前にこれらの指摘を排除できます。
  • SOC2 Type IIは、監査期間(通常6〜12ヶ月)にわたる管理策運用の継続的な証拠を要求します。これは、監査ログが継続的に生成され、期間中ずっと保持される必要があり、監査人が要求したときにオンデマンドで取得されるものではないことを意味します。デプロイ初日から構造化された継続的なログを生成するAIゲートウェイプラットフォームは、後からログ機能が追加されたシステムよりも監査がはるかに容易です。監査証拠は、監査の瞬間だけでなく、期間全体を通じて管理策が一貫して運用されていたことを示す必要があります。

LLMにおけるモデルリスク管理(SR 11-7)

  • OCCおよび連邦準備制度理事会のモデルリスク管理に関するガイダンスSR 11-7は、信用決定、リスク評価、およびその他の規制関連プロセスで使用されるAIおよびLLMモデルに適用されます。このガイダンスは、対象となる各モデルについて3つのことを要求しています。目的、トレーニングデータ、およびテスト方法論の文書化。定義された性能基準に対する独立した検証。そして、性能追跡とドリフト検出を伴う継続的な監視です。
  • 金融サービスにおけるLLMの場合、SR 11-7に基づく文書化の負担は、モデルが稼働するインフラストラクチャにまで及びます。どのLLMが、どのチームによって、どのような意思決定のために、どの程度のコストで、どの程度のレイテンシーで、どのような出力挙動を示したか、これらすべてを文書化し、規制当局の審査に利用できるようにする必要があります。標準的なロギングの一部としてこのデータを自動的に取得するAIゲートウェイは、通常の運用における副産物としてモデルの文書化証拠を生成します。これにより、対象となる各モデルに対して本来であれば多大な手作業による文書化作業が必要となる負担が軽減されます。

保険:データレジデンシーとGDPR要件

複数の法域で事業を展開する保険会社は、データレジデンシーおよび国境を越えたデータ転送の制限に直面しており、これらがAIアーキテクチャの選択を直接的に制約します。GDPR、英国GDPR、および米国の州プライバシー法にはすべて、顧客データがどこでどのように処理されるか、AIモデルAPIに推論のために送信できるかどうかも含め、これに影響する規定があります。

  • GDPRデータ処理の法的根拠: 個人データを処理するAIシステムは、GDPR第6条に基づく文書化された法的根拠を持たなければなりません。ほとんどの保険AIユースケースでは、その根拠は正当な利益または契約上の必要性のいずれかです。いずれの場合も、処理が文書化され、目的に対して適切であり、組織のプライバシー通知で開示されている必要があります。文書化された法的根拠なしに個人データを処理するAIシステムは、世界年間売上高の4%に達する罰金が科される可能性がある枠組みの下で、直接的な規制上のリスクを生じさせます。
  • 国境を越えた転送の制限: EU居住者の個人データをEU圏外のAIインフラストラクチャに送信する場合、標準契約条項(SCC)の取り決め、またはGDPRで承認された別の転送メカニズムが必要となります。多くのAI SaaSプロバイダーは米国を拠点としています。EUから米国へのデータ転送に関するコンプライアンス文書は、技術的な展開が始まる前に法務部門の関与のもとで完了する必要があります。一部のデータタイプや組織のリスク許容度によっては、この要件により、法域の境界を越えるデータ転送がない、欧州内または完全にVPC分離されたデプロイメントが実質的に必要となります。
  • 第30条に基づく処理記録: GDPRは、組織に対し、AIシステムを対象とする処理活動の記録を保持することを義務付けており、処理目的、データカテゴリ、国際転送の有無、適用されるセキュリティ対策を記述します。AIゲートウェイの監査ログはこれらの記録の生データを提供しますが、データカテゴリ、処理目的、転送先を含む必要なフィールドを、コンプライアンスチームが要求に応じて規制当局に提出できる形式で取得するように構成する必要があります。
  • 自動化された意思決定に対する説明を受ける権利: GDPR第22条は、個人に重大な影響を与える完全に自動化された意思決定を制限し、個人に対し、その決定がどのように行われたかについて意味のある説明を受ける権利を付与しています。引受または保険金請求処理を支援する保険AIシステムは、後付けではなく、人間のレビュー機能と説明生成がワークフローに組み込まれるように設計されなければなりません。AIの推奨事項が人間の意思決定者にどのように伝達されるかに関するアーキテクチャの決定は、単なる製品設計の選択ではなく、コンプライアンス上の決定です。

VPC分離型アーキテクチャ:実際の運用例

VPC分離型LLMデプロイメントは、規制対象業界の最も広範な要件を同時に満たすアーキテクチャパターンです。HIPAAにおけるPHIの分離、GDPRにおけるデータレジデンシー、SOC2におけるネットワークセキュリティ制御、金融サービス規制当局に対する運用上の説明責任はすべて、適切に実装されたVPCデプロイメントから派生します。これが実際に何を意味するのかを理解することは、承認の話し合いの前にコンプライアンス、インフラストラクチャ、およびセキュリティチームが必要とすることです。

  • 境界内AIゲートウェイ: ゲートウェイは、組織のVPC内でコンテナ化されたサービスとして稼働します。すべてのLLM API呼び出しは、この内部ゲートウェイを経由します。どのアプリケーションも外部モデルプロバイダーと直接通信することはありません。ゲートウェイは、外部APIへのエグレス機能を持つ唯一のコンポーネントであり、規制対象データを含まない特定のユースケースに対してデプロイされたアーキテクチャが外部モデルアクセスを許可する場合にのみ、その機能を持つことになります。完全に分離されたデプロイメントでは、そのエグレスさえも存在しません。
  • 境界内モデルサービング: HIPAAおよび厳格なデータレジデンシー要件の場合、LLM自体がVPC内で稼働します。同じAWSアカウント内でアクセスされるAWS Bedrock、適切なBAA(事業提携契約)が適用されたAzureサブスクリプション内のAzure OpenAI Service、またはクラウドアカウント内のGPUインフラストラクチャ上で自己ホストされるオープンソースモデルはすべて、この要件を満たします。完全に分離されたデプロイメントでは、リクエストライフサイクルのいかなる時点においても、モデル推論データが組織のクラウドアカウント境界を離れることはありません。
  • 顧客所有ストレージ内の監査ログ: すべての監査ログは、組織自身のロギングインフラストラクチャ(CloudWatch、Azure Monitor、Splunk、または顧客指定のSIEM)に書き込まれます。規制対象情報を含む可能性のあるログデータは、ベンダーのSaaSロギングサービスに転送されることはありません。保持ポリシー、アクセス制御、および改ざん防止ストレージ構成は、ベンダーの保持設定に依存することなく、組織のコンプライアンスチームによって管理されます。
  • ベンダーによる本番トラフィックへのアクセスなし: 適切に実装されたVPC分離型デプロイメントでは、本番環境での推論トラフィック、プロンプトの内容、モデルの応答は、ベンダーが管理するインフラを経由するのではなく、顧客のクラウド環境内に留まります。これにより、機密性の高いデータフローに対する外部からの可視性が大幅に低減され、データレジデンシーおよびプライバシー要件に準拠します。必要に応じたサポートアクセスは、永続的なアクセスではなく、顧客の明示的な承認を得た、管理された時間制限付きの「ブレークグラス」手順によって管理されます。このアーキテクチャにより、本番パスにおける規制対象データへのベンダーの露出が最小限に抑えられますが、プラットフォームソフトウェアとサポートに関するベンダーとの関係は、組織全体のコンプライアンス範囲内に留まります。

TrueFoundryが規制業界のLLMデプロイメントをどのように解決するか

TrueFoundryは、AWS、Azure、GCP上の顧客のクラウドアカウント内に完全にデプロイされます。プロンプトの内容、モデルの応答、MCPツールの呼び出しパラメータ、監査ログデータを含むいかなる本番データも、TrueFoundryのインフラに到達するために企業の境界を離れることはありません。これはデプロイメントオプションではありません。エンタープライズデプロイメントにおけるデフォルトのアーキテクチャであり、プレミアムティアではありません。

  • デフォルトでのVPC分離型デプロイメント: TrueFoundryは、Infrastructure-as-Codeを使用して顧客自身のクラウドアカウント内にデプロイされます。AIゲートウェイ、MCPゲートウェイ、管理UI、監査ログストレージはすべて顧客の境界内で動作します。4つのデプロイメントオプションは、インフラコストなしのフルマネージドSaaSから、顧客アカウント内でのフルコントロールプレーンとゲートウェイプレーンの組み合わせ(インフラコスト月額約800ドルから1,000ドル)まで、幅広いニーズに対応します。規制対象のワークロードの場合、オプション3と4は、TrueFoundryのインフラをデータが通過しないことを保証します。TrueFoundryのサポートアクセスは、顧客の承認を得た文書化されたブレークグラス手順を使用します。
  • HIPAA、SOC2、GDPRに準拠した構造化監査ログ: すべてのLLM呼び出しは、X-TFY-LOGGING-CONFIGヘッダーを介して構造化されたJSON監査ログエントリを生成します。ゲートウェイレベルでは、セルフホスト型デプロイメントにおけるREQUEST_LOGGING_MODE: ALWAYSにより、設定のずれなくすべてのリクエストが確実にキャプチャされます。ログフィールドには、ユーザーID、モデル、トークン数、レイテンシ、コスト、ポリシー決定、出力が含まれます。ログはOpenTelemetryを介してGrafana、Datadog、Splunk、または任意のOTLP互換SIEMにエクスポートされます。セルフホスト型デプロイメントでは、ログデータは顧客自身のAWS S3、GCS、またはAzure BlobストレージにParquet形式で、設定可能な保持期間で書き込まれます。WORMモードのS3 Object Lockは、HIPAAの改ざん防止保持要件である最低6年間を満たします。
  • 臨床およびエンタープライズIDシステムとのSSO統合: TrueFoundryは、Okta、Azure Active Directory、PingFederate、およびSAML 2.0またはJWKS互換のあらゆるIDプロバイダーと統合します。アクセスプロビジョニングは、組織の標準的なIDライフサイクル管理プロセスに従います。チームに参加する開発者は、他のシステムをプロビジョニングするのと同じIdPワークフローを通じてAIゲートウェイアクセスを取得します。退職する開発者は、同じオフボーディングワークフローを通じてアクセスが取り消されます。個別に維持または監査する必要のある、独立したAIゲートウェイ認証システムはありません。
  • 規制対象ワークロード向けの承認済みモデルカタログ: プラットフォーム管理者は、どのデータタイプとユースケースにどのモデルが承認されているかを定義します。臨床チームは、PHIを含むプロンプトをBAA非対象モデルにルーティングすることはできません。これは、リクエストが境界を離れる前に、ゲートウェイがルーティング層でモデルとユースケースのポリシーを強制するためです。このポリシー強制は、アプリケーション層ではなくAIゲートウェイで行われるため、どのアプリケーションやエージェントがリクエストを開始したかに関わらず、一貫して適用されます。
  • 規制業界における検証済みの本番デプロイメント: FDA規制対象の医療機器ポートフォリオを持つMedtronicは、TrueFoundryを本番環境で稼働させています。Siemens Healthineersは、複数の管轄区域にわたる規制に準拠したグローバルな医療技術事業でこれを使用しています。Innovaccerは、HIPAAに準拠したAWS GovCloud内で、TrueFoundryのゲートウェイとOpenTelemetryを介してGrafanaダッシュボードにデータを供給し、クラウド境界からデータが出ることなく、毎月約1,700万件の臨床AI推論リクエストを処理しています。Avivaは、GDPRに準拠した英国の保険事業でTrueFoundryを運用しています。ResMedは、デジタルヘルスアプリケーションにこれを使用しています。これらは、規制コンプライアンスの承認を得たエンタープライズ規模の本番デプロイメントであり、パイロット版ではありません。

The fastest way to build, govern and scale your AI

Sign Up
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
OpenRouter vs AI Gateway
July 4, 2026
|
5 min read

OpenRouter 対 AIゲートウェイ:どちらがあなたに最適ですか?

comparison
July 4, 2026
|
5 min read

プロンプトエンジニアリング:LLMとの対話方法を学ぶ

Thought Leadership
LLMs & GenAI
July 4, 2026
|
5 min read

True ML Talks #12 - Llama-Index共同創設者

True ML Talks
July 4, 2026
|
5 min read

AIワークロードがクラウド料金を膨らませていませんか?

Thought Leadership
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Frequently asked questions

Does TrueFoundry sign a HIPAA Business Associate Agreement for enterprise deployments?

TrueFoundry’s VPC-isolated deployment model is designed to reduce how much PHI ever interacts with vendor-managed infrastructure. In deployment configurations where both the control plane and gateway components run entirely inside the customer’s own cloud account, production prompts, model responses, and audit logs remain inside the customer’s environment rather than passing through systems operated by TrueFoundry.

The requirement for a Business Associate Agreement depends on whether PHI is created, received, maintained, or transmitted by a third party on behalf of the covered entity. In practice, that determination comes down to the actual data flow and the role TrueFoundry plays in the deployment. Organizations should evaluate BAA scope with TrueFoundry’s enterprise team based on their architecture, their compliance posture, and how PHI moves through the system.

Can TrueFoundry's VPC deployment be certified for HIPAA without routing any PHI through TrueFoundry infrastructure?

Yes. In VPC-isolated deployments where the gateway and control components are hosted inside the customer’s own AWS, Azure, or GCP account, PHI can be processed entirely within the enterprise boundary. The model inference request, the response, and the audit log of that interaction all remain inside the customer’s cloud environment rather than traversing external vendor infrastructure.

That said, HIPAA compliance is not determined by architecture alone. It depends on the full system configuration: identity controls, access policies, audit logging, and the use of HIPAA-eligible services across the data path. Even in a VPC deployment, organizations must assess whether any vendor participates in handling PHI as part of the workflow, because that is what ultimately defines whether a Business Associate relationship exists.

What LLM providers are available for VPC-isolated deployment that do not require sending data to an external API?

Three viable approaches exist for fully VPC-isolated inference. AWS Bedrock, accessed within the same AWS account, keeps inference within AWS-managed infrastructure inside the customer’s account boundary when properly configured. Models available include Claude Sonnet, Llama variants, Mistral models, and others, with the specific catalog depending on the AWS region. Azure OpenAI Service, accessed within an Azure subscription covered by Microsoft's BAA, provides GPT-4 and other models within the Azure boundary. Self-hosted open-source models including Llama 3, Mistral, and their derivatives can be deployed on GPU infrastructure inside the customer's cloud account and served through TrueFoundry's model deployment layer, with the gateway routing requests to the internal endpoint.

TrueFoundry's Virtual Models configuration allows platform administrators to create named model endpoints that route to any of these options, so applications call a stable internal endpoint and the underlying model can be changed or upgraded without application code changes.

How does TrueFoundry handle audit log retention to meet HIPAA's 6-year retention requirement?

On self-hosted deployments (Options 3 and 4), audit logs write to the customer's own AWS S3, GCS, or Azure Blob storage in Parquet format. The customer configures retention policy, access controls, and storage class directly in their cloud account. AWS S3 Object Lock in WORM (Write Once Read Many) mode provides tamper-evident storage that satisfies HIPAA's requirement for audit records that cannot be modified or deleted by the teams generating them. Retention periods are set by the customer's compliance team to the six-year HIPAA minimum or longer depending on organizational policy. Log format, retention configuration, and access controls are documented for audit evidence production without involving TrueFoundry support.

Can TrueFoundry be configured to prevent specific teams from routing certain data types to external model providers?

Yes, through two complementary controls. At the routing layer, Virtual Models and model catalog configuration define which model endpoints are available to which teams and users. A clinical team's model catalog can be restricted to VPC-hosted models only, with no external provider endpoints visible or accessible. At the guardrail layer, TrueFoundry's LLM Input guardrails can detect and block PHI or other regulated data types in prompts before they reach any model, with PII Detection and custom Regex Pattern Matching available to flag sensitive content. When an input guardrail triggers, the request is blocked before reaching the model. The guardrail result is logged with the detection reason for audit evidence. Both controls operate at the AI gateway layer and apply consistently across all applications using the platform.

What documentation does TrueFoundry provide for SOC2 Type II audits covering the AI gateway infrastructure?

TrueFoundry holds SOC2 Type II certification. For customer audits, TrueFoundry can provide its SOC2 Type II report for auditors reviewing the platform as part of the customer's vendor risk assessment. For the AI gateway infrastructure itself, the audit evidence is primarily generated from the customer's own TrueFoundry deployment: structured audit logs showing continuous operation of access controls throughout the audit period, RBAC configuration documentation, IdP integration records showing identity lifecycle management, and guardrail configuration and execution logs. TrueFoundry's solutions team can work with customers' audit preparation processes to identify which log fields and configuration exports are needed for each SOC2 trust service criterion under review.

Take a quick product tour
Start Product Tour
Product Tour