規制の厳しい業界におけるLLMデプロイメント:2026年版 HIPAA、SOC2、GDPR対応プレイブック

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
規制の厳しいエンタープライズにおいて大規模言語モデル(LLM)をデプロイする際、技術的な課題の本質は機械学習そのものの問題ではありません。モデルはすでに存在し、正常に機能しており、本格的な臨床、金融、保険などのユースケースに十分対応できる機能を備えています。課題となるのは、モデルを取り巻くアーキテクチャです。誰がデータを管理し、データがどこへ流れ、何がログに記録され、誰がベンダーを承認したのか、そしてコンプライアンスチームが規制当局に対してこれらすべてをどのように証明できるかという点にあります。
90,000人の従業員を擁し、FDAの規制対象となる医療機器ポートフォリオを持つMedtronicは、本番環境でAIを運用しています。Innovaccerは、ガバナンスの効いた臨床インテリジェンスプラットフォーム内で保護対象保健情報(PHI)を大規模に処理しています。英国GDPRの下で事業を展開するAvivaは、保険業務全体でAIを活用しています。Siemens Healthineersは、複数の規制管轄区域にまたがってAIを同時にデプロイしています。これらは概念実証(PoC)ではありません。法務、コンプライアンス、ITセキュリティによる審査をクリアした、エンタープライズ規模の本番デプロイメントです。
これらのデプロイメントを可能にしたアーキテクチャこそが、本プレイブックの主題です。本書では、ヘルスケア、金融サービス、保険における具体的な規制要件、それらの要件によって導き出される技術的決定、そして同様の承認プロセスを通過しようとしているチームに向けて、ガバナンスの効いたVPC分離デプロイメントの実際の姿について解説します。

規制業界におけるAIデプロイメントの違いとは
規制のある業界とない業界におけるAIデプロイメントの違いは、主に技術的なものではありません。基盤となるモデルは同一です。違いは法的義務、責任構造、監査負担にあり、これらがアーキテクチャの決定を根本から変化させます。
- データの取り扱いルールが外部によって規定される:規制環境では、許容されるデータの使用方法はエンジニアの判断ではなく法令によって定義されます。患者記録を外部APIに送信するAIシステムは、技術的に洗練されていても、同時にHIPAA違反となる可能性があります。実装の技術的な高度さは法的な基準においては無関係です。重要なのは、データがどこへ送信され、その送信が承認されていたかどうかです。
- AIシステムが規制監査の対象となった:ヘルスケア、金融サービス、保険分野の規制当局は、AIシステムがどのデータにアクセスしたか、それらのシステムがどのような決定に影響を与えたか、誰がデプロイメントを承認したか、そして人間の監視プロセスがどのようであったかを組織がドキュメント化することをますます要求するようになっています。HIPAAセキュリティルールでは、リスク評価に基づいて、保存時および伝送時の暗号化を含む適切な保護措置が義務付けられています。コンプライアンスを証明する責任は常に組織側にあります。
- AIベンダーもコンプライアンスの対象に含まれる:貴社に代わって保護対象保健情報(PHI)を作成、受領、維持、または伝送するベンダーは、HIPAAにおけるビジネスアソシエイト(BA)に該当し、PHIがそのインフラに触れる前に署名済みのBAA(事業提携協定)を法的に必要とします。標準的なパブリックLLM APIのほとんどはデフォルトでBAAがカバーされておらず、エンタープライズ契約または代替のデプロイメントモデルが必要です。AWS BedrockおよびAzure OpenAI Serviceは特定の設定要件を満たすことでBAA対象となるオプションを提供していますが、対象資格があることと、実際のコンプライアンスを満たしていることは同義ではありません。
- データレジデンシーによりSaaSの選択肢が完全に排除される場合がある:GDPRの対象となる個人データを処理する欧州の保険会社は、標準契約条項(SCC)の締結またはその他の承認されたGDPR移転メカニズムなしに、そのデータを米国ベースのインフラに法的にルーティングすることはできません。多くのSaaS型AIゲートウェイ製品は米国ベースであるため、技術的なデプロイを開始する前にEUから米国へのデータ移転に関するドキュメントを完了する必要があります。一部の組織やデータタイプによっては、これによりSaaSという選択肢が完全に排除されます。
- 監査ログは必須であり、構造化されたものが望ましい:AIを活用したアクセスを含め、規制対象データへのあらゆるアクセスは監査記録を生成しなければなりません。HIPAAの場合、その記録にはタイムスタンプ、アクセス者の身元、実行されたアクション、およびアクセスされたPHIへの参照が含まれている必要があります。これらの記録を構造化されたJSON形式で自動的に生成するAIシステムはデプロイ可能です。事後に手動でログの関連付けを行う必要があるシステムはコンプライアンス上のギャップを生み出し、規制当局は同等と認めません。
ヘルスケア:LLMデプロイメントにおけるHIPAA要件
HIPAAは、保護対象保健情報(PHI)を取り扱うすべてのシステムに適用されます。プロンプト内でモデルがPHIを受信できる場合、モデルに渡されるRAG(検索拡張生成)コンテキスト内にPHIが含まれる場合、あるいはモデルの出力が個々の患者に関する決定に反映される場合、LLMデプロイメントは規制対象となります。臨床ノートの要約、患者記録の分析、診断支援ツール、事前承認サポートはすべてこの範囲に含まれます。
HIPAAの3つのルールが、LLMデプロイメントのアーキテクチャを直接規定します。プライバシールールは、PHIを何に使用できるか、誰がアクセスできるかを定めており、特定タスクに必要なデータのみに露出を制限する「最小限必要な原則(Minimum Necessary Standard)」もこれに含まれます。セキュリティルールは、アクセス制御、監査ログ、伝送セキュリティなど、電子PHIに対する管理・物理・技術的保護措置を求めています。侵害通知ルールは、管理策が機能しなかった場合の対応を規定します。これら3つすべてに技術的な実装要件が存在し、単なるポリシー文書にとどまらず、AIインフラの設計方法自体に反映されます。

PHIの分離:多くのクラウドLLM APIが臨床ユースケースに適さない理由
- OpenAI、Anthropic、Googleが提供する一般的な一般向けAPIサービスは、通常HIPAA規制対象のワークロード向けに設計されておらず、パブリックエンドポイントに対してBusiness Associate Agreement(BAA)を提供していません。BAAが締結されていない状態で、ビジネスアソシエイトとして機能するサードパーティサービスにPHIを送信することは、HIPAAコンプライアンス違反となります。これは、ベンダーガバナンスプロセスよりもスピードを優先した初期のエンタープライズAIデプロイメントにおいて、最もよく見られる失敗パターンの1つです。
- AWSとMicrosoftはどちらも、自社プラットフォーム内の特定の該当サービスをカバーするHIPAA Business Associate Agreement(BAA)を提供しています。AWSは標準BAAの下に対象サービスを含めており、MicrosoftはOnline Services Data Protection Addendum(オンラインサービスデータ保護補足条項)を通じてカバーを提供しています。ただし、コンプライアンスの達成は、対象サービスのみを使用し、それらを正しく設定しているかどうかに依存します。保存時および伝送時の暗号化、監査ログ、最小権限のIAMコントロールが必要です。BAAへの署名は前提条件に過ぎず、コンプライアンスのゴールではありません。
- PHIを含む臨床ユースケースにおいて、VPC分離またはセルフホスト型のモデルデプロイメントは、最も明確なアーキテクチャ境界を提供します。モデルが自社のクラウドアカウント内で実行されている場合、PHIはエンタープライズの境界内に留まり、外部のモデルプロバイダーに露出することはありません。これにより、外部のモデルAPIベンダーと個別のBAAを締結する必要がなくなります(ただし、全体的なコンプライアンス態勢の一環として、基盤となるクラウドプロバイダー(AWSやAzureなど)とのBAAは引き続き必要です)。
- 限定的なシナリオで外部モデルAPIを使用しなければならない組織の場合、データマスキングや匿名化が有効なパターンとなり得ます。リクエストを送信する前に機密フィールドを削除またはトークン化し、レスポンスが返された後に管理された環境内でのみ再構築します。これをコンプライアンスに準拠させるには、識別可能なPHIが外部サービスに露出しないことを変換プロセスによって保証し、そのプロセスをドキュメント化・検証し、組織のコンプライアンス管理の一環として監査人に提示できるようにする必要があります。
AIシステムに対するHIPAA監査ログの要件
- HIPAAセキュリティルールでは、対象事業者(Covered Entities)およびビジネスアソシエイトに対し、電子PHIを取り扱うシステム内のアクティビティを記録・調査する監査コントロールの実装を義務付けています。実際には、調査や責任追跡をサポートする形でアクセスイベントを記録するログをシステムが生成しなければならないことを意味します。規制自体は具体的なフィールドを規定していませんが、業界標準の実装には、タイムスタンプ、ユーザーまたはシステムの識別情報、実行されたアクション、アクセスされたデータまたはシステムが含まれます。LLMデプロイメントにおいては、どのユーザーやエージェントがリクエストを開始したか、どのモデルがそれを処理したか、何が起こったかを再構築するのに十分なコンテキストを記録することまで拡張されます。集計された利用メトリクスだけでは、監査やインシデント調査をサポートするのに十分ではありません。
- HIPAAでは、セキュリティコントロールに関連するドキュメント(該当する場合は監査記録を含む)を最低6年間保持することを義務付けています。さらに、許可されていない変更や削除からログを保護するための改ざん防止コントロールをシステムに実装する必要があります。実務上は、一度書き込み多数読み出し(WORM)構成などの改ざん防止ストレージメカニズム、厳格なアクセス制御、および運用チームによる変更を防止する中央集権型ログ管理システムによって達成されます。
- HIPAAでは、ePHIを含むシステムにアクセスするユーザーを個別に識別および認証するメカニズムが必要です。そのため、監査ログはアクセスイベントを特定の個人またはシステムIDに紐付けられる必要があります。ユーザーレベルの紐付けを行わず、共有サービスアカウントやAPIキーのみに依存する実装は、責任追跡にギャップを生み出し、監査および調査の要件を満たすことを困難にします。現代のAIシステムでは、エージェントやゲートウェイ経由で実行されたアクションを元のユーザーまで追跡できるよう、アイデンティティを認識するアクセス制御を統合することが一般的となっています。
アクセス制御の要件
- HIPAAでは、一意のユーザー識別、認証、ロールベースアクセス制御(RBAC)を含む技術的および管理的な保護措置を通じて、PHIへのアクセスを管理することが求められています。さらに、プライバシールールはPHIの使用および開示に対して「最小限必要な原則(Minimum Necessary Standard)」を強制します。実務上、アクセスはドキュメント化されたプロセスを通じて提供・管理され、権限はユーザーの役割に合わせて設定される必要があります。AIシステムにおいて、これには2つの意味があります。第1に、アクセスは特定のユーザーに紐付けられない共有APIキーではなく、組織のアイデンティティプロバイダー(IdP)を通じて個人の識別情報に紐付けられる必要があります。第2に、ロールベースの制御により、ユーザーが自分の職務に適したAI機能のみにアクセスできるようにする必要があります(例:PHIへの露出度が異なる請求ワークフローと臨床ワークフローの分離)。
- 最小限必要な原則は、どのユーザーがアクセスを開始するかだけでなく、システム内でPHIがどのように使用されるかにも適用されます。AIシステムにおいては、モデルのプロンプトやコンテキストに含まれるデータにまで及びます。構造化されたフィールドの一部のみで十分な場合に、患者の全記録を渡すことは、最小限必要な原則に沿わない可能性があります。HIPAAはこの原則がAIプロンプトにどのように適用されるかを明示的に定義していませんが、組織はタスクに必要な範囲にPHIの露出を制限することが期待されています。これをアプリケーション層に依存するのではなく、ユーザーの役割やユースケースに基づいてコンテキストに応じたデータポリシーを適用するAIゲートウェイなどを使用し、インフラ層で適用することが一貫した遵守を確保するためのアプローチとなります。
金融サービス:LLMデプロイメントにおけるSOC2および規制要件
LLMをデプロイする金融サービス企業は、多層的な規制環境に直面しています。SOC2 Type II要件はテクノロジーインフラに適用されます。AIおよびモデルリスクに関するOCC、連邦準備制度、FINRAのガイドラインは、金融上の意思決定に使用されるモデルに適用されます。また、2026年8月からEU域内での運用に適用可能となる高リスクAIシステム向けのEU AI法(EU AI Act)の規定は、グローバル企業にとってさらなる懸念事項となります。これらのフレームワークは相互に重複しており、AIゲートウェイやモデルデプロイメントインフラにおいて特定のアーキテクチャ要件を生み出します。
AIインフラ向けのSOC2 Type IIコントロール
- 金融データを処理するAIゲートウェイおよびモデルデプロイメントプラットフォームは、監査対象となるデータやシステムに接する場合、SOC2 Type II評価の対象となります。関連するトラストサービス基準は、CC6(論理的および物理的アクセス制御)、CC7(システム運用の監視)、CC8(変更管理)、CC9(リスク緩和)です。各基準には、AIゲートウェイ内またはその周辺に存在しなければならない特定の技術的コントロールが求められます。
- AIゲートウェイのデプロイメントで最も一般的なSOC2の指摘事項は、APIレベルでの不十分なアクセス制御です。具体的には、個人を識別できない共有サービスアカウント、ソースコード内に保存されたAPIキー、あるいはCC6で求められる詳細なアクセス制御をサポートしていないAIプラットフォームなどが挙げられます。組織のアイデンティティプロバイダーと統合し、モデルおよびチームレベルでRBACを強制するプラットフォームを選択することで、監査期間が始まる前にこれらの指摘事項を解消できます。
- SOC2 Type IIでは、通常6〜12ヶ月にわたる監査期間全体において、コントロールが継続的に運用されている証拠が求められます。これは、監査人が要求したときに随時取得するのではなく、監査ログが継続的に生成され、期間を通じて保持されなければならないことを意味します。デプロイ初日から構造化された連続ログを生成するAIゲートウェイプラットフォームは、事後にログ機能を追加したシステムと比較して監査が大幅に容易になります。監査証跡は、単に監査の瞬間だけでなく、全期間にわたってコントロールが整合性を保って運用されていたことを示さなければなりません。
LLMに対するモデルリスク管理(SR 11-7)
- モデルリスク管理に関するOCCおよび連邦準備制度のガイドラインSR 11-7は、与信判断、リスク評価、その他の規制関連プロセスで使用されるAIおよびLLMモデルに適用されます。このガイドラインでは、対象となる各モデルに対して次の3点が求められます:目的、学習データ、テスト方法のドキュメント化、定義されたパフォーマンス基準に対する独立した検証、およびパフォーマンス追跡とドリフト検出を伴う継続的なモニタリング。
- 金融サービスにおけるLLMの場合、SR 11-7のドキュメント作成義務はモデルが動作するインフラにまで及びます。どのLLMが、どのチームによって、どのような決定のために、どのようなコストで、どのようなレイテンシで、どのような出力挙動を示したか、これらすべてをドキュメント化し、規制審査で提示できるようにする必要があります。標準ログの一環としてこのデータを自動的に記録するAIゲートウェイは、通常の運用における副産物としてモデルドキュメントの証拠を生成します。これにより、対象となるモデルごとにかかる膨大な手動でのドキュメント作成工数を削減できます。
保険:データレジデンシーとGDPR要件
複数の管轄区域で事業を展開する保険会社は、データレジデンシーおよびクロスボーダーデータ移転の制限に直面しており、これらはAIのアーキテクチャ選択を直接的に制約します。GDPR、英国GDPR、および米国の州プライバシー法にはすべて、顧客データをどこでどのように処理できるか(推論のためにAIモデルAPIに送信できるかどうかも含む)に影響を与える規定が存在します。
- GDPRにおけるデータ処理の根拠:個人データを処理するAIシステムは、GDPR第6条に基づくドキュメント化された適法な根拠を持たなければなりません。ほとんどの保険向けAIユースケースにおいて、その根拠は「正当な利益」または「契約上の必要性」のいずれかです。どちらの場合も、処理がドキュメント化され、目的に対して比例的であり、組織のプライバシー通知で開示されている必要があります。ドキュメント化された適法な根拠なしに個人データを処理するAIシステムは、罰金が全世界の年間売上高の4%に達する規制フレームワークの下で、直接的な規制リスクを生み出します。
- クロスボーダー移転の制限:EU居住者の個人データを非EUのAIインフラに送信するには、標準契約条項(SCC)の締結またはその他の承認されたGDPR移転メカニズムが必要です。多くのAI SaaSプロバイダーは米国を拠点としています。技術的なデプロイを開始する前に、法務部門の関与の下でEUから米国へのデータ移転コンプライアンスドキュメントを完了する必要があります。一部のデータタイプや組織のリスク許容度によっては、この要件により、管轄区域を超えてデータが移動しない、欧州内または完全VPC分離のデプロイメントが実質的に義務付けられます。
- 第30条に基づく処理活動の記録:GDPRは、AIシステムをカバーする処理活動の記録を維持することを組織に義務付けています。これには処理目的、データのカテゴリー、国際移転(存在する場合)、適用される安全管理措置を記載する必要があります。AIゲートウェイの監査ログはこれらの記録の元データを提供しますが、規制当局からの要求に応じてコンプライアンスチームが提出できる形式で、データカテゴリー、処理目的、移転先などの必須フィールドを記録するよう設定されている必要があります。
- 自動化された意思決定に対する説明を受ける権利:GDPR第22条は、個人に重大な影響を与える完全に自動化された意思決定を制限し、個人に対してその決定がどのように行われたかについて意味のある説明を受ける権利を付与しています。引受審理や査定を支援する保険向けAIシステムは、後から追加するのではなく、人間のレビュー機能と説明の自動生成がワークフローに最初から組み込まれるように設計される必要があります。AIによる推奨事項が人間の意思決定者にどのように伝わるかというアーキテクチャ上の決定は、単なるプロダクトデザインの選択ではなく、コンプライアンス上の決定です。
VPC分離アーキテクチャの実際
VPC分離環境でのLLMデプロイメントは、規制の厳しい業界における多種多様な要件を同時に満たすアーキテクチャパターンです。HIPAAにおけるPHIの分離、GDPRにおけるデータレジデンシー、SOC2におけるネットワークセキュリティ制御、金融規制当局に対する運用の責任追跡可能性はすべて、適切に実装されたVPCデプロイメントによって達成されます。これが実際に何を意味するのかを理解することは、承認に向けた議論を行う前にコンプライアンス、インフラ、セキュリティチームにとって必要なステップです。
- 境界内のAIゲートウェイ:ゲートウェイは組織のVPC内でコンテナ化されたサービスとして実行されます。すべてのLLM API呼び出しはこの内部ゲートウェイを経由してルーティングされます。アプリケーションが外部のモデルプロバイダーと直接通信することはありません。ゲートウェイは外部APIへのエグレス(送信)機能を備えた唯一のコンポーネントであり、それも規制対象データを含まない特定ユースケースにおいて、デプロイされたアーキテクチャで外部モデルへのアクセスが許可されている場合に限られます。完全に分離されたデプロイメントでは、そのエグレス機能自体が存在しません。
- 境界内のモデルサービング:HIPAAおよび厳格なデータレジデンシー要件に対応するため、LLM自体がVPC内部で動作します。同じAWSアカウント内でアクセスされるAWS Bedrock、適切なBAAカバーを備えたAzureサブスクリプション内のAzure OpenAI Service、あるいはクラウドアカウント内のGPUインフラ上でセルフホストされるオープンソースモデルのいずれもが、この要件を満たします。完全に分離されたデプロイメントでは、リクエストのライフサイクル全体において、モデルの推論データが組織のクラウドアカウントの境界外に出ることは一切ありません。
- 顧客所有のストレージへの監査ログ出力:すべての監査ログは、CloudWatch、Azure Monitor、Splunk、顧客指定のSIEMなど、組織自身のログインフラに書き込まれます。それ自体が規制対象情報を含む可能性があるログデータが、ベンダーのSaaS型ログサービスに送信されることはありません。保持ポリシー、アクセス制御、改ざん防止ストレージの設定は、ベンダーの保持設定に依存することなく、組織のコンプライアンスチームによって管理されます。
- 本番トラフィックへのベンダーアクセスの遮断:適切に実装されたVPC分離デプロイメントでは、プロンプトの内容、モデルの応答、本番の推論トラフィックはベンダー管理のインフラを経由せず、顧客のクラウド環境内に留まります。これにより機密データのフローに対する外部からの視認性が大幅に低下し、データレジデンシーおよびプライバシー要件に適合します。サポートアクセスが必要な場合は、恒常的なアクセス権限ではなく、顧客による明示的な承認を伴う管理された時限式の「ブレイクガラス(緊急対応)」手順を通じてガバナンスが効いた形で実施されます。プラットフォームソフトウェアやサポートに関するベンダー関係自体は組織全体のコンプライアンス範囲内に残りますが、このアーキテクチャによって本番経路における規制対象データへのベンダーの露出を最小限に抑えることができます。

TrueFoundryが規制業界のLLMデプロイメントを解決する方法
TrueFoundryは、AWS、Azure、GCP上にある顧客自身のクラウドアカウント内に完全にデプロイされます。プロンプトの内容、モデルの応答、MCPツールの呼び出しパラメーター、監査ログデータを含む本番データが、エンタープライズの境界を越えてTrueFoundryのインフラに送信されることはありません。これは単なるデプロイメントの選択肢の1つではありません。プレミアム階層の機能ではなく、エンタープライズデプロイメントにおけるデフォルトのアーキテクチャです。
- デフォルトでVPC分離型のデプロイメント:TrueFoundryはInfrastructure as Codeを使用して、顧客自身のクラウドアカウント内にデプロイされます。AIゲートウェイ、MCPゲートウェイ、管理UI、監査ログストレージはすべて顧客の境界内で動作します。インフラストラクチャコストが不要な完全管理型SaaSから、月額約$800〜$1,000のインフラコストで顧客のアカウント内にコントロールプレーンとゲートウェイプレーンの両方を構築する構成まで、4つのデプロイメントオプションがあらゆるニーズをカバーします。規制対象のワークロードには、オプション3または4を選択することで、データがTrueFoundryのインフラを経由しないことが保証されます。TrueFoundryのサポートアクセスには、顧客の承認を必要とするドキュメント化されたブレイクガラス手順が使用されます。
- HIPAA、SOC2、GDPRに準拠した構造化監査ログ:すべてのLLM呼び出しは、X-TFY-LOGGING-CONFIGヘッダーを介して構造化されたJSON監査ログエントリを生成します。セルフホスト環境では、ゲートウェイレベルで REQUEST_LOGGING-MODE: ALWAYS に設定することで、設定の漏れなくすべてのリクエストが確実に記録されます。ログフィールドにはユーザーID、モデル、トークン数、レイテンシ、コスト、ポリシー判定、出力が含まれます。ログはOpenTelemetryを介してGrafana、Datadog、Splunk、または任意のOTLP互換SIEMへエクスポート可能です。セルフホスト環境において、ログデータはParquet形式で顧客自身のAWS S3、GCS、Azure Blobストレージに書き込まれ、保持期間を設定できます。WORMモードのS3 Object Lockを使用することで、HIPAAが義務付ける6年間の最小保持期間に対する改ざん防止要件を満たすことができます。
- 臨床およびエンタープライズ向けIDシステムとのSSO統合:TrueFoundryはOkta、Azure Active Directory、PingFederate、および任意のSAML 2.0またはJWKS互換アイデンティティプロバイダーと統合します。アクセス権限の付与は、組織の標準的なアイデンティティライフサイクル管理プロセスに従います。チームに参加した開発者は、他のシステムと同じIdPワークフローを通じてAIゲートウェイへのアクセス権を取得します。離職する開発者のアクセス権は、同じオフボーディングワークフローを通じて削除されます。独立して維持・監査すべき個別のAIゲートウェイ資格情報管理システムは存在しません。
- 規制対象ワークロード向けの承認済みモデルカタログ:プラットフォーム管理者は、どのモデルがどのデータタイプやユースケースに対して承認されているかを定義します。リクエストが境界を出る前にゲートウェイがルーティング層でモデルとユースケースのポリシーを適用するため、臨床チームがPHIを含むプロンプトをBAA非対応のモデルにルーティングすることはできません。このポリシー適用はアプリケーション層ではなくAIゲートウェイで行われるため、どのアプリケーションやエージェントがリクエストを開始したかにかかわらず、一貫して適用されます。
- 規制の厳しい業界での検証済みプロダクション運用:FDA規制の医療機器ポートフォリオを持つMedtronicは、TrueFoundryをプロダクション環境で運用しています。Siemens Healthineersは、複数の法域にわたる規制対象であるグローバルな医療技術運用全体でTrueFoundryを使用しています。Innovaccerは、TrueFoundryのゲートウェイとGrafanaダッシュボードに供給するOpenTelemetryを使用して、HIPAAの制約のもとAWS GovCloud内でクラウド境界からデータを外部に送信することなく、月間約1,700万件の臨床AI推論リクエストを処理しています。Avivaは、GDPRのもとで英国の保険運用にTrueFoundryを運用しています。ResMedは、デジタルヘルスアプリケーションにTrueFoundryを使用しています。これらはパイロットプロジェクトではなく、規制コンプライアンスの承認を得たエンタープライズスケールでのプロダクション運用です。

TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
TrueFoundryはエンタープライズ向けデプロイメントにおいて、HIPAAに基づくビジネスアソシエイト契約(BAA)を締結しますか?
TrueFoundryのVPC分離型デプロイメントモデルは、ベンダーが管理するインフラストラクチャとPHI(保護対象保健情報)が接触する機会を最小限に抑えるよう設計されています。コントロールプレーンとゲートウェイコンポーネントの両方を顧客自身のクラウド環境内で完全に実行する構成では、本番環境のプロンプト、モデルの応答、監査ログがTrueFoundryのシステムを経由することなく、顧客の環境内に留まります。
ビジネスアソシエイト契約(BAA)が必要かどうかは、対象となる事業体に代わって第三者がPHIを作成、受領、保持、または送信するかどうかによって決まります。実務上、この判断は実際のデータフローと、デプロイメントにおけるTrueFoundryの役割に基づいて行われます。組織は、自社のアーキテクチャ、コンプライアンス体制、およびシステム内でのPHIの移動経路を考慮した上で、TrueFoundryのエンタープライズチームとBAAの適用範囲について検討する必要があります。
TrueFoundryのVPCデプロイメントにおいて、PHIをTrueFoundryのインフラストラクチャに一切ルーティングすることなく、HIPAA認証を取得することは可能ですか?
はい。ゲートウェイおよび制御コンポーネントをお客様自身のAWS、Azure、またはGCPアカウント内でホストするVPC分離型デプロイメントでは、PHI(保護対象保健情報)をエンタープライズの境界内で完全に処理することが可能です。モデル推論のリクエスト、レスポンス、およびそのやり取りの監査ログはすべて、外部のベンダーインフラストラクチャを経由することなく、お客様のクラウド環境内に留まります。
ただし、HIPAAコンプライアンスはアーキテクチャだけで決まるものではありません。ID管理、アクセス権限ポリシー、監査ログ、そしてデータパス全体におけるHIPAA適格サービスの利用といった、システム構成全体に依存します。VPCデプロイメントであっても、ワークフローの一部としてPHIの取り扱いにベンダーが関与するかどうかを組織として評価する必要があります。最終的にビジネスアソシエイト(BA)関係の有無を決定づけるのは、その点であるためです。
外部APIへのデータ送信を必要とせず、VPC内で分離されたデプロイが可能なLLMプロバイダーにはどのようなものがありますか?
VPC内で完全に分離された推論環境を実現するには、3つの有効なアプローチがあります。AWS Bedrockは、同一AWSアカウント内からアクセスすることで、適切に設定すればAWS管理下のインフラストラクチャ内(顧客のアカウント境界内)で推論を完結させることが可能です。利用可能なモデルにはClaude Sonnet、Llamaの各バリエーション、Mistralモデルなどがあり、具体的なカタログはAWSリージョンによって異なります。Azure OpenAI Serviceは、MicrosoftのBAA(事業提携契約)が適用されるAzureサブスクリプション内からアクセスすることで、GPT-4などのモデルをAzureの境界内で提供します。また、Llama 3やMistralなどのオープンソースモデルを顧客のクラウドアカウント内のGPUインフラにデプロイし、TrueFoundryのモデルデプロイメントレイヤーを通じて提供することも可能です。この場合、ゲートウェイがリクエストを内部エンドポイントへルーティングします。
TrueFoundryの仮想モデル(Virtual Models)設定を使用すると、プラットフォーム管理者はこれらのオプションのいずれかにルーティングする名前付きモデルエンドポイントを作成できます。これにより、アプリケーションは安定した内部エンドポイントを呼び出すだけで済み、アプリケーション側のコードを変更することなく、基盤となるモデルの変更やアップグレードが可能になります。
TrueFoundryは、HIPAAの6年間の保持要件を満たすために、どのように監査ログの保持を行っていますか?
セルフホスト環境(オプション3および4)では、監査ログはParquet形式で、お客様自身のAWS S3、GCS、またはAzure Blobストレージに書き込まれます。保持ポリシー、アクセス制御、ストレージクラスは、お客様がクラウドのアカウント上で直接設定します。AWS S3のオブジェクトロック(WORM:Write Once Read Manyモード)を使用することで、ログを生成するチームによる改ざんや削除ができない、HIPAAの要件を満たす監査記録の保存が可能です。保持期間は、お客様のコンプライアンスチームが組織のポリシーに応じて、HIPAAで定められた最低6年以上の期間に設定します。ログ形式、保持設定、アクセス制御については、TrueFoundryのサポートを介することなく、監査証跡として提示できるようドキュメント化されています。
TrueFoundryを設定して、特定のチームが特定のデータ型を外部モデルプロバイダーへルーティングすることを制限できますか?
はい、2つの補完的な制御機能によって可能です。ルーティング層では、バーチャルモデルとモデルカタログの設定により、どのチームやユーザーがどのモデルエンドポイントを利用できるかを定義します。例えば、臨床チームのモデルカタログをVPCホスト型のモデルのみに制限し、外部プロバイダーのエンドポイントを一切表示・アクセス不可にすることが可能です。ガードレール層では、TrueFoundryのLLM入力ガードレールが、プロンプトがモデルに到達する前にPHI(保護対象保健情報)やその他の規制対象データ型を検知してブロックします。PII(個人識別情報)検知やカスタム正規表現マッチングを使用して、機密コンテンツをフラグ立てすることも可能です。入力ガードレールが作動すると、リクエストはモデルに到達する前にブロックされ、ガードレールの結果は監査証跡として検知理由とともに記録されます。これらの制御機能はいずれもAIゲートウェイ層で動作し、プラットフォームを使用するすべてのアプリケーションに一貫して適用されます。
AIゲートウェイインフラストラクチャを対象としたSOC2 Type II監査において、TrueFoundryはどのようなドキュメントを提供していますか?
TrueFoundryはSOC2 Type II認証を取得しています。お客様がベンダーリスク評価の一環としてプラットフォームの監査を行う際、TrueFoundryはSOC2 Type II報告書を提供可能です。AIゲートウェイインフラストラクチャ自体の監査エビデンスについては、主にお客様自身のTrueFoundry環境から生成されます。具体的には、監査期間中のアクセス制御の継続的な運用を示す構造化された監査ログ、RBAC設定ドキュメント、IDライフサイクル管理を示すIdP統合記録、ガードレールの設定および実行ログなどが含まれます。TrueFoundryのソリューションチームは、お客様の監査準備プロセスと連携し、審査対象となる各SOC2トラストサービス基準に対して必要なログフィールドや設定エクスポートの特定をサポートします。












.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






