規制業界におけるLLMデプロイメント:HIPAA、SOC2、GDPRプレイブック 2026年版

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
規制対象企業で大規模言語モデルを導入する際の技術的課題は、主に機械学習の問題ではありません。モデルは存在し、機能しており、医療、金融、保険といった重要なユースケースに十分対応できます。課題はモデルを取り巻くアーキテクチャにあります。つまり、誰がデータを管理し、どこを流れ、何がログに記録され、誰がベンダーを承認し、コンプライアンスチームがそれらすべてを規制当局にどのように説明できるか、ということです。
従業員9万人を擁し、FDA規制対象のデバイスポートフォリオを持つメドトロニックは、AIを本番環境で稼働させています。Innovaccerは、管理された臨床インテリジェンスプラットフォーム内で、保護された医療情報を大規模に処理しています。英国GDPRの下で事業を展開するアビバは、保険業務全体でAIを活用しています。シーメンスヘルシニアーズは、複数の規制管轄区域で同時にAIを展開しています。これらは概念実証ではありません。これらは、法務、コンプライアンス、ITセキュリティの審査を通過した、エンタープライズ規模の本番環境導入事例です。
これらの導入を可能にしたアーキテクチャが、このプレイブックの主題です。医療、金融サービス、保険における具体的な規制要件、それらの要件がもたらす技術的決定、そして同様の承認プロセスを経ようとしているチームにとって、管理されたVPC分離型デプロイメントが実際にどのようなものかについて解説します。

規制産業におけるAI導入が異なる点
規制対象と非規制対象のAI導入の違いは、主に技術的なものではありません。基盤となるモデルは同じです。違いは法的義務、説明責任の構造、監査負担にあり、これらがアーキテクチャの決定を根本から変えます。
- データ処理ルールは外部で設定されます。 規制環境では、データの許容される使用方法はエンジニアリングの判断ではなく、法令によって定義されます。患者記録を外部APIに送信するAIシステムは、技術的には優れていても、同時にHIPAA違反となる可能性があります。実装の技術的な洗練度は、法的基準とは無関係です。重要なのは、データがどこに送られたか、そしてそこに送ることが許可されていたかどうかです。
- AIシステムは規制監査の対象となります。 医療、金融サービス、保険の規制当局は、AIシステムがアクセスしたデータ、それらのシステムが影響を与えた決定、導入を承認した者、および人間の監視プロセスがどのようなものであったかを組織が文書化することをますます期待しています。HIPAAセキュリティ規則は、リスク評価に基づき、保存時および転送時の暗号化を含む適切な保護措置を要求しています。コンプライアンスを実証する責任は、常に組織にあります。
- AIベンダーもコンプライアンスの対象となります。 あなたに代わって保護された医療情報(PHI)を作成、受領、維持、または送信するベンダーは、HIPAAの下でビジネスアソシエイトと見なされ、PHIがそのインフラストラクチャに触れる前に署名済みのBAA(事業提携契約)が法的に必要です。ほとんどの標準的な公開LLM APIサービスは、デフォルトではBAAの対象外であり、エンタープライズ契約または代替の導入モデルが必要です。AWS BedrockとAzure OpenAI Serviceは、特定の構成要件を満たせばBAAの対象となるオプションを提供していますが、対象となることとコンプライアンスは同じではありません。
- データレジデンシーにより、SaaSの選択肢が完全に排除される場合があります。 GDPRの対象となる個人データを処理する欧州の保険会社は、標準契約条項(SCC)の取り決めまたはその他の承認されたGDPR転送メカニズムなしに、そのデータを米国拠点のインフラストラクチャ経由でルーティングすることは法的にできません。多くのSaaS AIゲートウェイ製品は米国拠点であるため、技術的な導入を開始する前にEUから米国へのデータ転送に関する文書を完了する必要があります。一部の組織やデータタイプにとっては、これによりSaaSの選択肢が完全に排除されます。
- 監査証跡は必須であり、構造化されている方が優れています。 AIによるアクセスを含む、規制対象データへのすべてのアクセスは監査記録を生成する必要があります。HIPAAの場合、その記録にはタイムスタンプ、アクセス者のID、実行されたアクション、およびアクセスされたPHIへの参照が含まれている必要があります。構造化されたJSON形式でこれらの記録を自動的に生成するAIシステムは導入可能です。事後に手動でのログ相関が必要なシステムは、規制当局が同等と認めないコンプライアンス上のギャップを生じさせます。
医療分野:LLM導入におけるHIPAA要件
HIPAAは、保護された医療情報(PHI)を扱うあらゆるシステムを対象とします。LLMの導入は、モデルがプロンプトでPHIを受信できる場合、モデルに渡される検索拡張生成コンテキストにPHIが含まれる場合、またはモデルの出力が個々の患者に関する決定に影響を与える場合に、対象となります。臨床ノートの要約、患者記録分析、診断支援ツール、事前承認サポートはすべてこの範囲に含まれます。
3つのHIPAA規則が、LLM導入アーキテクチャを直接的に形成します。プライバシー規則は、PHIを何に利用できるか、誰がアクセスできるかを規定し、特定のタスクに必要なものにデータ公開を制限する「最小限の必要性」基準を含みます。セキュリティ規則は、電子PHIに対する管理上、物理的、技術的な保護措置(アクセス制御、監査ログ、送信セキュリティなど)を要求します。侵害通知規則は、制御が失敗した場合に何が起こるかを定めます。これら3つすべてに、ポリシー文書だけでなく、AIインフラストラクチャの設計方法に現れる技術的な実装要件があります。

PHIの分離:ほとんどのクラウドLLM APIが臨床用途に適さない理由
- OpenAI、Anthropic、Googleが提供する標準的なコンシューマー向けAPIは、一般的にHIPAA規制対象のワークロード向けには設計されておらず、通常、公開エンドポイントに対して事業提携契約(BAA)を提供していません。BAAが締結されていない状態で、事業提携者として機能する第三者サービスにPHIが送信されると、これはHIPAAコンプライアンス違反となります。これは、ベンダーガバナンスプロセスよりも迅速に進められる初期の企業AI導入において、最も一般的な失敗モードの一つです。
- AWSとMicrosoftはどちらも、自社プラットフォーム内の特定の対象サービスをカバーするHIPAA事業提携契約を提供しています。AWSは標準BAAの下で対象サービスを含めていますが、Microsoftはオンラインサービスデータ保護補遺を通じてカバーしています。しかし、コンプライアンスは、対象となるサービスのみを使用し、それらを正しく設定することにかかっています。保存時および転送時の暗号化、監査ログ、最小権限のIAM制御が必要です。BAAの締結は前提条件であり、コンプライアンスの最終状態ではありません。
- PHIを扱う臨床用途では、VPC分離型または自己ホスト型モデルのデプロイが最もクリーンなアーキテクチャ境界を提供します。モデルが組織自身のクラウドアカウント内で実行される場合、PHIは企業境界内に留まり、外部のモデルプロバイダーに公開されることはありません。これにより、第三者のモデルAPIベンダーとの別途BAAは不要になりますが、全体的なコンプライアンス体制の一部として、基盤となるクラウドプロバイダー(AWSやAzureなど)とのBAAは引き続き必要です。
- 限られたシナリオで外部モデルAPIを使用する必要がある組織にとって、データマスキングまたは非識別化は有効なパターンとなり得ます。機密性の高いフィールドは、リクエストが送信される前に削除またはトークン化され、応答が返された後にのみ制御された環境内で再構築されます。これがコンプライアンスに準拠するためには、変換によって識別可能なPHIが外部サービスに公開されないことを保証する必要があり、そのプロセスは組織のコンプライアンス管理の一部として文書化され、検証され、監査人に対して実証可能でなければなりません。
AIシステムにおけるHIPAA監査ログ要件
- HIPAAセキュリティ規則は、対象事業体および事業提携者に対し、電子PHIを扱うシステムにおける活動を記録および調査する監査管理策を実装することを義務付けています。実際には、これはシステムが、調査と説明責任をサポートする方法でアクセスイベントを捕捉するログを生成する必要があることを意味します。規制は正確なフィールドを規定していませんが、業界標準の実装には、タイムスタンプ、ユーザーまたはシステムID、実行されたアクション、アクセスされたデータまたはシステムが含まれます。LLMのデプロイメントでは、どのユーザーまたはエージェントがリクエストを開始したか、どのモデルがそれを処理したか、そして何が起こったかを再構築するのに十分なコンテキストを捕捉することにまで及びます。集計された使用状況メトリクスだけでは、監査やインシデント調査をサポートするには不十分です。
- HIPAAは、セキュリティ管理策に関連する文書(該当する場合は監査記録を含む)を最低6年間保持することを義務付けています。さらに、システムは、ログが不正な改ざんや削除から保護されるように整合性管理策を実装する必要があります。実際には、これは多くの場合、追記型(WORM)構成、厳格なアクセス制御、および運用チームによる変更を防止する集中型ログ管理システムなどの改ざん防止ストレージメカニズムを通じて実現されます。
- HIPAAは、ePHIを含むシステムにアクセスするユーザーを一意に識別し、認証するメカニズムを義務付けています。その結果、監査ログはアクセスイベントを特定の個人またはシステムIDに帰属させることができなければなりません。ユーザーレベルの帰属なしに共有サービスアカウントやAPIキーのみに依存する実装は、説明責任にギャップを生じさせ、監査および調査要件を満たすことを困難にします。現代のAIシステムでは、これは通常、エージェントやゲートウェイを通じて実行されたアクションを元のユーザーに遡って追跡できるように、ID認識型アクセス制御を統合することを必要とします。
アクセス制御要件
- HIPAAは、PHIへのアクセスが、一意のユーザー識別、認証、ロールベースのアクセス制御を含む技術的および管理上の保護措置を通じて制御されることを義務付けています。さらに、プライバシー規則は、PHIの使用および開示に関して「必要最小限」の基準を強制します。実際には、これはアクセスが文書化されたプロセスを通じてプロビジョニングおよび管理され、権限がユーザーの役割に合わせられる必要があることを意味します。AIシステムの場合、これには2つの意味合いがあります。第一に、アクセスは、特定のユーザーに帰属できない共有APIキーではなく、組織のIDプロバイダーを通じて個々のIDに紐付けられるべきです。第二に、ロールベースの制御は、ユーザーがその機能に適したAI機能のみにアクセスできることを保証する必要があります。例えば、PHIの公開レベルが異なる請求ワークフローと臨床ワークフローを分離するなどです。
- 必要最小限の基準は、PHIがシステム内でどのように使用されるかにも適用され、単にどのユーザーがアクセスを開始するかだけではありません。AIシステムでは、これはモデルのプロンプトやコンテキストに含まれるデータにまで及びます。構造化されたフィールドの一部のみが必要な場合に、完全な患者記録を渡すことは、必要最小限の原則に合致しない可能性があります。HIPAAはAIプロンプトにこれがどのように適用されるかを明示的に定義していませんが、組織はタスクに必要な範囲にPHIの公開を制限することが求められます。これをインフラ層で強制すること、例えばユーザーの役割とユースケースに基づいてコンテキスト認識型データポリシーを適用するAIゲートウェイを通じて行うことは、アプリケーションレベルの実装に依存するのではなく、一貫した遵守を確保するための一つのアプローチです。
金融サービス:LLMデプロイメントにおけるSOC2および規制要件
LLMを導入する金融サービス企業は、多層的な規制環境に直面しています。SOC2 Type II要件は、テクノロジーインフラストラクチャに適用されます。OCC、連邦準備制度理事会、およびFINRAのAIおよびモデルリスクに関するガイダンスは、金融上の意思決定に使用されるモデルに適用されます。そして、2026年8月からEU域内での運用に適用される高リスクAIシステムに関するEU AI法規定は、国際的な組織にとってさらなる層を追加します。これらのフレームワークは、AIゲートウェイおよびモデルデプロイメントインフラストラクチャに特定のアーキテクチャ要件を生み出す形で重複しています。
AIインフラストラクチャにおけるSOC2 Type II管理策
- 金融データを扱うAIゲートウェイおよびモデルデプロイメントプラットフォームは、監査対象のデータまたはシステムに触れる場合、SOC2 Type II評価の対象となります。関連するトラストサービス基準は、CC6(論理的および物理的アクセス制御)、CC7(システム運用監視)、CC8(変更管理)、およびCC9(リスク軽減)です。各基準は、AIゲートウェイ内またはその隣に存在しなければならない特定の技術的制御を要求します。
- AIゲートウェイのデプロイメントで最も一般的なSOC2の指摘は、APIレベルでの不十分なアクセス制御です。具体的には、個人にアクセスを帰属できない共有サービスアカウント、ソースコードに保存されたAPIキー、またはCC6で要求されるきめ細かなアクセス制御をサポートしないAIプラットフォームなどです。企業IDプロバイダーと統合し、モデルおよびチームレベルでRBACを強制するプラットフォームを選択することで、監査期間が始まる前にこれらの指摘を排除できます。
- SOC2 Type IIは、監査期間(通常6〜12ヶ月)にわたる管理策運用の継続的な証拠を要求します。これは、監査ログが継続的に生成され、期間中ずっと保持される必要があり、監査人が要求したときにオンデマンドで取得されるものではないことを意味します。デプロイ初日から構造化された継続的なログを生成するAIゲートウェイプラットフォームは、後からログ機能が追加されたシステムよりも監査がはるかに容易です。監査証拠は、監査の瞬間だけでなく、期間全体を通じて管理策が一貫して運用されていたことを示す必要があります。
LLMにおけるモデルリスク管理(SR 11-7)
- OCCおよび連邦準備制度理事会のモデルリスク管理に関するガイダンスSR 11-7は、信用決定、リスク評価、およびその他の規制関連プロセスで使用されるAIおよびLLMモデルに適用されます。このガイダンスは、対象となる各モデルについて3つのことを要求しています。目的、トレーニングデータ、およびテスト方法論の文書化。定義された性能基準に対する独立した検証。そして、性能追跡とドリフト検出を伴う継続的な監視です。
- 金融サービスにおけるLLMの場合、SR 11-7に基づく文書化の負担は、モデルが稼働するインフラストラクチャにまで及びます。どのLLMが、どのチームによって、どのような意思決定のために、どの程度のコストで、どの程度のレイテンシーで、どのような出力挙動を示したか、これらすべてを文書化し、規制当局の審査に利用できるようにする必要があります。標準的なロギングの一部としてこのデータを自動的に取得するAIゲートウェイは、通常の運用における副産物としてモデルの文書化証拠を生成します。これにより、対象となる各モデルに対して本来であれば多大な手作業による文書化作業が必要となる負担が軽減されます。
保険:データレジデンシーとGDPR要件
複数の法域で事業を展開する保険会社は、データレジデンシーおよび国境を越えたデータ転送の制限に直面しており、これらがAIアーキテクチャの選択を直接的に制約します。GDPR、英国GDPR、および米国の州プライバシー法にはすべて、顧客データがどこでどのように処理されるか、AIモデルAPIに推論のために送信できるかどうかも含め、これに影響する規定があります。
- GDPRデータ処理の法的根拠: 個人データを処理するAIシステムは、GDPR第6条に基づく文書化された法的根拠を持たなければなりません。ほとんどの保険AIユースケースでは、その根拠は正当な利益または契約上の必要性のいずれかです。いずれの場合も、処理が文書化され、目的に対して適切であり、組織のプライバシー通知で開示されている必要があります。文書化された法的根拠なしに個人データを処理するAIシステムは、世界年間売上高の4%に達する罰金が科される可能性がある枠組みの下で、直接的な規制上のリスクを生じさせます。
- 国境を越えた転送の制限: EU居住者の個人データをEU圏外のAIインフラストラクチャに送信する場合、標準契約条項(SCC)の取り決め、またはGDPRで承認された別の転送メカニズムが必要となります。多くのAI SaaSプロバイダーは米国を拠点としています。EUから米国へのデータ転送に関するコンプライアンス文書は、技術的な展開が始まる前に法務部門の関与のもとで完了する必要があります。一部のデータタイプや組織のリスク許容度によっては、この要件により、法域の境界を越えるデータ転送がない、欧州内または完全にVPC分離されたデプロイメントが実質的に必要となります。
- 第30条に基づく処理記録: GDPRは、組織に対し、AIシステムを対象とする処理活動の記録を保持することを義務付けており、処理目的、データカテゴリ、国際転送の有無、適用されるセキュリティ対策を記述します。AIゲートウェイの監査ログはこれらの記録の生データを提供しますが、データカテゴリ、処理目的、転送先を含む必要なフィールドを、コンプライアンスチームが要求に応じて規制当局に提出できる形式で取得するように構成する必要があります。
- 自動化された意思決定に対する説明を受ける権利: GDPR第22条は、個人に重大な影響を与える完全に自動化された意思決定を制限し、個人に対し、その決定がどのように行われたかについて意味のある説明を受ける権利を付与しています。引受または保険金請求処理を支援する保険AIシステムは、後付けではなく、人間のレビュー機能と説明生成がワークフローに組み込まれるように設計されなければなりません。AIの推奨事項が人間の意思決定者にどのように伝達されるかに関するアーキテクチャの決定は、単なる製品設計の選択ではなく、コンプライアンス上の決定です。
VPC分離型アーキテクチャ:実際の運用例
VPC分離型LLMデプロイメントは、規制対象業界の最も広範な要件を同時に満たすアーキテクチャパターンです。HIPAAにおけるPHIの分離、GDPRにおけるデータレジデンシー、SOC2におけるネットワークセキュリティ制御、金融サービス規制当局に対する運用上の説明責任はすべて、適切に実装されたVPCデプロイメントから派生します。これが実際に何を意味するのかを理解することは、承認の話し合いの前にコンプライアンス、インフラストラクチャ、およびセキュリティチームが必要とすることです。
- 境界内AIゲートウェイ: ゲートウェイは、組織のVPC内でコンテナ化されたサービスとして稼働します。すべてのLLM API呼び出しは、この内部ゲートウェイを経由します。どのアプリケーションも外部モデルプロバイダーと直接通信することはありません。ゲートウェイは、外部APIへのエグレス機能を持つ唯一のコンポーネントであり、規制対象データを含まない特定のユースケースに対してデプロイされたアーキテクチャが外部モデルアクセスを許可する場合にのみ、その機能を持つことになります。完全に分離されたデプロイメントでは、そのエグレスさえも存在しません。
- 境界内モデルサービング: HIPAAおよび厳格なデータレジデンシー要件の場合、LLM自体がVPC内で稼働します。同じAWSアカウント内でアクセスされるAWS Bedrock、適切なBAA(事業提携契約)が適用されたAzureサブスクリプション内のAzure OpenAI Service、またはクラウドアカウント内のGPUインフラストラクチャ上で自己ホストされるオープンソースモデルはすべて、この要件を満たします。完全に分離されたデプロイメントでは、リクエストライフサイクルのいかなる時点においても、モデル推論データが組織のクラウドアカウント境界を離れることはありません。
- 顧客所有ストレージ内の監査ログ: すべての監査ログは、組織自身のロギングインフラストラクチャ(CloudWatch、Azure Monitor、Splunk、または顧客指定のSIEM)に書き込まれます。規制対象情報を含む可能性のあるログデータは、ベンダーのSaaSロギングサービスに転送されることはありません。保持ポリシー、アクセス制御、および改ざん防止ストレージ構成は、ベンダーの保持設定に依存することなく、組織のコンプライアンスチームによって管理されます。
- ベンダーによる本番トラフィックへのアクセスなし: 適切に実装されたVPC分離型デプロイメントでは、本番環境での推論トラフィック、プロンプトの内容、モデルの応答は、ベンダーが管理するインフラを経由するのではなく、顧客のクラウド環境内に留まります。これにより、機密性の高いデータフローに対する外部からの可視性が大幅に低減され、データレジデンシーおよびプライバシー要件に準拠します。必要に応じたサポートアクセスは、永続的なアクセスではなく、顧客の明示的な承認を得た、管理された時間制限付きの「ブレークグラス」手順によって管理されます。このアーキテクチャにより、本番パスにおける規制対象データへのベンダーの露出が最小限に抑えられますが、プラットフォームソフトウェアとサポートに関するベンダーとの関係は、組織全体のコンプライアンス範囲内に留まります。

TrueFoundryが規制業界のLLMデプロイメントをどのように解決するか
TrueFoundryは、AWS、Azure、GCP上の顧客のクラウドアカウント内に完全にデプロイされます。プロンプトの内容、モデルの応答、MCPツールの呼び出しパラメータ、監査ログデータを含むいかなる本番データも、TrueFoundryのインフラに到達するために企業の境界を離れることはありません。これはデプロイメントオプションではありません。エンタープライズデプロイメントにおけるデフォルトのアーキテクチャであり、プレミアムティアではありません。
- デフォルトでのVPC分離型デプロイメント: TrueFoundryは、Infrastructure-as-Codeを使用して顧客自身のクラウドアカウント内にデプロイされます。AIゲートウェイ、MCPゲートウェイ、管理UI、監査ログストレージはすべて顧客の境界内で動作します。4つのデプロイメントオプションは、インフラコストなしのフルマネージドSaaSから、顧客アカウント内でのフルコントロールプレーンとゲートウェイプレーンの組み合わせ(インフラコスト月額約800ドルから1,000ドル)まで、幅広いニーズに対応します。規制対象のワークロードの場合、オプション3と4は、TrueFoundryのインフラをデータが通過しないことを保証します。TrueFoundryのサポートアクセスは、顧客の承認を得た文書化されたブレークグラス手順を使用します。
- HIPAA、SOC2、GDPRに準拠した構造化監査ログ: すべてのLLM呼び出しは、X-TFY-LOGGING-CONFIGヘッダーを介して構造化されたJSON監査ログエントリを生成します。ゲートウェイレベルでは、セルフホスト型デプロイメントにおけるREQUEST_LOGGING_MODE: ALWAYSにより、設定のずれなくすべてのリクエストが確実にキャプチャされます。ログフィールドには、ユーザーID、モデル、トークン数、レイテンシ、コスト、ポリシー決定、出力が含まれます。ログはOpenTelemetryを介してGrafana、Datadog、Splunk、または任意のOTLP互換SIEMにエクスポートされます。セルフホスト型デプロイメントでは、ログデータは顧客自身のAWS S3、GCS、またはAzure BlobストレージにParquet形式で、設定可能な保持期間で書き込まれます。WORMモードのS3 Object Lockは、HIPAAの改ざん防止保持要件である最低6年間を満たします。
- 臨床およびエンタープライズIDシステムとのSSO統合: TrueFoundryは、Okta、Azure Active Directory、PingFederate、およびSAML 2.0またはJWKS互換のあらゆるIDプロバイダーと統合します。アクセスプロビジョニングは、組織の標準的なIDライフサイクル管理プロセスに従います。チームに参加する開発者は、他のシステムをプロビジョニングするのと同じIdPワークフローを通じてAIゲートウェイアクセスを取得します。退職する開発者は、同じオフボーディングワークフローを通じてアクセスが取り消されます。個別に維持または監査する必要のある、独立したAIゲートウェイ認証システムはありません。
- 規制対象ワークロード向けの承認済みモデルカタログ: プラットフォーム管理者は、どのデータタイプとユースケースにどのモデルが承認されているかを定義します。臨床チームは、PHIを含むプロンプトをBAA非対象モデルにルーティングすることはできません。これは、リクエストが境界を離れる前に、ゲートウェイがルーティング層でモデルとユースケースのポリシーを強制するためです。このポリシー強制は、アプリケーション層ではなくAIゲートウェイで行われるため、どのアプリケーションやエージェントがリクエストを開始したかに関わらず、一貫して適用されます。
- 規制業界における検証済みの本番デプロイメント: FDA規制対象の医療機器ポートフォリオを持つMedtronicは、TrueFoundryを本番環境で稼働させています。Siemens Healthineersは、複数の管轄区域にわたる規制に準拠したグローバルな医療技術事業でこれを使用しています。Innovaccerは、HIPAAに準拠したAWS GovCloud内で、TrueFoundryのゲートウェイとOpenTelemetryを介してGrafanaダッシュボードにデータを供給し、クラウド境界からデータが出ることなく、毎月約1,700万件の臨床AI推論リクエストを処理しています。Avivaは、GDPRに準拠した英国の保険事業でTrueFoundryを運用しています。ResMedは、デジタルヘルスアプリケーションにこれを使用しています。これらは、規制コンプライアンスの承認を得たエンタープライズ規模の本番デプロイメントであり、パイロット版ではありません。

TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
TrueFoundryはエンタープライズ向けデプロイメントにおいて、HIPAAに基づくビジネスアソシエイト契約(BAA)を締結しますか?
TrueFoundryのVPC分離型デプロイメントモデルは、ベンダーが管理するインフラストラクチャとPHI(保護対象保健情報)が接触する機会を最小限に抑えるよう設計されています。コントロールプレーンとゲートウェイコンポーネントの両方を顧客自身のクラウド環境内で完全に実行する構成では、本番環境のプロンプト、モデルの応答、監査ログがTrueFoundryのシステムを経由することなく、顧客の環境内に留まります。
ビジネスアソシエイト契約(BAA)が必要かどうかは、対象となる事業体に代わって第三者がPHIを作成、受領、保持、または送信するかどうかによって決まります。実務上、この判断は実際のデータフローと、デプロイメントにおけるTrueFoundryの役割に基づいて行われます。組織は、自社のアーキテクチャ、コンプライアンス体制、およびシステム内でのPHIの移動経路を考慮した上で、TrueFoundryのエンタープライズチームとBAAの適用範囲について検討する必要があります。
TrueFoundryのVPCデプロイメントにおいて、PHIをTrueFoundryのインフラストラクチャに一切ルーティングすることなく、HIPAA認証を取得することは可能ですか?
はい。ゲートウェイおよび制御コンポーネントをお客様自身のAWS、Azure、またはGCPアカウント内でホストするVPC分離型デプロイメントでは、PHI(保護対象保健情報)をエンタープライズの境界内で完全に処理することが可能です。モデル推論のリクエスト、レスポンス、およびそのやり取りの監査ログはすべて、外部のベンダーインフラストラクチャを経由することなく、お客様のクラウド環境内に留まります。
ただし、HIPAAコンプライアンスはアーキテクチャだけで決まるものではありません。ID管理、アクセス権限ポリシー、監査ログ、そしてデータパス全体におけるHIPAA適格サービスの利用といった、システム構成全体に依存します。VPCデプロイメントであっても、ワークフローの一部としてPHIの取り扱いにベンダーが関与するかどうかを組織として評価する必要があります。最終的にビジネスアソシエイト(BA)関係の有無を決定づけるのは、その点であるためです。
外部APIへのデータ送信を必要とせず、VPC内で分離されたデプロイが可能なLLMプロバイダーにはどのようなものがありますか?
VPC内で完全に分離された推論環境を実現するには、3つの有効なアプローチがあります。AWS Bedrockは、同一AWSアカウント内からアクセスすることで、適切に設定すればAWS管理下のインフラストラクチャ内(顧客のアカウント境界内)で推論を完結させることが可能です。利用可能なモデルにはClaude Sonnet、Llamaの各バリエーション、Mistralモデルなどがあり、具体的なカタログはAWSリージョンによって異なります。Azure OpenAI Serviceは、MicrosoftのBAA(事業提携契約)が適用されるAzureサブスクリプション内からアクセスすることで、GPT-4などのモデルをAzureの境界内で提供します。また、Llama 3やMistralなどのオープンソースモデルを顧客のクラウドアカウント内のGPUインフラにデプロイし、TrueFoundryのモデルデプロイメントレイヤーを通じて提供することも可能です。この場合、ゲートウェイがリクエストを内部エンドポイントへルーティングします。
TrueFoundryの仮想モデル(Virtual Models)設定を使用すると、プラットフォーム管理者はこれらのオプションのいずれかにルーティングする名前付きモデルエンドポイントを作成できます。これにより、アプリケーションは安定した内部エンドポイントを呼び出すだけで済み、アプリケーション側のコードを変更することなく、基盤となるモデルの変更やアップグレードが可能になります。
TrueFoundryは、HIPAAの6年間の保持要件を満たすために、どのように監査ログの保持を行っていますか?
セルフホスト環境(オプション3および4)では、監査ログはParquet形式で、お客様自身のAWS S3、GCS、またはAzure Blobストレージに書き込まれます。保持ポリシー、アクセス制御、ストレージクラスは、お客様がクラウドのアカウント上で直接設定します。AWS S3のオブジェクトロック(WORM:Write Once Read Manyモード)を使用することで、ログを生成するチームによる改ざんや削除ができない、HIPAAの要件を満たす監査記録の保存が可能です。保持期間は、お客様のコンプライアンスチームが組織のポリシーに応じて、HIPAAで定められた最低6年以上の期間に設定します。ログ形式、保持設定、アクセス制御については、TrueFoundryのサポートを介することなく、監査証跡として提示できるようドキュメント化されています。
TrueFoundryを設定して、特定のチームが特定のデータ型を外部モデルプロバイダーへルーティングすることを制限できますか?
はい、2つの補完的な制御機能によって可能です。ルーティング層では、バーチャルモデルとモデルカタログの設定により、どのチームやユーザーがどのモデルエンドポイントを利用できるかを定義します。例えば、臨床チームのモデルカタログをVPCホスト型のモデルのみに制限し、外部プロバイダーのエンドポイントを一切表示・アクセス不可にすることが可能です。ガードレール層では、TrueFoundryのLLM入力ガードレールが、プロンプトがモデルに到達する前にPHI(保護対象保健情報)やその他の規制対象データ型を検知してブロックします。PII(個人識別情報)検知やカスタム正規表現マッチングを使用して、機密コンテンツをフラグ立てすることも可能です。入力ガードレールが作動すると、リクエストはモデルに到達する前にブロックされ、ガードレールの結果は監査証跡として検知理由とともに記録されます。これらの制御機能はいずれもAIゲートウェイ層で動作し、プラットフォームを使用するすべてのアプリケーションに一貫して適用されます。
AIゲートウェイインフラストラクチャを対象としたSOC2 Type II監査において、TrueFoundryはどのようなドキュメントを提供していますか?
TrueFoundryはSOC2 Type II認証を取得しています。お客様がベンダーリスク評価の一環としてプラットフォームの監査を行う際、TrueFoundryはSOC2 Type II報告書を提供可能です。AIゲートウェイインフラストラクチャ自体の監査エビデンスについては、主にお客様自身のTrueFoundry環境から生成されます。具体的には、監査期間中のアクセス制御の継続的な運用を示す構造化された監査ログ、RBAC設定ドキュメント、IDライフサイクル管理を示すIdP統合記録、ガードレールの設定および実行ログなどが含まれます。TrueFoundryのソリューションチームは、お客様の監査準備プロセスと連携し、審査対象となる各SOC2トラストサービス基準に対して必要なログフィールドや設定エクスポートの特定をサポートします。












.webp)
.webp)


.png)

.png)














