Truefoundry AI GatewayとHiddenLayerの統合

現在AIを導入しているすべてのチームは、同じ矛盾に直面しています。開発者は新しいモデルが登場するたびにすぐに組み込みたいと考え、セキュリティチームはすべてのプロンプトとレスポンスが安全で、コンプライアンスに準拠し、データ漏洩がないことを求めています。どちらの言い分も正しく、どちらも相手を待つことはできません。したがって、真の課題は「どのモデルを保護するか」ではなく、「チームがすでに利用している数十、数百ものモデルに対し、統合をその都度やり直すことなく、いかにして単一の一貫したセキュリティポリシーを適用するか」という点にあります。

モデルへのアクセスと、そこを流れるデータのガバナンスとの間にあるこのギャップこそが、多くのAIセキュリティの取り組みが密かに頓挫してしまう原因です。本日、私たちはそのギャップを埋めます。私たちは、以下の統合を発表します。 HiddenLayer Runtime Security と TrueFoundry AI Gatewayの統合により、ゲートウェイ配下のあらゆるモデルに対し、モデルごとのエンジニアリングを必要とせず、一元的にAIランタイムセキュリティを適用できるようになります。

TrueFoundry AI Gateway

TrueFoundry AI Gatewayは、エンタープライズAIの制御ポイントです。開発者は単一のAPIを通じて数百ものLLMに統合アクセスでき、スマートルーティング、可観測性、コスト管理機能が標準で組み込まれています。導入規模が拡大するにつれ、困難になるのはモデルへの接続そのものではなく、その後の管理です。複数のプロバイダー、絶えず変化するAPI、そしてすべての呼び出しに適用されるコンプライアンス要件への対応が課題となります。

このゲートウェイは、そうした複雑な状況を一つの整合性のあるインターフェースへと集約します。すべてのリクエストとレスポンスが同じ経路を通るため、アプリケーションごとに個別にセキュリティ対策を組み込む必要はもうありません。一度設定すれば、組織全体に対して一元的にポリシーを適用できます。

HiddenLayer Runtime Security for AI

HiddenLayer Runtime Securityは、LLMアプリケーション専用に構築されたランタイムセキュリティプラットフォームです。プロンプトやレスポンスが安全であると盲信するのではなく、やり取りが発生するたびにその内容を検査し、明確な判断を下します。

プロンプトインジェクションや脱獄（ジェイルブレイク）の試みをモデルに到達する前に阻止するため、攻撃者がシステムを騙して指示を漏洩させたり、ガードレールを回避したりすることを防ぎます。また、メールアドレスや電話番号などの機密データを検知してマスキングするため、機密情報がプロンプトやレスポンスに紛れ込むこともありません。ポリシーはコード内ではなくAISecプラットフォームコンソールで管理されるため、セキュリティチームは新しいリリースをデプロイすることなく、ブロック、マスキング、フラグ立ての対象を柔軟に調整できます。

連携による相乗効果：一度の統合で、すべてのモデルを保護

それぞれのツールは単体でも強力ですが、組み合わせることで、通常はAIセキュリティを煩雑にしている作業を排除できます。すべてのアプリケーションにSDKを埋め込んだり、プロバイダーごとに個別のセキュリティコードを維持したりする代わりに、HiddenLayerをゲートウェイに一度接続するだけです。それ以降、TrueFoundryを経由するすべてのモデルは、自動的に同じ保護を継承します。

ゲートウェイはすべての呼び出しにおいてHiddenLayerの判定を監視し、その場で適用します。悪意のあるプロンプトはブロックされ、機密コンテンツは即座にマスキングされてクリーンなテキストのみが通過し、安全なリクエストはそのまま処理されます。開発者はスピードを落とすことなく、このレイヤーの存在をほとんど意識せずに作業を続けられ、セキュリティチームはすべてのモデルと環境にわたる一元的なポリシー制御と完全な監査証跡を手に入れることができます。

統合の仕組み

HiddenLayerは軽量なラッパーとして動作し、ゲートウェイがリクエストの入出力時に呼び出します。各リクエストは、モデルに到達する前に、予測可能で迅速なラウンドトリップを行います。

‍

すべてのリクエストに対する階層化された経路

1. アプリケーションから送信されたリクエストは、まず最初に以下の場所に到達します。 TrueFoundry AI Gateway。
2. ゲートウェイはプロンプトを HiddenLayerに転送し、プロンプトインジェクション、ジェイルブレイクの試み、機密データの漏洩といった脅威がないか、設定済みのセキュリティポリシーに基づいて評価します。
3. HiddenLayer は判定結果を ゲートウェイに返します。判定結果には、 許可（Allow）、 ブロック（Block）、または 編集（Redact）があります。ブロックされたリクエストは停止され、フラグが立てられたコンテンツは自動的に編集された上で処理が続行されます。
4. リクエストが許可されると、 TrueFoundry AI Gateway は、アプリケーションが選択したターゲットモデルプロバイダーへリクエストをルーティングします。
5. モデルが生成した応答は、 TrueFoundry AI Gatewayに返されます。
6. ゲートウェイは HiddenLayer から受け取ったポリシー決定を適用し、安全な最終応答を作成します。
7. セキュリティ保護されたレスポンスがアプリケーションに返されます。

このアーキテクチャにより、組織はモデル実行前に一貫したAIセキュリティポリシーを適用できます。これにより、プロンプトインジェクション攻撃、ジェイルブレイクの試み、機密データの漏洩を防ぐと同時に、すべてのAIモデルに対して統一されたアクセスレイヤーを維持することが可能になります。

利用を開始する

AIセキュリティのために開発のスピードを落とす必要はありません。TrueFoundry AI Gateway上のHiddenLayer Runtime Securityなら、エンジニアリングプロジェクトを立ち上げるような手間をかけず、スイッチを切り替える感覚でランタイム保護を導入できます。ポリシーを一度定義してゲートウェイをHiddenLayerに向けるだけで、背後にあるすべてのモデルが保護されます。

エンドツーエンドの仕組みについては、以下をご覧ください。 HiddenLayer統合ガイド （TrueFoundryドキュメント内）、または 弊社チームまでお問い合わせ ください（ウォークスルーをご案内します）。