この度、TrueFoundryとTrojAIの戦略的統合を発表いたします。これは、現代のAIスタックにおける2つの重要なレイヤーを統合するものです。

• TrueFoundry AI Gateway、LLMへのアクセス、可観測性、トラフィックルーティング、レイテンシー最適化のためのエンタープライズ向けコントロールプレーン
• TrojAI Defend AI Firewall、リアルタイムセキュリティ、ポリシー適用、ランタイムにおけるAI脅威からの保護を提供するものです

このパートナーシップにより、生成AIを本番環境にデプロイするための、安全で、可観測性があり、スケーラブルな基盤が提供されます。

AIの可視性と制御における課題 

企業はGenAIを本番環境で急速に構築・デプロイしていますが、その基盤となるインフラは追いついていません。チームは、複数のLLMプロバイダーへの断片的なアクセス、LLMの使用状況、レイテンシー、障害に関する可視性の欠如、そしてプロンプトインジェクション、機密データ漏洩、有害性といった脅威を引き起こす可能性のある複雑で微妙なAIトラフィックに苦慮しています。このため、企業がAIを一貫性のある、安全で、スケーラブルな方法で構築・デプロイすることはますます困難になっています。TrueFoundryとTrojAIが共に解決しようとしているのは、まさにこの課題です。

新たな基準：AI Gateway + AI Defense

この統合により、責任の明確な分離が実現し、企業がLLMインフラとトラフィック管理、そしてAIセキュリティの両方に対処できるようになります。 

TrueFoundry：AI Gateway

TrueFoundry は、すべてのAIトラフィックに対する統合コントロールプレーンを提供し、チームは単一のAPIを通じて250以上のモデルへのアクセスを一元化できます。認証、レート制限、クォータを適用し、レイテンシー、トークン、コスト、障害を含むすべてを監視できます。最終的に、これにより企業は、単一のインターフェースを通じて、エンタープライズAIエージェントとアプリケーションのパフォーマンスと可視性を最適化できます。 

TrojAI：AI Firewall

TrojAIはAIセキュリティプラットフォームであり、企業がAIリスクを評価するのに役立ちます。 自動レッドチーム演習 および〜から保護します。 ランタイムにおけるアクティブな脅威TrojAI Defendは、ランタイム強制プロキシとしてインラインで動作し、すべてのリクエストとレスポンスが安全で準拠していることを保証します。トラフィックをブロック、編集、または通過させる機能を備えています。包括的なポリシーエンジンにより、TrojAIは以下のようなAI駆動型ルールセットを多数提供します。

• プロンプトインジェクション、ジェイルブレイク、システムプロンプトの漏洩といった敵対的攻撃からの保護
• データ漏洩防止（個人情報、機密情報、知的財産など）
• カスタムルールを含む、有害・不適切なコンテンツのモデレーション

TrojAIは、脅威の状況が進化する中で、グローバル企業がAI資産を保護できるよう、リアルタイムかつ大規模に機能します。

連携による相乗効果：スケーラブルでセキュアなAI

それぞれのプラットフォームは、個別に重要な課題を解決します。TrueFoundryは、アクセス制御、可観測性、インテリジェントなトラフィックルーティングといった主要な機能で、企業がAIトラフィックを制御・監視するのを支援します。TrueFoundryがトラフィックを監視する際、TrojAIとネイティブに統合し、不審な脅威や悪意のある脅威から保護します。両者が連携することで、制御から強制までを網羅する統合されたAI管理プレーンが実現します。TrueFoundryがトラフィックの流れを管理する一方、TrojAIは許可されるトラフィックを管理します。

「TrueFoundryのAI Gatewayと統合することで、リアルタイムの強制を本番トラフィックに直接導入しています。これにより、チームはプロンプトインジェクション、データ漏洩、望ましくないAIコンテンツにさらされることなく、迅速に作業を進めることができます」と、 TrojAIのCEO、リー・ワイナー。「私たちは共に、セキュアで本番環境に対応したAIスタックがどのようなものであるべきかを定義しています」 

「企業は、ガバナンスとセキュリティが別々の議論ではないAIインフラを必要としています」と、 TrueFoundryのCEO、アヌラーグ・ガットグティア。「TrojAI DefendをTrueFoundry AI Gatewayに直接統合することで、私たちは、すべてのリクエストが管理され、保護される単一の本番スタックをチームに提供しています。これは、AIエージェントを大規模に自信を持って展開するための基盤となります」 

TrueFoundry × TrojAI の利用開始

TrojAIはTrueFoundryにネイティブに統合されており、迅速かつ簡単に統合できます。

TrojAIコンソールで、ユーザーはまずポリシーを作成し、アプリケーションのトラフィックを検査するための関連ルールセット（例：プロンプトインジェクション、データ漏洩）を選択します。ポリシーが構築されたら、ユーザーは該当するクライアントIDとサービスURLを提供することで、TrueFoundry内でTrojAI統合を有効にできます。

TrueFoundry内で設定されると、AIアプリケーションとエージェントはAI Gatewayにリクエストを送信します。TrueFoundryは、認証とアクセス制御の適用、遅延、コスト、またはポリシーに基づくトラフィックルーティング、ログ、メトリクス、トレースのキャプチャを行うように設定できます。

TrojAIは、リアルタイムのトラフィック強制のためのプロキシレイヤーとして、またはAPIベースのトラフィック監視のためのガードレールサービスとしてデプロイできます。リクエストがTrojAIに転送されると、TrojAIはプロンプトの悪意のある意図を検査し、関連するセキュリティおよびコンプライアンスポリシーを適用します。 

許可されたリクエストはモデルプロバイダーに到達します。応答はTrojAIを介して返され、有害性、敵対的出力、または機密データの漏洩について再フィルタリングされます。イベントは可視化と監視のためにTrojAIに返されます。

TrueFoundryは、組み込み機能を通じて、可観測性とルーティングを可能にする完全なインタラクションライフサイクルを記録します。これには、リクエスト/レスポンスのロギング、遅延追跡、トークンとコストの監視、フェイルオーバーとロードバランシングが含まれます。

AIインフラの未来

AIシステムの未来は、制御とスケーラビリティのためのゲートウェイ、そしてセキュリティと強制のためのランタイム保護を統合した包括的なAIインフラストラクチャスタックの上に構築されます。TrueFoundry × TrojAIにより、その未来はすでにここにあります。 

この統合により、チームはインフラストラクチャやセキュリティをゼロから再構築することなくGenAIアプリケーションを出荷できるため、本番環境へのデプロイが迅速化されます。また、完全な可視性を提供し、すべてのリクエスト、関連コスト、レイテンシーメトリクスを1か所で統合的に表示できます。設計段階からの組み込みセキュリティにより、組織はプロンプトインジェクションやデータ流出などの新たな脅威から保護できます。同時に、マルチモデルの自由度を維持し、ガバナンスや安全性を犠牲にすることなく、プロバイダー間で簡単にルーティングできます。

始める

• TrueFoundry AI Gatewayについて詳しくはこちら： https://www.truefoundry.com/ai-gateway
• TrojAI連携について学ぶ： https://www.truefoundry.com/docs/ai-gateway/trojai 
• スタックでDefend AI Firewall保護を有効にするには、TrojAIにお問い合わせください： https://troj.ai/contact-us