TrojAIとTrueFoundryの統合

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TrueFoundryとTrojAIの戦略的統合を発表できることを嬉しく思います。現代のAIスタックにおける2つの重要なレイヤーが統合されます。
- TrueFoundry AI Gateway:LLMアクセス、可視性、トラフィックルーティング、レイテンシ最適化のためのエンタープライズコントロールプレーン
- TrojAI Defend AI Firewall:ランタイムでのリアルタイムセキュリティ、ポリシー適用、およびAI脅威からの保護を提供
このパートナーシップにより、本番環境でジェネレーティブAIを展開するためのセキュアで観察可能かつスケーラブルな基盤が提供されます。

AIの可視性と制御における課題
企業は本番環境でのGenAIの構築と展開を急速に進めていますが、基礎となるインフラストラクチャがそれに追いついていません。チームは、複数のLLMプロバイダーへの分断されたアクセス、LLMの使用状況、レイテンシ、障害に関する可視性の欠如、ならびにプロンプトインジェクション、機密データの漏洩、毒性などの脅威を引き起こす可能性のある複雑でニュアンスの富んだAIトラフィックに苦慮しています。これにより、一貫性があり、セキュアで、スケーラブルな方法でAIを構築および展開しようとする企業にとって、課題がますます大きくなっています。そして、これこそがTrueFoundryとTrojAIが共同で解決している隙間です。
新しい標準:AI Gateway + AI Defense
この統合により責任の明確な分離が導入され、企業がLLMインフラストラクチャとトラフィック管理、およびAIセキュリティに対応できるよう支援します。
TrueFoundry:AI Gateway
TrueFoundryはすべてのAIトラフィックのための統合コントロールプレーンを提供し、チームが単一のAPIを介して250以上のモデルへのアクセスを集中化し、認証、レート制限、クォータを適用し、すべてを観察できるようにします。これにはレイテンシ、トークン、コスト、障害が含まれます。最終的にこれにより、企業は単一の画面(single pane of glass)を通じて、エンタープライズAIエージェントおよびアプリケーションのパフォーマンスと可視性を最適化できるようになります。
TrojAI:AI Firewall
TrojAIは、自動化されたレッドチーミングを通じて企業がAIリスクを評価し、ランタイムでのアクティブな脅威から保護するのを支援するAIセキュリティプラットフォームです。TrojAI Defendはランタイム適用プロキシとしてインラインで動作し、トラフィックのブロック、マスキング、通過の機能を備え、すべてのリクエストとレスポンスがセキュアでコンプライアンスに準拠していることを確認します。包括的なポリシーエンジンを備えたTrojAIは、次のような多くのAI駆動ルールセットを提供します。
- プロンプトインジェクション、脱獄(jailbreak)、システムプロンプト漏洩をカバーする対話型保護
- データ漏洩防止(PII、シークレット、IP)
- カスタムルールを含む、毒性および不快なコンテンツのモデレーション
TrojAIはリアルタイムかつスケールして機能し、脅威環境が進化する中でグローバル企業がAI資産を保護するのを支援します。
組み合わさることでより強力に:スケーラブルでセキュア
個個別々でも、各プラットフォームは重要な問題を解決します。TrueFoundryはアクセス制御、可視性、インテリジェントなトラフィックルーティングをカバーする主要機能により、企業がAIトラフィックを制御および監視するのを支援します。TrueFoundryがトラフィックを観察する際、TrojAIとネイティブに統合して、疑わしい脅威や悪意のある脅威を監視および保護します。両者が合わさることで、制御から適用までをカバーする統合AI管理プレーンが作成されます。TrueFoundryがトラフィックのフローを統制する一方で、TrojAIはどのトラフィックが許可されるかを統制します。
「TrueFoundryのAI Gatewayと統合することで、リアルタイムの適用を本番トラフィックに直接持ち込むことができるため、チームはプロンプトインジェクション、データ漏洩、不要なAIコンテンツに身を晒すことなく迅速に対応できます」と、TrojAIのCEOであるLee Weiner氏は述べています。「私たちは力を合わせて、セキュアで本番環境に対応したAIスタックのあり方を定義しています。」
「企業には、ガバナンスとセキュリティが個別の議論にならないAIインフラストラクチャが必要です」と、TrueFoundryのCEOであるAnuraag Gutgutia氏は述べています。「TrojAI DefendをTrueFoundry AI Gatewayに直接統合することで、すべてのリクエストが統制され保護される単一の本番スタックをチームに提供します。これこそが、AIエージェントを自信を持って大規模に展開するための基盤です。」
TrueFoundry × TrojAI のはじめ方
TrojAIはTrueFoundry内でネイティブに利用可能であり、統合は迅速かつ簡単です。
TrojAIコンソールで、ユーザーはまずポリシーを作成し、アプリケーションのトラフィックを検査するための関連するルールセット(例:プロンプトインジェクション、データ漏洩)を選択します。ポリシーが構築されたら、ユーザーは適切なクライアントIDとサービスURLを提供することで、TrueFoundry内でTrojAI統合を有効にできます。

TrueFoundry内で設定されると、AIアプリケーションおよびエージェントはAI Gatewayにリクエストを送信します。TrueFoundryは、認証およびアクセス制御の適用、レイテンシ、コスト、ポリシーに基づくトラフィックのルーティング、ならびにログ、メトリクス、トレースのキャプチャを行うように設定できます。
TrojAIは、リアルタイムトラフィック適用のためのプロキシレイヤー、またはAPIベースのトラフィック監視のためのガードレールサービスのいずれかとして展開できます。リクエストがTrojAIに転送されると、TrojAIは悪意のある意図がないかプロンプトを検査し、関連するセキュリティおよびコンプライアンスポリシーを適用します。

通過したリクエストはモデルプロバイダーに到達します。レスポンスはTrojAIを介して戻され、毒性、対話的出力、または機密データ漏洩がないか再フィルタリングされます。イベントは可視性と監視のためにTrojAIに送り返されます。

TrueFoundryは、可視性とルーティングを可能にする組み込み機能を通じて、インタラクションの完全なライフサイクルを記録します。これには、リクエスト/レスポンスログ、レイテンストラッキング、トークンおよびコスト監視、ならびにフェイルオーバーとロードバランシングが含まれます。
AIインフラストラクチャの未来
AIシステムの未来は、制御と拡張性のためのゲートウェイと、セキュリティと適用のためのランタイム保護を統合した包括的なAIインフラストラクチャスタックの上に構築されます。TrueFoundry × TrojAIにより、その未来はすでにここにあります。
この統合により、チームはインフラストラクチャやセキュリティを一から再構築することなくGenAIアプリケーションを出荷できるようになるため、本番環境への迅速な展開が可能になります。また、完全な可視性を提供し、すべてのリクエスト、関連コスト、レイテンシメトリクスの統一されたビューをすべて1か所で確認できます。設計によるセキュリティ(security by design)が組み込まれているため、組織はプロンプトインジェクションやデータ漏洩などの新たな脅威から保護できます。同時にマルチモデルの自由度を維持し、ガバナンスや安全性を犠牲にすることなく、プロバイダー間のルーティングを容易にします。
今すぐはじめる
- TrueFoundry AI Gatewayの詳細を見る: https://www.truefoundry.com/ai-gateway
- TrojAI統合について学ぶ:https://www.truefoundry.com/docs/ai-gateway/trojai
- TrojAIにお問い合わせいただき、スタックでDefend AI Firewall保護を有効にする:https://troj.ai/contact-us
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






