Blank white background with no objects or features visible.

Ask TFY: Debug, Analyze, and Act on Everything Happening Inside Your AI Gateway Learn More

TrueFoundryはSeldon AIの買収を発表し、エンタープライズAI向けコントロールプレーンを拡張します。プレスリリース全文はこちら→

TrueFoundryとKongの比較

TrueFoundryが最適なのはどんな時?

本番環境対応のGenAIワークフローを構築しており、汎用APIゲートウェイの複雑さを引き継ぎたくない場合は、TrueFoundryをお選びください。Kongが既存のAPI運用をAIトラフィックに対応させるのに対し、TrueFoundryはGenAI向けに特化して構築されており、AI Gateway、MCP Gateway、Agent GatewayがVPC内にデプロイされます。

主要な競合差別化ポイント
TrueFoundry
Kong
ゲートウェイのパフォーマンス
AIトラフィック専用に構築されています。ポッドあたり250 RPSで約3msのレイテンシー、線形にスケーリングします。認証、レート制限、ガードレールはすべてホットパス上でインメモリで実行され、プラグインチェーンのオーバーヘッドやライセンスに関する予期せぬ問題はありません。
AIプラグインで拡張された汎用APIゲートウェイ。Kongをすでに利用している場合は強力ですが、マルチターゲットAIルーティングにはエンタープライズライセンスが必要です。
ルーティングとロードバランシング
インタートークンレイテンシー/TPOTを使用したネイティブなレイテンシーベースルーティング、SLAカットオフによる適応型優先順位付け、型付きYAMLポリシー、およびOTELエクスポート。ルーティングはチーム、モデル、アプリケーションレベルで設定可能です。
AIルーティングは、汎用APIゲートウェイの上に構築されたプラグインレイヤーです。機能の可用性は、プラグインのバージョンとライセンスティアによって異なります。
デプロイメントとアーキテクチャ
完全なK8sネイティブで、お客様のVPC内で完全に実行されます。ステートレスなポッド、GitOpsフレンドリーなインストール、正式に文書化されたスプリットプレーンモデル、および複数のゲートウェイプレーン。
柔軟なデプロイメントトポロジーですが、AI機能の可用性はプラグインのバージョンとライセンスティアによって異なります。現在機能しているものでも、AI要件の増加に伴いアップグレードが必要になる場合があります。
データレジデンシー
認証、レート制限、ガードレール、トレースはKubernetesクラスター内で実行されます。外部サービスを必要としない組み込みのPII/PHIおよびシークレット検出。OTELトレースは独自のバックエンドにエクスポートされます。デフォルトでは、何もお客様の環境から外に出ることはありません。
エンタープライズ機能がアンロックされると、強力なデータガバナンスプラグインカタログが利用可能になります。PIIサニタイズ機能はバージョンとライセンスによって制限されており、ガバナンスの深度は利用しているティアに依存します。
MCPゲートウェイ
専用に構築されたMCPガバナンス:専用のツール前/ツール後ガードレールフック、および仮想MCPサーバーが利用可能です。
KongのAI MCPプロキシは、他のAPIルートと同じ認証、レート制限、および可観測性スタックによってMCPトラフィックを管理したい場合にうまく機能します。直接的なMCPルートは、LLM側のAIプラグインフローとは別に保つ必要があります。
エージェントゲートウェイ
エージェントに対するRBACとガードレールを適用するための中央エージェントレジストリ。ゲートウェイがトラフィックを管理し、非同期サービスが長時間実行を処理します。
ツールトラフィックはAI MCPプロキシを介してプラグインエコシステムに参加します。ネイティブな非同期実行はありません。長時間実行されるエージェントループには、オーケストレーションレイヤーの構築と保守がチームに求められます。

評価の重要ポイント

質問
TrueFoundryによる解決策
Kongを検討する際の注意点
完全なデータ主権が必要です。ペイロードやメタデータの外部流出は一切許容されません。
TrueFoundryは、外部依存関係なしにKubernetesクラスター内でホットパス全体を実行します。PII/PHI(個人情報/保護対象保健情報)およびシークレットの検出機能が組み込まれており、外部サービスは不要です。OTELトレースは独自のバックエンドへエクスポート可能です。完全なデータ主権が標準であり、追加オプションではありません。
Kongのデータガバナンス機能は強力ですが、PII(個人情報)のサニタイズや高度なコンプライアンス機能はエンタープライズライセンスが必要であり、バージョンにも依存します。 
すでにAPIでKongを利用していますが、AIにも使うべきでしょうか?
AIのニーズがAPIルーティングの枠を超えて拡大している場合(セルフホストモデル、MCPガバナンス、エージェントインフラ、完全なデータ主権など)、TrueFoundryはKongのような汎用的な複雑さを抱えることなく、それらの目的に特化したプラットフォームを提供します。
既存のKongユーザーにとって、KongをAIトラフィックに拡張するのは最も摩擦の少ない方法です。しかし、真剣に考えるべき問いがあります。あなたのAI要件は、Kongのプラグインモデルに長期的に適合するほど安定していますか?それとも、セルフホストモデルやエージェントワークロードへ移行するにつれて、その枠を超えてしまうでしょうか?
本番ワークロード向けにMCPとエージェントのガバナンスが必要である。
TrueFoundryのMCPゲートウェイは、専用のツール前後ガードレールフック、仮想MCPサーバー、Cedarベースのポリシー、完全な認証情報の分離を提供し、すべてVPC内で本番環境に対応します。ガードレールはエージェントライフサイクルのあらゆるポイントで機能します。
KongのAI MCPプロキシとツールごとのACLは、既存のKongユーザーにとって実用的なMCP制御面を提供します。ただし、ルートトポロジーの複雑さや、長時間実行されるエージェントループに対する非同期実行がネイティブでサポートされていないという課題があります。本番環境でエージェントインフラを構築するチームは、自力でそのギャップを埋める必要があります。
チームやセルフホストモデルを横断して、どのようにAIコストを管理すべきか?
TrueFoundryは予算制限を強制し、外部APIとセルフホスト環境の両方でチーム、ユーザー、モデル、アプリごとのコスト配分を可能にします。K8s最適化により、TCO(総保有コスト)を35〜50%削減した実績があります。
Kongは強力なトークンおよびリクエスト制限を提供しますが、コストベースのブロックにはわずかな遅延が生じます。ドル単位の分析には外部ツールが必要であり、セルフホストモデルのコスト配分もネイティブではサポートされていません。
フルスタックの可観測性が必要か、それともLLMレベルのメトリクスだけで十分か?
TrueFoundryは、LLMのリクエストトレースとGPUメモリ、Podの健全性、コンテナログを単一のUIで紐付けます。インフラの障害とモデルの障害を同じ場所で診断できるため、追加のツールは不要です。
Kongの可観測性は既存のOTel/Prometheus/Grafanaパイプラインとスムーズに統合されます。しかし、AIメトリクスには明示的なプラグイン設定が必要であり、Kong自体はモデルをホストしないため、インフラレベルの可視性は得られません。
アーキテクチャを再構築することなく、外部APIからセルフホストモデルへ移行したい。
TrueFoundryは、外部APIルーティングとセルフホストモデルのデプロイの両方を単一プラットフォームで管理します。OpenAIからプライベートなLlama環境への移行も、大規模なマイグレーションではなく設定変更だけで完結します。トレーニング、ファインチューニング、サービング、ゲートウェイがすべて統合されています。
Kongは外部・セルフホストを問わずAIトラフィックをルーティングできますが、モデルのデプロイ、トレーニング、ファインチューニングは対象外です。AIスタックが成熟するにつれ、Kongではカバーできない部分を補うための追加プラットフォームが必要になります。

TrueFoundryがどのように課題を解決するか

主な課題
TrueFoundryを利用するメリット
ライセンス階層によって制限されるAI機能
TrueFoundryのAIゲートウェイ機能(ルーティング、ガードレール、MCPガバナンス、コスト管理)は、機能制限による階層分けのない統合プラットフォームとして提供されます。評価した機能がそのまま本番環境で利用可能です。
スタックの拡大に伴うプラグインの複雑化
TrueFoundryはAIのために構築されています。管理すべきプラグインのバージョンマトリックスや、互換性のない組み合わせへの対処、どの機能がどのバージョンで動作するかを調べるためのドキュメント調査は一切不要です。
自己ホスト型モデルへのネイティブサポートの欠如
TrueFoundryは、外部APIルーティングと内部での自己ホスト型モデルデプロイの両方を一つのインターフェースで管理します。マネージドAPIからプライベートモデルへの切り替えは、プラットフォームの移行ではなく、設定変更だけで完了します。
AIチームにおける本番稼働までの遅延
セルフサービスでのデプロイを数時間で実現します。TrueFoundryは、環境構築、スケーリング、ルーティング、CI/CD検証を自動化し、デプロイのゲートとしてプロンプトのバージョン管理も行います。これにより、チームは本番稼働までの時間を80%以上短縮できます。

避けるべき一般的な落とし穴

KongではなくTrueFoundryのようなクラウド非依存型プラットフォームを利用することで

  • 既存のKong設定でAI要件をカバーできるという思い込み。KongをAIトラフィックに拡張することは簡単ですが、MCPガバナンス、セマンティックガードレール、PII(個人情報)のサニタイズといったAI特有の機能は、バージョンやライセンスによって制限されています。標準化する前に、実際に必要な機能を精査し、現在のプランで利用可能かどうかを確認してください。
  • MCPガバナンスの成熟度要件の過小評価。Kongはツールレベルのアクセス制御を提供しますが、それはツールが実際に何を行うかを制御することとは異なります。本番環境のエージェントには、すべてのツール呼び出しの前後で機能するガードレール、適切な認証情報の分離、そして本格的なポリシーエンジンが必要です。Kongにはまだそれが備わっていません。
  • ライセンス階層の柔軟性とコスト予測可能性の混同。低価格の導入プランは魅力的に見えますが、必要な機能がエンタープライズ版に限定されている場合があります。TCOを比較する際は、導入価格ではなく、必要な機能セットを含めた総ライセンス費用を考慮してください。
  • プラグインの組み合わせを統合AIプラットフォームと誤認すること。Kongのプラグインモデルは非常に強力ですが、AIガバナンスのために適切なプラグインを構成するには、継続的なバージョン管理と互換性テストが必要です。これはAIスタックの拡大とともに増大するエンジニアリングの負荷となります。
  • 汎用APIゲートウェイ上でのエージェントインフラ構築。リトライ、フォールバック、プラグインベースのトラフィック制御は個別の呼び出しには適していますが、長時間実行されるエージェントにはネイティブな非同期実行基盤が必要です。それがなければ、チームがオーケストレーション層を自前で管理し続けなければなりません。
  • Kongの専門知識がないチームにおける運用オーバーヘッドの過小評価。Kongは、すでに習熟しているチームには恩恵をもたらします。しかし、AIチームがゼロから始める場合、設定の複雑さが製品を本番環境へリリースするまでの準備期間を大幅に延ばしてしまいます。

TrueFoundryがもたらす実際の成果

SageMakerと比較したTrueFoundryの実際の成果をご覧ください。

Automation Anywhere logo featuring stylized letter A in orange and yellow hues on white background.
Siemens Healthineers company logo
Resmed logo with blue, purple, and pink wavy lines beside company name in black text.
Innovaccer Company Logo
Blank white background with no objects or features visible in the empty space provided entirely.

マルチリージョンでのLLMゲートウェイデプロイメントを実施し、ゲートウェイ経由でのモデルおよびMCPアクセスのRBACを設定済み。

モデルへのアクセスを制御し、コスト会計を通じてチームごとのチャージバックを実施。

複数のユースケースで活用・検討中。

実験環境から本番環境まで、すべてのAI推論呼び出しをルーティングし、約10のアプリケーションで月間10億トークン以上を処理しています。

セルフホストモデルを含む複数のモデル間での推論を管理・ルーティングし、本番環境レベルの信頼性でリクエストを処理します。

よくある質問と懸念点

TrueFoundryとKong AI Gatewayの主な違いは何ですか?

Kongはプラグインエコシステムを通じてAI機能を追加した汎用APIゲートウェイです。一方、TrueFoundryはAIワークロードのためにゼロから構築された、ベンダー中立の完全なAIインフラプラットフォームです。AIゲートウェイ、MCPゲートウェイ、エージェントゲートウェイ、そしてモデルデプロイメントのすべてを、VPC内で完全に動作するKubernetesネイティブなシステムとして統合しています。プラグインのバージョン管理や、主要なAI機能に対するエンタープライズライセンスの制限、汎用APIゆえの複雑さに悩まされることはありません。クラウドを問わず、あらゆるモデル、ライブラリ、フレームワークをサポートしています。独立したファウンダー主導の企業として、当社のロードマップはエンタープライズAIインフラのニーズのみに基づいて策定されています。

すでにAPIでKongを利用していますが、AIにもそのまま使うべきでしょうか?

AIの要件が安定しており、外部APIルーティング、基本的なガバナンス、既存スタック上の可観測性といったKongのプラグインモデルの範囲内に収まるのであれば、Kongを拡張するのは合理的な選択です。しかし、MCPガバナンス、セマンティックガードレール、セルフホストモデルレベルでのコスト配分といったAI特有の機能が必要になると、エンタープライズライセンスや特定のプラグインバージョンが必要となり、複雑さが増します。また、セルフホストモデルのデプロイ、エージェントインフラ、完全なデータ主権へとニーズが進化するにつれ、汎用的なKongのアーキテクチャは足かせとなり始めます。AIインフラの将来を見据えた際、プラグインアーキテクチャに縛られる前に、AI専用に設計された代替手段としてTrueFoundryを検討する価値があります。

両プラットフォームのMCPガバナンスにはどのような違いがありますか?

TrueFoundryは、MCPガバナンスのための専用環境を提供します。ツール実行前後のガードレールフック、仮想MCPサーバー、Cedarベースのポリシーエンジン、インバウンドOAuth、認証情報分離のためのシークレットグループなど、すべてがKubernetesクラスター内で動作し、即座に本番環境へ導入可能です。KongのAI MCPプロキシ、ツールごとのACL、AI MCP OAuth2は、真にネイティブなMCP制御面を実現しており、既存のKongユーザーであれば段階的に導入できます。しかし、実用上の課題は複雑性にあります。KongのMCP実装では、直接的なMCPルートとLLM側のAIプラグインフローを分離するために、ルートトポロジーの慎重な管理が求められます。これは、エージェントのワークロードが複雑化するにつれ、運用上の大きな負担となります。

データレジデンシーの扱いはどう異なりますか?

TrueFoundryは、認証、レート制限、ガードレール、PII/PHI検出、トレースといったホットパスのすべてを、外部依存関係なしにKubernetesクラスター内で実行します。完全なデータ主権がデフォルトのアーキテクチャであり、設定オプションではありません。Kongは強力なデータガバナンスプラグインカタログを備えていますが、規制産業で不可欠な「PIIの双方向サニタイズと復元」や「高度なコンプライアンス制御」といった機能は、エンタープライズライセンスの制限やバージョン依存があります。コンプライアンスが譲れない要件であるチームにとって、ライセンス階層への依存は早期に検証しておくべきリスクです。

本番環境のエージェントワークロードにはどちらのプラットフォームが適していますか?

TrueFoundryは、ゲートウェイガバナンスと実行ライフサイクルの両方を単一のアーキテクチャから明示的に文書化している唯一のプラットフォームです。ガードレールは、LLMへの入力、出力、ツール呼び出し前後など、エージェントライフサイクルのあらゆるポイントで機能します。また、スプリットプレーン設計により、ゲートウェイがトラフィックを制御し、非同期サービスが長期にわたるループ処理を確実に実行します。KongのAI MCP Proxyは、別のガバナンスプレーンなしでツールトラフィックをプラグインエコシステムに取り込めるため、既存のKongユーザーには非常に有益です。しかし、ネイティブな非同期実行基盤がないため、長時間実行されるエージェントループには、チームが個別に構築・保守するアプリケーション側のオーケストレーションが必要となります。

オブザーバビリティの比較はどうなっていますか?

TrueFoundryは、導入直後からフルスタックの可視性を提供します。LLMのリクエストトレースとGPUメモリ、Podの健全性、コンテナログが単一のUIで確認でき、有益な情報を得るための複雑な設定は不要です。Kongのオブザーバビリティは、すでにOTel/Prometheus/Grafanaスタックを運用しているチームにとっては非常に強力で、LLMトラフィックを既存のパイプラインに統合できます。ただし、セットアップにはトレードオフがあります。AIコストやトークンメトリクスを表示するには明示的なプラグイン設定が必要であり、プロンプト本文のキャプチャには、有用なメトリクスを得る前に慎重なマスキング戦略を策定する必要があります。

チーム間やセルフホストモデルにおけるコスト管理はどのように行われますか?

TrueFoundryはホットパス上で予算を強制適用するため、予算超過は事後報告ではなく、発生前にブロックされます。コスト配分はチーム、ユーザー、モデル、アプリケーションごとに、外部API呼び出しとセルフホストモデル群の両方に対して行われ、社内課金用のパブリック/プライベートコスト価格設定も可能です。Kubernetesのワークロード最適化とスポット/GPUスケジューリングにより、TCOを35〜50%削減した実績があります。Kongのai-rate-limiting-advancedプラグインはトークンやリクエストの制限には強力ですが、コストベースのブロック機能は反映にタイムラグが生じます。ドル単位の分析には外部ツールが必要であり、セルフホストモデルのコスト配分はネイティブではサポートされていません。

プロンプト管理にはどちらのプラットフォームが適していますか?

TrueFoundryは、GitOpsと最も深く統合されたプロンプト管理を提供します。レジストリでのバージョン履歴管理、比較・差分ワークフロー、CIゲートとしてのプロンプトバージョン参照、そしてデプロイ前のドライランや差分プレビューが可能です。プロンプトの変更とインフラの変更を同一のパイプラインで管理できます。KongのdecKはゲートウェイ設定において堅牢なGitOpsを提供し、AI Prompt Decoratorはゲートウェイレベルでのプロンプトインジェクションを適切に処理します。しかし、プロンプトのライフサイクル管理という点では、バージョン管理レジストリやスタンドアロンのプレイグラウンド、モデルごとのプロンプトオーバーライド機能が不足しています。プロンプトの反復的な改善を行い、CIゲートによるデプロイを必要とするチームにとって、Kongのツールセットでは不十分です。
Grey wavy lines on white background, abstract wave pattern with multiple curved lines intersecting smoothly.

GenAIインフラをシンプルに、高速に、低コストで

Fortune 500企業10社以上が導入