Blank white background with no objects or features visible.

Ask TFY:AIゲートウェイ内のあらゆる事象をデバッグ、分析、実行 詳細はこちら

TrueFoundryはSeldon AIの買収を発表し、エンタープライズAI向けコントロールプレーンを拡張します。プレスリリース全文はこちら→

TrueFoundryとKongの比較

TrueFoundryが最適なのはどんな時?

本番環境対応のGenAIワークフローを構築しており、汎用APIゲートウェイの複雑さを引き継ぎたくない場合は、TrueFoundryをお選びください。Kongが既存のAPI運用をAIトラフィックに対応させるのに対し、TrueFoundryはGenAI向けに特化して構築されており、AI Gateway、MCP Gateway、Agent GatewayがVPC内にデプロイされます。

主要な競合差別化ポイント
TrueFoundry
Kong
ゲートウェイのパフォーマンス
AIトラフィック専用に構築されています。ポッドあたり250 RPSで約3msのレイテンシー、線形にスケーリングします。認証、レート制限、ガードレールはすべてホットパス上でインメモリで実行され、プラグインチェーンのオーバーヘッドやライセンスに関する予期せぬ問題はありません。
AIプラグインで拡張された汎用APIゲートウェイ。Kongをすでに利用している場合は強力ですが、マルチターゲットAIルーティングにはエンタープライズライセンスが必要です。
ルーティングとロードバランシング
インタートークンレイテンシー/TPOTを使用したネイティブなレイテンシーベースルーティング、SLAカットオフによる適応型優先順位付け、型付きYAMLポリシー、およびOTELエクスポート。ルーティングはチーム、モデル、アプリケーションレベルで設定可能です。
AIルーティングは、汎用APIゲートウェイの上に構築されたプラグインレイヤーです。機能の可用性は、プラグインのバージョンとライセンスティアによって異なります。
デプロイメントとアーキテクチャ
完全なK8sネイティブで、お客様のVPC内で完全に実行されます。ステートレスなポッド、GitOpsフレンドリーなインストール、正式に文書化されたスプリットプレーンモデル、および複数のゲートウェイプレーン。
柔軟なデプロイメントトポロジーですが、AI機能の可用性はプラグインのバージョンとライセンスティアによって異なります。現在機能しているものでも、AI要件の増加に伴いアップグレードが必要になる場合があります。
データレジデンシー
認証、レート制限、ガードレール、トレースはKubernetesクラスター内で実行されます。外部サービスを必要としない組み込みのPII/PHIおよびシークレット検出。OTELトレースは独自のバックエンドにエクスポートされます。デフォルトでは、何もお客様の環境から外に出ることはありません。
エンタープライズ機能がアンロックされると、強力なデータガバナンスプラグインカタログが利用可能になります。PIIサニタイズ機能はバージョンとライセンスによって制限されており、ガバナンスの深度は利用しているティアに依存します。
MCPゲートウェイ
専用に構築されたMCPガバナンス:専用のツール前/ツール後ガードレールフック、および仮想MCPサーバーが利用可能です。
KongのAI MCPプロキシは、他のAPIルートと同じ認証、レート制限、および可観測性スタックによってMCPトラフィックを管理したい場合にうまく機能します。直接的なMCPルートは、LLM側のAIプラグインフローとは別に保つ必要があります。
エージェントゲートウェイ
エージェントに対するRBACとガードレールを適用するための中央エージェントレジストリ。ゲートウェイがトラフィックを管理し、非同期サービスが長時間実行を処理します。
ツールトラフィックはAI MCPプロキシを介してプラグインエコシステムに参加します。ネイティブな非同期実行はありません。長時間実行されるエージェントループには、オーケストレーションレイヤーの構築と保守がチームに求められます。
ガードレール
サブジェクトスコープのルール、MCP呼び出しごとのフック、組み込みのPII/PHI検出 — これらすべてがインプロセスで、外部依存関係はゼロです。HIPAA、GDPR、GovCloud、エアギャップに対応しています。
ネイティブなセマンティックガードレール(埋め込みベースのプロンプトおよび応答ガード)が利用可能です。しかし、これらは汎用ゲートウェイ上の増分的なプラグインであり、統合されたAIガバナンスアーキテクチャではありません。
オブザーバビリティ
LLM request traces connected to GPU memory, pod health, and container logs in a single UI. Infrastructure failures and model failures are diagnosed in the same place, with no additional tooling required.
既存のKong OTel/Prometheus/Grafanaパイプラインと統合可能で、すでに導入済みであれば最適です。AIメトリクスの取得にはプラグインの明示的な設定が必要であり、プロンプト本文のキャプチャには慎重な秘匿化戦略が求められます。
プロンプト管理
バージョン履歴、比較/差分表示、CI連携によるデプロイ、ドライランプレビューに対応。プロンプトの変更とインフラの変更を単一のパイプラインで管理できます。

AIプロンプトデコレーターによるゲートウェイレベルのプロンプトインジェクション対策は可能ですが、バージョン管理レジストリやプレイグラウンド、モデルごとのプロンプト上書き機能がありません。プロンプトの反復的な改善を行うチームには不十分です。
組織およびチーム管理
Kubernetesの名前空間境界によるテナント分離を実現。単一の静的構成から5チームから500チームまで拡張可能です。

SCIMプロビジョニングやメタデータキーによるセグメンテーションには対応しておらず、予算管理機能には累積リセットやアラートしきい値の設定が不足しています。
サポート
Slackおよびオンコールエンジニアによる24時間365日のサポート、専任のアカウントマネージャー。G2評価 9.9/10。
OSS版はコミュニティサポート。エンタープライズ版はSLAを提供。

評価の重要ポイント

質問
TrueFoundryによる解決策
Kongを検討する際の注意点
完全なデータ主権が必要です。ペイロードやメタデータの外部流出は一切許容されません。
TrueFoundryは、外部依存関係なしにKubernetesクラスター内でホットパス全体を実行します。PII/PHI(個人情報/保護対象保健情報)およびシークレットの検出機能が組み込まれており、外部サービスは不要です。OTELトレースは独自のバックエンドへエクスポート可能です。完全なデータ主権が標準であり、追加オプションではありません。
Kongのデータガバナンス機能は強力ですが、PII(個人情報)のサニタイズや高度なコンプライアンス機能はエンタープライズライセンスが必要であり、バージョンにも依存します。 
すでにAPIでKongを利用していますが、AIにも使うべきでしょうか?
AIのニーズがAPIルーティングの枠を超えて拡大している場合(セルフホストモデル、MCPガバナンス、エージェントインフラ、完全なデータ主権など)、TrueFoundryはKongのような汎用的な複雑さを抱えることなく、それらの目的に特化したプラットフォームを提供します。
既存のKongユーザーにとって、KongをAIトラフィックに拡張するのは最も摩擦の少ない方法です。しかし、真剣に考えるべき問いがあります。あなたのAI要件は、Kongのプラグインモデルに長期的に適合するほど安定していますか?それとも、セルフホストモデルやエージェントワークロードへ移行するにつれて、その枠を超えてしまうでしょうか?
本番ワークロード向けにMCPとエージェントのガバナンスが必要である。
TrueFoundryのMCPゲートウェイは、専用のツール前後ガードレールフック、仮想MCPサーバー、Cedarベースのポリシー、完全な認証情報の分離を提供し、すべてVPC内で本番環境に対応します。ガードレールはエージェントライフサイクルのあらゆるポイントで機能します。
KongのAI MCPプロキシとツールごとのACLは、既存のKongユーザーにとって実用的なMCP制御面を提供します。ただし、ルートトポロジーの複雑さや、長時間実行されるエージェントループに対する非同期実行がネイティブでサポートされていないという課題があります。本番環境でエージェントインフラを構築するチームは、自力でそのギャップを埋める必要があります。
チームやセルフホストモデルを横断して、どのようにAIコストを管理すべきか?
TrueFoundryは予算制限を強制し、外部APIとセルフホスト環境の両方でチーム、ユーザー、モデル、アプリごとのコスト配分を可能にします。K8s最適化により、TCO(総保有コスト)を35〜50%削減した実績があります。
Kongは強力なトークンおよびリクエスト制限を提供しますが、コストベースのブロックにはわずかな遅延が生じます。ドル単位の分析には外部ツールが必要であり、セルフホストモデルのコスト配分もネイティブではサポートされていません。
フルスタックの可観測性が必要か、それともLLMレベルのメトリクスだけで十分か?
TrueFoundryは、LLMのリクエストトレースとGPUメモリ、Podの健全性、コンテナログを単一のUIで紐付けます。インフラの障害とモデルの障害を同じ場所で診断できるため、追加のツールは不要です。
Kongの可観測性は既存のOTel/Prometheus/Grafanaパイプラインとスムーズに統合されます。しかし、AIメトリクスには明示的なプラグイン設定が必要であり、Kong自体はモデルをホストしないため、インフラレベルの可視性は得られません。
アーキテクチャを再構築することなく、外部APIからセルフホストモデルへ移行したい。
TrueFoundryは、外部APIルーティングとセルフホストモデルのデプロイの両方を単一プラットフォームで管理します。OpenAIからプライベートなLlama環境への移行も、大規模なマイグレーションではなく設定変更だけで完結します。トレーニング、ファインチューニング、サービング、ゲートウェイがすべて統合されています。
Kongは外部・セルフホストを問わずAIトラフィックをルーティングできますが、モデルのデプロイ、トレーニング、ファインチューニングは対象外です。AIスタックが成熟するにつれ、Kongではカバーできない部分を補うための追加プラットフォームが必要になります。

TrueFoundryがどのように課題を解決するか

主な課題
TrueFoundryを利用するメリット
顧客への影響
ライセンス階層によって制限されるAI機能
TrueFoundryのAIゲートウェイ機能(ルーティング、ガードレール、MCPガバナンス、コスト管理)は、機能制限による階層分けのない統合プラットフォームとして提供されます。評価した機能がそのまま本番環境で利用可能です。
AI活用においてKongを標準採用するチームは、セマンティックルーティング、MCPガバナンス、PII(個人情報)のサニタイズといった必要な機能が、予算外のエンタープライズライセンスへのアップグレードを必要とすることに後から気づくケースが少なくありません。TrueFoundryは、こうした計画段階の不確実性を完全に排除します。
スタックの拡大に伴うプラグインの複雑化
TrueFoundryはAIのために構築されています。管理すべきプラグインのバージョンマトリックスや、互換性のない組み合わせへの対処、どの機能がどのバージョンで動作するかを調べるためのドキュメント調査は一切不要です。
チームはプラグインの組み合わせの検証やバージョン互換性の確認にエンジニアリングリソースを費やしています。本来はAI製品の開発に充てるべき時間です。TrueFoundryは、こうしたオーバーヘッドを完全になくします。
自己ホスト型モデルへのネイティブサポートの欠如
TrueFoundryは、外部APIルーティングと内部での自己ホスト型モデルデプロイの両方を一つのインターフェースで管理します。マネージドAPIからプライベートモデルへの切り替えは、プラットフォームの移行ではなく、設定変更だけで完了します。
Kongによる外部APIルーティングの限界に直面したチームは、別のモデルサービング基盤を追加して統合を維持するか、プラットフォームを完全に移行するかという難しい選択を迫られます。TrueFoundryなら、そのような決断は不要です。
不完全なデータ主権
認証、レート制限、ガードレール、PII/PHI検出といったすべての強制レイヤーは、お客様のK8sクラスター内でインプロセスで実行されます。ホットパス上で外部サービスを呼び出すことはありません。
Kongの高度なデータガバナンス機能は、エンタープライズライセンスの制限やバージョン依存があります。規制の厳しい業界では、必要なコンプライアンス体制が現在のライセンス階層で利用できないという計画上のリスクが生じます。TrueFoundryでは、コンプライアンスがデフォルトで組み込まれています。
不十分なMCPおよびエージェントガバナンス
MCPのツール実行前後のガードレールフック、仮想MCPサーバー、Cedarベースのポリシーエンジン、エージェントのライフサイクル全体にわたるガードレール、非同期実行ライフサイクルなど、すべてがドキュメント化され、すぐに本番環境で利用可能な状態で一つのプラットフォームに統合されています。
KongのMCPサポートは既存のKongユーザーには有効ですが、本番環境のエージェントを管理するには、チーム自身でルート管理やカスタムオーケストレーションを構築する必要があります。TrueFoundryなら、それらすべてを標準機能として提供します。
AIチームにおける本番稼働までの遅延
セルフサービスでのデプロイを数時間で実現します。TrueFoundryは、環境構築、スケーリング、ルーティング、CI/CD検証を自動化し、デプロイのゲートとしてプロンプトのバージョン管理も行います。これにより、チームは本番稼働までの時間を80%以上短縮できます。
Kongは、ゲートウェイ運用の専門知識が豊富なチームにとっては強力なプラットフォームです。しかし、AIチームがゼロから始める場合、設定範囲の広さやプラグインチェーン、decK状態ファイル、ライセンス階層の管理などが、アイデアを本番環境へ移行するまでの時間を大幅に引き延ばしてしまいます。TrueFoundryなら、そうした立ち上げの負担を完全に取り除けます。

避けるべき一般的な落とし穴

KongではなくTrueFoundryのようなクラウド非依存型プラットフォームを利用することで

  • 既存のKong設定でAI要件をカバーできるという思い込み。KongをAIトラフィックに拡張することは簡単ですが、MCPガバナンス、セマンティックガードレール、PII(個人情報)のサニタイズといったAI特有の機能は、バージョンやライセンスによって制限されています。標準化する前に、実際に必要な機能を精査し、現在のプランで利用可能かどうかを確認してください。
  • MCPガバナンスの成熟度要件の過小評価。Kongはツールレベルのアクセス制御を提供しますが、それはツールが実際に何を行うかを制御することとは異なります。本番環境のエージェントには、すべてのツール呼び出しの前後で機能するガードレール、適切な認証情報の分離、そして本格的なポリシーエンジンが必要です。Kongにはまだそれが備わっていません。
  • ライセンス階層の柔軟性とコスト予測可能性の混同。低価格の導入プランは魅力的に見えますが、必要な機能がエンタープライズ版に限定されている場合があります。TCOを比較する際は、導入価格ではなく、必要な機能セットを含めた総ライセンス費用を考慮してください。
  • プラグインの組み合わせを統合AIプラットフォームと誤認すること。Kongのプラグインモデルは非常に強力ですが、AIガバナンスのために適切なプラグインを構成するには、継続的なバージョン管理と互換性テストが必要です。これはAIスタックの拡大とともに増大するエンジニアリングの負荷となります。
  • 汎用APIゲートウェイ上でのエージェントインフラ構築。リトライ、フォールバック、プラグインベースのトラフィック制御は個別の呼び出しには適していますが、長時間実行されるエージェントにはネイティブな非同期実行基盤が必要です。それがなければ、チームがオーケストレーション層を自前で管理し続けなければなりません。
  • Kongの専門知識がないチームにおける運用オーバーヘッドの過小評価。Kongは、すでに習熟しているチームには恩恵をもたらします。しかし、AIチームがゼロから始める場合、設定の複雑さが製品を本番環境へリリースするまでの準備期間を大幅に延ばしてしまいます。

TrueFoundryがもたらす実際の成果

SageMakerと比較したTrueFoundryの実際の成果をご覧ください。

Automation Anywhere logo featuring stylized letter A in orange and yellow hues on white background.
Siemens Healthineers company logo
Resmed logo with blue, purple, and pink wavy lines beside company name in black text.
Innovaccer Company Logo
Blank white background with no objects or features visible in the empty space provided entirely.

マルチリージョンでのLLMゲートウェイデプロイメントを実施し、ゲートウェイ経由でのモデルおよびMCPアクセスのRBACを設定済み。

モデルへのアクセスを制御し、コスト会計を通じてチームごとのチャージバックを実施。

複数のユースケースで活用・検討中。

実験環境から本番環境まで、すべてのAI推論呼び出しをルーティングし、約10のアプリケーションで月間10億トークン以上を処理しています。

セルフホストモデルを含む複数のモデル間での推論を管理・ルーティングし、本番環境レベルの信頼性でリクエストを処理します。

よくある質問と懸念点

TrueFoundryとKong AI Gatewayの主な違いは何ですか?

Kongはプラグインエコシステムを通じてAI機能を追加した汎用APIゲートウェイです。一方、TrueFoundryはAIワークロードのためにゼロから構築された、ベンダー中立の完全なAIインフラプラットフォームです。AIゲートウェイ、MCPゲートウェイ、エージェントゲートウェイ、そしてモデルデプロイメントのすべてを、VPC内で完全に動作するKubernetesネイティブなシステムとして統合しています。プラグインのバージョン管理や、主要なAI機能に対するエンタープライズライセンスの制限、汎用APIゆえの複雑さに悩まされることはありません。クラウドを問わず、あらゆるモデル、ライブラリ、フレームワークをサポートしています。独立したファウンダー主導の企業として、当社のロードマップはエンタープライズAIインフラのニーズのみに基づいて策定されています。

すでにAPIでKongを利用していますが、AIにもそのまま使うべきでしょうか?

AIの要件が安定しており、外部APIルーティング、基本的なガバナンス、既存スタック上の可観測性といったKongのプラグインモデルの範囲内に収まるのであれば、Kongを拡張するのは合理的な選択です。しかし、MCPガバナンス、セマンティックガードレール、セルフホストモデルレベルでのコスト配分といったAI特有の機能が必要になると、エンタープライズライセンスや特定のプラグインバージョンが必要となり、複雑さが増します。また、セルフホストモデルのデプロイ、エージェントインフラ、完全なデータ主権へとニーズが進化するにつれ、汎用的なKongのアーキテクチャは足かせとなり始めます。AIインフラの将来を見据えた際、プラグインアーキテクチャに縛られる前に、AI専用に設計された代替手段としてTrueFoundryを検討する価値があります。

両プラットフォームのMCPガバナンスにはどのような違いがありますか?

TrueFoundryは、MCPガバナンスのための専用環境を提供します。ツール実行前後のガードレールフック、仮想MCPサーバー、Cedarベースのポリシーエンジン、インバウンドOAuth、認証情報分離のためのシークレットグループなど、すべてがKubernetesクラスター内で動作し、即座に本番環境へ導入可能です。KongのAI MCPプロキシ、ツールごとのACL、AI MCP OAuth2は、真にネイティブなMCP制御面を実現しており、既存のKongユーザーであれば段階的に導入できます。しかし、実用上の課題は複雑性にあります。KongのMCP実装では、直接的なMCPルートとLLM側のAIプラグインフローを分離するために、ルートトポロジーの慎重な管理が求められます。これは、エージェントのワークロードが複雑化するにつれ、運用上の大きな負担となります。

データレジデンシーの扱いはどう異なりますか?

TrueFoundryは、認証、レート制限、ガードレール、PII/PHI検出、トレースといったホットパスのすべてを、外部依存関係なしにKubernetesクラスター内で実行します。完全なデータ主権がデフォルトのアーキテクチャであり、設定オプションではありません。Kongは強力なデータガバナンスプラグインカタログを備えていますが、規制産業で不可欠な「PIIの双方向サニタイズと復元」や「高度なコンプライアンス制御」といった機能は、エンタープライズライセンスの制限やバージョン依存があります。コンプライアンスが譲れない要件であるチームにとって、ライセンス階層への依存は早期に検証しておくべきリスクです。

本番環境のエージェントワークロードにはどちらのプラットフォームが適していますか?

TrueFoundryは、ゲートウェイガバナンスと実行ライフサイクルの両方を単一のアーキテクチャから明示的に文書化している唯一のプラットフォームです。ガードレールは、LLMへの入力、出力、ツール呼び出し前後など、エージェントライフサイクルのあらゆるポイントで機能します。また、スプリットプレーン設計により、ゲートウェイがトラフィックを制御し、非同期サービスが長期にわたるループ処理を確実に実行します。KongのAI MCP Proxyは、別のガバナンスプレーンなしでツールトラフィックをプラグインエコシステムに取り込めるため、既存のKongユーザーには非常に有益です。しかし、ネイティブな非同期実行基盤がないため、長時間実行されるエージェントループには、チームが個別に構築・保守するアプリケーション側のオーケストレーションが必要となります。

オブザーバビリティの比較はどうなっていますか?

TrueFoundryは、導入直後からフルスタックの可視性を提供します。LLMのリクエストトレースとGPUメモリ、Podの健全性、コンテナログが単一のUIで確認でき、有益な情報を得るための複雑な設定は不要です。Kongのオブザーバビリティは、すでにOTel/Prometheus/Grafanaスタックを運用しているチームにとっては非常に強力で、LLMトラフィックを既存のパイプラインに統合できます。ただし、セットアップにはトレードオフがあります。AIコストやトークンメトリクスを表示するには明示的なプラグイン設定が必要であり、プロンプト本文のキャプチャには、有用なメトリクスを得る前に慎重なマスキング戦略を策定する必要があります。

チーム間やセルフホストモデルにおけるコスト管理はどのように行われますか?

TrueFoundryはホットパス上で予算を強制適用するため、予算超過は事後報告ではなく、発生前にブロックされます。コスト配分はチーム、ユーザー、モデル、アプリケーションごとに、外部API呼び出しとセルフホストモデル群の両方に対して行われ、社内課金用のパブリック/プライベートコスト価格設定も可能です。Kubernetesのワークロード最適化とスポット/GPUスケジューリングにより、TCOを35〜50%削減した実績があります。Kongのai-rate-limiting-advancedプラグインはトークンやリクエストの制限には強力ですが、コストベースのブロック機能は反映にタイムラグが生じます。ドル単位の分析には外部ツールが必要であり、セルフホストモデルのコスト配分はネイティブではサポートされていません。

プロンプト管理にはどちらのプラットフォームが適していますか?

TrueFoundryは、GitOpsと最も深く統合されたプロンプト管理を提供します。レジストリでのバージョン履歴管理、比較・差分ワークフロー、CIゲートとしてのプロンプトバージョン参照、そしてデプロイ前のドライランや差分プレビューが可能です。プロンプトの変更とインフラの変更を同一のパイプラインで管理できます。KongのdecKはゲートウェイ設定において堅牢なGitOpsを提供し、AI Prompt Decoratorはゲートウェイレベルでのプロンプトインジェクションを適切に処理します。しかし、プロンプトのライフサイクル管理という点では、バージョン管理レジストリやスタンドアロンのプレイグラウンド、モデルごとのプロンプトオーバーライド機能が不足しています。プロンプトの反復的な改善を行い、CIゲートによるデプロイを必要とするチームにとって、Kongのツールセットでは不十分です。

Kongには大規模なオープンソースコミュニティがありますが、TrueFoundryはどう差別化していますか?

Kongのオープンソースコミュニティは非常に強力な資産であり、長年の本番運用実績、詳細なプラグインドキュメント、そして精通したオペレーターによる広大なエコシステムが存在します。TrueFoundryの強みは、その深さと専門性にあります。私たちはAIインフラ専用に構築されており、サポート体制もそれに特化しています。Slackを通じた24時間365日のエンタープライズサポート、オンコールエンジニア、専任のアカウントマネージャー、そしてG2で9.9/10という高いサポート評価がその証です。コミュニティサポートはAPIゲートウェイの運用には有益ですが、コンプライアンス要件やSLA義務を伴う本番環境のAIインフラにおいては、フォーラムの投稿ではなく、直接責任を負うチームのサポートが必要不可欠です。

現在AIゲートウェイのルーティング機能しか必要ない場合、TrueFoundryは過剰な機能ですか?

TrueFoundryは軽量なルーティングモードでも効果を発揮します。プラットフォーム全体を導入しなくても、すべてのプロバイダーにわたる統合モニタリング、ガードレール、コスト管理を実現できます。より重要なのは、AIスタックの将来像です。コスト圧力はセルフホストモデルへの移行を促し、コンプライアンス要件は完全なデータレジデンシーを求め、エージェント型ユースケースはMCPやエージェントガバナンスを必要とします。TrueFoundryは、こうした進化を見据えて設計されています。AIルーティングにKongから始めたチームは、こうしたニーズが顕在化した際に、汎用的なアーキテクチャでは対応できず、後からより困難な移行を強いられるケースが少なくありません。
Grey wavy lines on white background, abstract wave pattern with multiple curved lines intersecting smoothly.

GenAIインフラをシンプルに、高速に、低コストで

Fortune 500企業10社以上が導入