TrueFoundry vs Kong Gateway: AIガバナンスの隠れたプラットフォームのコスト

最初のAIモデルを本番環境に導入することは、めったに難しい部分ではありません。運用上の負担は、2番目や3番目のチームがアクセス権、月額予算、そして全員と同じ管理機能を求めてきたときに発生します。

TrueFoundryとKong Gatewayは、どちらもモデル呼び出しをルーティングできます。違いは、プラットフォームチームがその周辺で何を構築・維持しなければならないかです。TrueFoundryはチームのアクセス権や予算をファーストクラスの管理機能として扱います。Kong Gatewayは、ゲートウェイエンティティ、プラグイン、価格設定から同じ結果を組み上げます。この違いは、AIの導入が進むにつれて雪だるま式に大きくなります。

要約

TrueFoundryは、モデルアクセス、チーム予算、承認済みツールに対する直接的な管理機能を提供します。Kongの場合、これらの管理機能をゲートウェイ設定やプラグインを通じて組み立てることになり、プラットフォームチームの工数は3〜5倍になります。TrueFoundryとKong Gatewayを比較する場合は、機能一覧だけでなく、デモが終わった後も誰がその設定を保守し続けるのかという点に注目してください。

サポートチームの利用を開始する

モデルはすでに接続されていると仮定します。TrueFoundryでは、チームにアクセス権を付与し、予算を設定します。Kongでは、チームのゲートウェイアイデンティティをモデルルートに接続し、利用限度額プラグインを設定します。また、ドルベースの消費額を追跡するために必要なモデルの価格を提供し、設定がチームのリクエストをカバーしているか確認します。これらは処理不能なものではありません。しかし、プラットフォームチームが引き受ける作業となります。

チームが増えるにつれて増大する作業

サポートチームの稼働が始まりました。次に営業チームがより大きな予算を要求し、別のチームはプロンプトから顧客詳細を削除することを求めます。共有設定を変更する前に、エンジニアはそれがどのチームに影響するかを把握する必要があります。

TrueFoundryでは、チームごとに予算を管理し、関連するAIトラフィックにセーフティポリシーを適用します。チームマネージャーが自身の予算を調整でき、管理者は会社全体の管理機能を保持します。これにより、日常的な予算変更の責任者が明確になります。

Kongの場合、エンジニアは各セーフティプラグインをどこに適用するかを決定し、既存の構成と照合して確認します。作業を削減する方法はあります。Kongは共有設定や自動デプロイメントをサポートしています。これらは特に、チームがすでにKongを運用している場合には有用です。それでも設定とそれに伴うテストの維持は必要であるため、そのエンジニアリング時間も予算に組み込んでおく必要があります。

利用限度額の正確さを保つ

モデルの価格が変更されるまでは、月額予算は単純なものに思えます。完全にセルフホストされたオンプレミスのKongデプロイメントでは、利用限度額プラグインは設定で指定されたモデル価格を使用します。これらの価格が古い場合、使用量カウンターは実際の請求額から遅れてしまいます。チームの誰かが手動で更新するか、自動化を構築する必要があります。

KongはKonnect Metering & Billingを通じて自動更新される価格カタログを提供していますが、この別サービスはオンプレミスでは利用できません。ゲートウェイプラグインが使用する設定済みの価格と混同しないようにしてください。

TrueFoundryはサポート対象モデルのパブリック価格を自動的に更新します。個別交渉したレートについては、引き続きカスタム価格の設定が必要です。以下の例は、パブリックレートが倍増したにもかかわらず、Kongが古い価格を使い続けた場合に何が起こるかを示しています。プロバイダーから20ドル請求されているにもかかわらず、財務チームには10ドルの使用量として表示されます。

FinOpsチームにとって、このギャップは重要です。正確性の維持が、誰かが見落とすかもしれない価格更新に依存している場合、利用限度額を信頼することは困難です。

エージェントへのツールの追加

サポートアシスタントが役立つようになると、次に予想されるリクエストは、「注文の検索と顧客レコードの確認を行わせたい」というものです。これらのアクションは、2つの既存のAPIに存在します。これらのツールだけをエージェントに公開したいと考えます。

MCPは、エージェントがツールを使用できるようにするプロトコルです。TrueFoundryを使用すると、API仕様をインポートし、ツールを生成して、どれをまとめて公開するかを選択できます。エージェントに許可する操作を決定する必要は依然としてありますが、すべてのツールを手動で定義する必要はありません。

Kongのドキュメントに記載されているAPIからMCPへのワークフローでは、各APIへのアクセスを設定し、そのツールを定義し、検出できるようにラベルを付ける必要があります。その後、それらのツールをまとめるための共有エンドポイントをセットアップします。APIが追加されるたびに、管理すべき設定のセットがもう1つ増えることになります。

リクエストが失敗した理由を特定する

最終的にアシスタントが応答を停止し、誰かがその理由を尋ねることになります。予算の超過、セーフティチェック、またはプロバイダーの障害が原因である可能性があります。調査する人は、その違いを判別するのに十分なコンテキストを必要とします。

TrueFoundryは、AI Gatewayインターフェース内でリクエストログを提供します。Kongは、設定されたロギングプラグインを通じてAI使用データを送信します。評価の際は、両方の製品で失敗したリクエストを追跡してみてください。利用可能なログから何を説明できるか、そしてゲートウェイ設定に詳しい人のサポートがどこで必要になるかを確認してください。

毎回その担当者が必要になる場合、その人はアプリケーションチーム、セキュリティ、財務チームのためのデフォルトのサポートデスクになってしまいます。これは導入が進む前に気づくべき依存関係です。

TrueFoundry vs Kong の一括比較

より有益な評価を行うために

両ベンダーに対し、接続されたモデルから開始し、予算を持つ新しいチームをオンボーディングするよう依頼してください。セーフティチェックを追加し、2つのツールを接続してから、意図的にリクエストをブロックします。何が変更され、なぜリクエストが失敗したのかを説明してもらってください。

作成した設定、再利用できたもの、そして誰がそれを維持するのかを確認してください。特に、他のチームに影響を与える可能性のある変更には注意を払ってください。これこそが、購入後に繰り返し行うことになる作業です。

すでにKongを運用しており、いくつかの安定したAIユースケースがある場合、それを拡張することは現実的な選択肢かもしれません。成長しているAIプログラムにとってのTrueFoundryの魅力は、日常的なリクエストに伴うゲートウェイ設定が少なくて済むことです。プラットフォームチームは、その時間を周辺設定の維持に費やす代わりに、各チームの構築を支援するための余裕をより多く得ることができます。