Gartnerは、「大規模プラットフォームの一部として機能が制限されているAIゲートウェイの選択には注意が必要である」と述べています。コスト管理、モデルルーティング、可観測性、または統合（セキュリティだけでなく）のためにPortkeyに依存していた組織は、これらのユースケースが引き続き優先事項であるかどうかを評価する必要があります。TrueFoundryは、単一のセキュリティプラットフォームのロードマップに縛られることなく、セキュリティガードレール、コスト最適化、エージェントオーケストレーション、深いインフラストラクチャの可観測性といった全範囲をカバーします。

Portkeyは現在Palo Alto Networkが所有するAIゲートウェイです。TrueFoundryは独立したAIインフラストラクチャプラットフォームです。当社のゲートウェイはPortkeyと同様にルーティングとモニタリングを処理しますが、その下にある実際のコンピューティングも管理します。そのため、他社のAPIにトラフィックをルーティングするだけでなく、お客様自身のインフラストラクチャでモデルをトレーニング、ファインチューニング、デプロイできます。

TrueFoundryとPortkeyを比較すると、TrueFoundryはフルスタックの可視性を提供します。PortkeyはAPIリクエスト（入力、出力など）をログに記録し、プロンプトのデバッグに役立ちます。TrueFoundryはこれらのログを、GPUメモリ、Podの健全性、コンテナログなどのインフラストラクチャメトリクスと関連付けます。そのため、何か問題が発生した場合、それがモデルの問題なのか、OOMエラーのようなインフラストラクチャの問題なのかを確認できます。Portkeyはインフラストラクチャに触れないため、それはできません。

PortkeyとTrueFoundryのモデルデプロイメントには決定的な違いがあります。Portkeyはモデルをデプロイまたはホストするのではなく、すでに他の場所（OpenAIやAnyscaleなど）でホストされているモデルにトラフィックをルーティングします。TrueFoundryはオーケストレーションエンジンとして機能します。当社は、オープンソースモデル（Llama 3など）を取り込み、コンテナ化し、お客様自身のクラウドまたはオンプレミスインフラストラクチャに直接デプロイすることを可能にします。オートスケーリング、GPUプロビジョニング、ヘルスチェックを処理し、モデルとそれが実行されるコンピューティングの両方の所有権をお客様に提供します。

厳格なデータ主権要件に関してTrueFoundryとPortkeyを比較する場合、通常TrueFoundryの方が適しています。当社はすべて（コンピューティング、ゲートウェイ、ストレージ）をお客様のVPCまたはエアギャップ環境内で実行します。Kubernetesクラスター、IAM、RBAC、シークレット管理とのネイティブ統合により、モデルの重み、トレーニングデータ、その他すべてがお客様の管理下にあるインフラストラクチャ内に留まります。両プラットフォームともプライベートデプロイメントを提供しますが、TrueFoundryは初日から完全な制御を可能にします。