TrueFoundryのアーキテクチャ - Kubernetesでの機械学習!

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TrueFoundryを使用すると、自社のクラウドプロバイダーアカウント内のKubernetesクラスターにアプリケーションを非常に簡単にデプロイできます。データサイエンティストや開発者向けにインフラストラクチャコンポーネントを抽象化しながら、セキュリティ、インフラストラクチャ、コスト最適化の観点からベストプラクティスを適用することで、これを実現しています。
TrueFoundryの現在のアーキテクチャにおける主な動機は以下の通りです:
- データはクラウド/オンプレミスのアカウント外に出さない: 機械学習では通常、大量のデータを扱います。データがクラウドアカウント(VPC)の外部に流出すると、データセキュリティが損なわれるリスクが生じるだけでなく、データ送受信(egress/ingress)コストも発生します。そのため、TrueFoundryはデータとコンピュートの両方をお客様独自の環境内に保持するようゼロから設計されました。
- MLは組織内のSRE原則を継承する: 企業は通常、ソフトウェアマイクロサービスをデプロイするための全体的なデプロイ、モニタリング、アラートのスタックを実装しています。私たちが目指したのは、MLがこれらと同じプラクティスを継承し、並行したインフラ構成の道をたどらないようにすることです。これにより、インフラチームやSREチームが組織全体でセキュリティとコスト最適化のベストプラクティスを容易に適用できるようになります。
- クラウドネイティブ: TrueFoundryはKubernetes上に構築されているため、設計上クラウドネイティブです。しかし、Kubernetesがクラウドネイティブであるとはいえ、AWS(EKS)、GCP(GKE)、Azure(AKS)の各Kubernetesディストリビューションの間には、多くの複雑な違いが存在します。その違いの例をいくつか挙げます:
GKE Autopilotではリソースのリクエスト値と制限値(limits)を同じにする必要がありますが、AKS、EKS、GKE Standardではその必要がありません。
EKSとGKEにはノードの自動プロビジョニングのオプションがありますが、AKSにはその機能が提供されていません。
AKSではノードのプロビジョニング時間が非常に長く、オートスケーリングの挙動が非常に遅くなります。
クラウドネイティブであることにより、特にGPUに関して、さまざまなクラウドプロバイダーが提供する異なるハードウェアにアクセスすることが可能になります。
4. 再発明するのではなく統合する: TrueFoundryは、車輪の再発明をするのではなく、一般的に使用されているほとんどのシステムと統合します。この理念が、当社のアーキテクチャに関する決定の多くを後押ししています。堅牢なAPIが利用できない場合に統合を構築するのは容易ではないため、時に険しい道となることもありますが、ユーザーが新しいツールをわざわざ学習しなくても済むよう、当社がそれらのAPIやインターフェースの構築という難易度の高い作業を担っています。
迅速な反復とインパクトを実現するMLスタック
機械学習では、データサイエンティストが迅速に実験と成果の提供を行えるよう、複雑なスタックをセットアップする必要があります。

理想的には、開発者は最上部の緑色のレイヤーにより多くの時間を費やすべきであり、下位のレイヤーは彼らから完全に抽象化されるべきです。TrueFoundryは、現在使用しているツールと連携し、下位のインフラストラクチャレイヤーを意識することなく、データサイエンティストがアプリケーションの反復開発を行えるようにする、オープンでカスタマイズ可能なスタックを提供します。
以下の図において、TrueFoundryはモデルのトレーニング、サービング、およびモデルレジストリを提供し、データサイエンティストによるモデルの構築、追跡、デプロイを容易にします。

TrueFoundryが現在提供している主な統合セットは以下の通りです:
- CI/CD: GitHub Actions、Bitbucket Pipelines、Jenkins。お客様のご要望に基づいて追加の統合を順次導入しています。
- サービスメッシュ: 現在はIstioで動作しています。将来的には、LinkerdやNginxなど、他のIngressコントローラーやサービスメッシュプロバイダーもサポートする予定です。
- モニタリング: TrueFoundryでデプロイされたアプリケーションは、Prometheus、CloudWatch、Datadog、New Relic、ELKスタックなど、既存の任意のモニタリングシステムを使用して監視できます。
- コスト管理: OpenCostを使用して、サービス/ネームスペースレベルでの詳細なコスト割り当てを提供します。また、TrueFoundryは開発者に直接インサイトを提供し、サービスのコスト削減を支援します。
- アクセス制御: TrueFoundryは、OIDCまたはSAMLプロトコルを使用した認証のために、Okta、Auth0、Azure AD、KeycloakなどのほとんどのIDPと統合します。製品にはさまざまなワークスペース向けの認可機能が組み込まれており、細かな粒度で権限を設定できます。
- シークレット管理: TrueFoundryは、シークレット管理のためにHashiCorp Vault、GCP Secret Manager、AWS Systems Manager パラメータストアと統合されています。また、Azure Key VaultやAWS Secrets Managerとの統合も追加予定です。
- ワークフローエンジン: TrueFoundryはArgo Workflowsと統合し、データサイエンティスト向けにAI自動化をサポートするワークフローエンジンを提供します。
TrueFoundryのアーキテクチャ
TrueFoundryは、以下の主要コンポーネントで構成されるスプリットプレーンアーキテクチャを提供します:
- コントロールプレーン: これはTrueFoundryシステムの頭脳であり、さまざまなコンピュートプレーンにわたるデプロイのオーケストレーションを行います。通常のプランでは、ホスト型のコントロールプレーンを提供しています。エンタープライズのお客様の場合、コントロールプレーンをお客様のクラウド上にデプロイすることも可能です。
- コンピュートプレーン: これはユーザーのコードが実行されるKubernetesクラスターです。コンピュートプレーン上にはエージェント(tfy-agent)が存在し、これがコントロールプレーンと通信して、コントロールプレーンから受信したコマンドを実行します。データにアクセスするユーザーのコードはコンピュートプレーン上で動作するため、コンピュートプレーンクラスターはデータの近くに配置する必要があります。
3. クライアントインターフェース: 開発者やデータサイエンティストは、Python SDK、Web UI、またはTrueFoundry CLI(servicefoundryおよびmlfoundry)を使用してUIと通信できます。また、TrueFoundryはクライアントが自動化ワークフローを構築するためのAPIも公開しており、詳細はこちらにドキュメント化されています:https://docs.truefoundry.com/reference
4. 認証サーバー: すべての組織とそのメンバーを管理する中央の認証およびライセンスサーバーが存在します。このサーバーはTrueFoundryによってホストされており、外部のIDPと統合して、すべてのユーザーにシングルサインオン機能を提供することも可能です。

このアーキテクチャのメリット
セキュアなネットワーキング
tfy-agentコンポーネントにはIngress(外部からの流入)がなく、コントロールプレーンへの接続開始を担当します。コントロールプレーンとの間に暗号化された永続接続を確立し、その上で通信を行います。これにより、コンピュートプレーンクラスターがプライベート環境や異なるVPCにある場合でも、システムが正常に動作します。唯一の制約は、すべてのコンピュートプレーンクラスターからコントロールプレーンのURLにアクセスできる必要があることです。また、Kubernetes RBACを使用してtfy-agentに付与する権限を制御し、特定のネームスペースへのアクセスのみに制限することも可能です。
TrueFoundryコントロールプレーンへのソフトな依存関係
TrueFoundryコントロールプレーンは、コンピュートプレーンへのデプロイのオーケストレーションのみを担当します。デプロイされたサービスへのリクエストフローのクリティカルパス上には存在しません。そのため、仮にTrueFoundryコントロールプレーンを取り除いたとしても、デプロイ済みのすべてのサービスは問題なく動作し続けます。サービスの信頼性をTrueFoundryから分離することで、TrueFoundryがサービスの信頼性のクリティカルパスにならないようにしています。

効率的なマルチクラスター管理
TrueFoundryコントロールプレーンは、社内の複数のマルチクラウドプロバイダーやオンプレミスにまたがるすべてのKubernetesクラスターを単一の画面で確認できる統合ビューを提供します。これにより、クローン&プロモート機能を使用して、ワークロードをあるクラスターから別のクラスターへ非常に簡単に移行できるようになります。

コストとメンテナンス負担の軽減
TrueFoundry agentは、個々のクラスターに常駐する非常に軽量なコンポーネントであり、コントロールプレーンは全体で1つのコピーだけが存在していれば問題ありません。コントロールプレーンにはより多くのリソース(3 CPU、6GB RAM)が必要ですが、エージェントには0.2 CPUと400MB RAMしか必要ありません。トラフィックやチームの規模が拡大するにつれ、通常は地域やチームに応じてクラスターを追加していく必要があります。しかし、コントロールプレーンを複製する必要はないため、コストとメンテナンスの手間を低く抑えることができます。
TrueFoundryコントロールプレーンの内部構造
TrueFoundryコントロールプレーンは、デプロイのオーケストレーションやモデルメタデータのストレージなどを行う複数のマイクロサービスで構成されています。TrueFoundryコントロールプレーンの主なコンポーネントは以下の通りです:
- Web UI

2. デプロイオーケストレーション用マイクロサービス: コントロールプレーンは、クラスター間のデプロイをオーケストレートするためのいくつかのマイクロサービスで構成されており、コンピュートプレーン内の接続されているすべてのクラスターからのライブアップデートもキャッシュします。
3. PostgreSQLデータベース: チームに関する情報、デプロイされたサービス、およびそれらのメタデータ全般を保存するために使用されます。

コンピュートプレーンクラスター
TrueFoundryの機能を最大限に活用するには、コンピュートプレーンクラスターにいくつかのコンポーネントをインストールする必要があります。そのリストは以下の通りです:
- tfy-agent(必須): コントロールプレーンへの接続を開始し、コントロールプレーンからの指示の調整を支援するtruefoundry-agentです。
- Argo CD(必須): すべてのマニフェストをKubernetesクラスターに適用するために使用されます。Argo CDコントローラーは内部状態がマニフェスト内の目的の状態と同期されていることを保証し、Helmのインストール失敗のような問題が起きにくいため、helm installを実行するよりも優れています。
- Istio(現時点では必須、将来的に任意化予定): 現在、クラスターのIngressコントローラーとしてIstioに依存しています。Istioサイドカーの実行は必須ではなく、相互TLS(mTLS)のようなユースケースで必要な場合にオプションで有効化できます。また、KubernetesのGateway APIを利用する計画もあり、これによりNginx、Linkerd、Traefikなどの複数のIngressコントローラーに対応できるようになります。
- Argo Workflows(ジョブ実行時のみ必須): Kubernetesの標準ジョブと比較して、より高度なオプションが提供されるため、クラスター内でのすべてのジョブ実行にArgo Workflowsを使用しています。
- Argo Rollouts(必須): Kubernetes上でCanaryデプロイおよびBlue/GreenデプロイをサポートするためにArgo Rolloutsを使用します。現在は必須の前提条件となっていますが、将来的には任意となる予定です。
- Prometheus(任意): サービスのCPU、メモリ、リクエスト数などのメトリクスを表示するために必要なオプショナルの依存関係です。
- KEDA(任意): ワークロードのオートスケーリングを有効にしたい場合に必要となるオプショナルの依存関係です。
- Loki(任意): ログの集約を支援するオプショナルの依存関係です。ELKスタック、CloudWatch、Datadogなど、使い慣れた他のログアグリゲーターをいつでも使用できます。
- ドライバー(EFS、EBS、GPU): クラスター内でGPUやボリュームのサポートが必要な場合に必要となります。
- Notebook Controller(任意): Kubernetesクラスター上でNotebook環境を提供したい場合に必要となります。
KubernetesクラスターAMIの制約
TrueFoundryは、AWS上のBottlerocketを含む、あらゆる下層のAMIで動作します。エージェントはKubernetes上で動作する他のHelmチャートと同様であるため、下層のAMIに対する制約や要件はなく、ベアメタルマシンを含むあらゆるAMI上で実行可能です。
tfy-agentの権限
tfy-agentは、TrueFoundryプラットフォームにログインしているユーザーに代わって、Kubernetesユーザー上ですべての操作を実行します。そのため、ユーザーがアプリケーションのデプロイを許可されている特定のネームスペースのセットに対する管理者権限が必要になります。特定のネームスペースのセットをブラックリストまたはホワイトリストに登録する機能を備えており、エージェントはそれらのネームスペースに対してのみアクションを実行できます。
TrueFoundryにおける認証
TrueFoundryは、ライセンス管理および認証のために、当社のサーバー上に配置された認証サーバーに依存しています。
TrueFoundryにおける認可
TrueFoundryは、テナント、クラスター、ワークスペース、およびMLリポジトリのレベルで粒度の細かいRBACアクセス制御を提供します。TrueFoundryのRBACメカニズムを理解するには、こちらのドキュメントをご覧ください:https://www.truefoundry.com/docs/platform/manage-user-roles-and-permissions
すべての認可ルールはコントロールプレーン内のPostgreSQLテーブルに保持され、すべてのAPI呼び出しで、ユーザーがその操作を実行する権限を持っているかがチェックされます。
コントロールプレーンにおけるイメージビルドパイプライン
TrueFoundryは、Kubernetes上でイメージを高速にビルドするよう最適化された、基本的なイメージビルドパイプラインを提供します。静的チェックやその他の脆弱性スキャンツールを含めるためにイメージ構築パイプラインをカスタマイズしたい場合、2つのアプローチがあります:
- 既存の独自CIパイプラインを継続して使用してイメージを構築し、構築されたイメージURIをTrueFoundryデプロイの入力として提供することができます。
- TrueFoundryのビルドパイプラインをカスタマイズして、必要なコンポーネントを自由に組み込むことができます。これは基本的にArgo Workflowsであり、エンタープライズプランではコントロールプレーンはお客様の環境にあるため、希望通りに自由にカスタマイズ可能です。
TrueFoundryにおけるシークレット管理
TrueFoundryは、最も一般的なシークレット管理ストアと統合されています。シークレットの値自体は保持せず、それらのシークレットへのパスのみを保存します。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






