Truefoundryを使用したGitOpsのセットアップ

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
GitOpsは、Gitのようなバージョン管理システムを使用してソフトウェアアプリケーションを管理・デプロイする手法です。これは、アプリケーションの更新と保守のプロセスを自動化し、効率化する方法と考えることができます。特に本番環境でGitOpsを使用する主な利点は以下の通りです。
- 信頼できる唯一の情報源:GitOpsでは、Gitリポジトリがインフラストラクチャとアプリケーション構成の信頼できる唯一の情報源となります。アプリケーションを実行するために必要なすべてのものが、コードとしてこれらのリポジトリに保存されます。
- バージョン管理:すべてがGitに存在するため、変更の完全な履歴が残ります。これにより、誰が変更を行ったかを追跡したり、必要に応じて以前のバージョンに戻したり、他のメンバーと共同作業したりすることが容易になります。
- 自動化:GitOpsは、自動化ツールを使用してGitリポジトリを継続的に監視します。変更が検出されると、これらのツールはアプリケーションとインフラストラクチャを新しい構成に合わせて自動的に更新します。これにより、Gitリポジトリにあるものが、環境で実行されているものと完全に一致することが保証されます。
- 一貫性と信頼性:Gitを信頼できる唯一の情報源とし、デプロイを自動化することで、GitOpsは環境の一貫性を確保し、人為的ミスの可能性を減らし、デプロイの信頼性を高めます。
- コラボレーション:チームは、プルリクエストを通じて変更を提案し、コードをレビューし、デプロイ前に潜在的な影響について議論できるため、より効果的に共同作業を行うことができます。
Truefoundryは、Kubernetes上でMLモデルやアプリケーションを簡単に構築・デプロイできるようにします。開発者がKubernetesとより簡単にやり取りできるようにすることに重点を置いている一方で、本番環境への移行に追加の手順を必要とせず、プラットフォーム/DevOpsチームによって課されるガイドラインやガードレールに準拠するように設計したいとも考えていました。GitOpsは大きなテーマとなっており、その使いやすさ、監査可能性、組み込みの承認プロセスにより、本番デプロイメントで一般的に好まれています。
Truefoundryは、GitOpsを簡単にセットアップできるように、以下の機能を標準で提供しています。
完全に宣言的な構成管理
Truefoundryは、プラットフォーム上で行われるすべてのデプロイメントに対してYAML仕様を提供します。これは、プラットフォーム上で開発者/データサイエンティストが行った構成に基づいて自動生成されるため、誰もYAML仕様の書き方を学ぶ必要はありません。Truefoundryには、クラスター、ワークスペース、デプロイメント、さらには統合構成のためのYAML仕様があります。

tfy apply コマンドで任意の仕様を適用
任意のYAML仕様は、`tfy apply`コマンドを使用してTruefoundryに適用できます。このコマンドは冪等であるため、変更なしで複数回適用できます。Truefoundryは仕様内のすべての変更を自動的に適用し、これによりUIからGitへの移行が非常に容易になります。
tfy apply -f cluster.yaml
tfy apply -f workspace.yaml
tfy apply -f service.yaml
ドライラン 適用前に仕様を検証するため
Truefoundryは、適用前に仕様が正しいか検証できるよう、ドライランモードでの仕様適用もサポートしています。これは特にPRの更新時に役立ちます。
完全なGitOpsスタックを統合する
当社では、ファイル構成と、YAMLファイルの検証および適用を行うGitHub Actionsを含むサンプルのGitHubリポジトリを提供しています。このリポジトリは: https://github.com/truefoundry/truefoundry-gitops-sample-repository いくつかのサンプルクラスターのすべてのコードで構成されています。
ファイルは以下の階層構造に従って整理されています。
clusters/
├── cluster1/
│ ├── cluster1.yaml
│ └── workspaces/
│ └── workspace1/
│ ├── workspace1.yaml
│ └── applications/
│ └── app1.yaml
└── cluster2/
├── cluster2.yaml
└── workspaces/
└── workspace1/
├── workspace1.yaml
└── applications/
└── sample-app.yaml
いずれかのリソースに変更があった場合、プルリクエスト(PR)の作成が必要です。これにより、以下のGitHubアクションが実行されます。 dry_run_on_pr.yaml これは設定を検証します。

mainブランチへのプッシュ時、変更されたファイルはtfy-applyを使用して適用され、これによりTruefoundryの状態がGitHubリポジトリの状態と一貫していることが保証されます。
GitHub Actions以外のCIシステムをご利用の場合、こちらのファイルを自由に調整してください。 https://github.com/truefoundry/truefoundry-gitops-sample-repository/tree/main/.github/workflows ご自身のCIシステムに合わせて調整してください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.

























