TrueFoundryによりKubernetes上でのDockerイメージビルドを3〜15倍高速化

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
機械学習(ML)の世界において、効率的なDockerイメージのビルドは単なる贅沢ではなく、必須事項です。多くの企業はローカルPC上またはCI/CDパイプライン経由でDockerイメージをビルドしてプッシュする既存のDevOpsパイプラインを運用しています。しかし、MLプロジェクトの複雑さが増し、依存関係が大容量化してイテレーションが頻繁になるにつれて、従来のDockerビルドプロセスは深刻なボトルネックになり得ます。
.png)
この記事では、TrueFoundryにおいて標準的なCIパイプラインと比較してビルド時間を5〜15倍短縮した方法について解説します。
なぜMLにおいて高速なDockerビルドが重要なのか
巨大な依存関係
MLプロジェクトには通常、数多くの重い依存関係が含まれます。ディープラーニングフレームワーク(PyTorch、TensorFlow)、科学計算ライブラリ(NumPy、SciPy)、GPUドライバー、CUDAツールキットなどです。これらの依存関係によりDockerイメージのサイズが数ギガバイトに膨れ上がり、ビルド時間が長化する原因となります。
高速なイテレーションサイクル
ML開発では、テストのために頻繁にコードを変更してデプロイする必要があります。データサイエンティストはローカルPC上にコードを実行するためのハードウェア環境を用意できないことが多く、そのためコードをリモートクラスタ上で実行する必要が生じ、結果としてイメージのビルドが伴うことがよくあります。
- モデル改善のための頻繁なコード変更
- 依存関係の定期的な更新
- 異なるモデルアーキテクチャを用いた継続的な実験(多様な設定でのA/Bテスト)
TrueFoundryでの目標は、開発者が迅速なイテレーションペースで作業できるようにすることであり、そのためにDockerビルドを非常に高速化したいと考えました。ビルド時間を最適化するために何を行ったかを理解するために、まずTrueFoundryで以前どのようにイメージをビルドしていたかを把握しましょう。

開発者がイメージをビルドしたいとき、コードはコントロールプレーンにアップロードされ、サイドカーで実行されているBuildKitとともに新しいPodがイメージのビルドを開始していました。送信先のDocker Registryがキャッシュレイヤーとして機能し、最終的なイメージがDocker Registryにプッシュされます。
このセットアップは大部分のCIビルダーと同一であり、現在のCIセットアップと同じ長所と短所を持っています。
これには以下の長所がありました:
- システムが無限にスケールし、すべてのビルドが個別Podとして実行されるため、同時に任意の数の並列ビルドをサポートできる。
- 各ビルドのBuildKitが分離されているため、他のビルドに影響を与えない。
- BuildKitが最先端の並列処理と高度なキャッシュ機能を提供する。
しかし、このアプローチにはいくつかの短所がありました:
1. BuildKit Podが大量のリソースを要求するため、ビルドランナーの起動時間が長くなる。
2. Docker Registryからのキャッシュダウンロードに時間がかかり、ビルド時間が遅くなる。
3. 異なるワークロードのビルド間でキャッシュが再利用されない。
私たちは、ローカルビルドと同等(あるいはそれ以上)のリモートイメージビルド体験を提供したいと考えました。
Dockerイメージビルドプロセスの高速化
まず、BuildKit PodをKubernetes上のサービスとしてホストし、複数のビルダー間で共有してローカルディスクキャッシュを提供することで、Dockerビルドを非常に高速化することに決定しました。
ただし、このアプローチにはいくつかの制約があります:
1. BuildKitには「キャッシュファイルシステムは単一のBuildKitインスタンスのみが使用できる」という根本的な制約があります。これは、複数の並列ビルドを処理するためにBuildKitの複数インスタンスを実行した場合、それぞれが独自のキャッシュを持ち、それを共有できないことを意味します。
2. それぞれが独自のキャッシュを持つ複数のBuildKitインスタンスを実行する場合、キャッシュを有効活用するには同じワークロードを同じマシンにルーティングする必要があります。これにはカスタムルーティングロジックが必要です。
3. 実行中のビルド数に基づくBuildKit Podの自動スケーリングが容易ではない点です。BuildKit PodのCPU使用率をオートスケーリング指標として使用することはできません。Kubernetesがそのマシンで何も実行されていないと見なして、実行中の小規模なビルドを終了させてしまう可能性があるためです。
ワークロードを同じキャッシュインスタンスにルーティングしつつ、BuildKit Podの数を動的に変更することは、非常に難易度の高い課題です。Kubernetes全体でボリュームの接続や削除を行うのは非常に遅く、ビルド開始までに多大な時間がかかってしまいます。
上記の制約を克服するため、私たちはハイブリッドアプローチを考案しました。大半のビルドは超高速で完了し、並列ビルドのコンカレンシーが高い極めて稀なケースにおいてのみ、BuildKitをサイドカーで実行する以前のフローにフォールバックします。
以下の図に示されているアーキテクチャでは、一定のビルドコンカレンシーを設定し、それ未満のすべてのビルドはBuildKitサービスに送られます。例として、BuildKitサービス用に4 CPUと16GB RAMを備えたマシンを1台割り当てたとします。過去のビルドデータから、このマシンが2つのコンカレントビルドに耐えられることが分かっています。したがって、すでに1つのビルドが実行中で新しいビルドが届いた場合、それはBuildKitサービスにルーティングされます。しかし、さらにもう1つビルドが届いた場合は、Docker Registryに保存されたレイヤーキャッシュを使用し、BuildKitをサイドカーとして実行する以前のモデルへルーティングします。

これにより、ワークロードの99%に対して超高速なビルドを提供することが可能になり、ごく稀なケースでのみ、標準的なCIパイプラインで通常かかる時間でビルドが完了するようになります。
ビルド速度のさらなる向上
ビルドプロセスをさらに高速化するために、他にもいくつか改善を実施しました。以下はその一部です:
- pipからuvへの置き換え:uvを使用すると、pipと比較してPythonの依存関係解決とパッケージインストールが大幅に高速化されます。pipをuvに置き換えることで、ビルド時間を約40%削減できました。
- EBSの代わりにNVMeディスクを使用:NVMeディスクは高速な読み書きアクセスを提供するため、キャッシュの書き込みおよび読み取りを高速化し、ビルド速度の向上に寄与します。
速度向上のベンチマーク測定
実験結果を測定するために、MLワークロードで最も一般的なシナリオを表すサンプルDockerfileを1つ用意しました。
FROM tfy.jfrog.io/tfy-mirror/python:3.10.2-slim
WORKDIR /app
RUN echo "Starting the build"
COPY ./requirements.txt /app/requirements.txt
RUN pip install -r requirements.txt
COPY . /app/
EXPOSE 8000
CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8000"]
requirements.txtの内容は以下の通りです:
fastapi[standard]==0.109.1
huggingface-hub==0.24.6
vllm==0.5.4
transformers==4.43.3
3つのシナリオでビルドのベンチマークを実施しました:
- 初回ビルド(キャッシュなし)
- Pythonコードのみを変更し、依存関係は変更しない2回目のビルド。
- requirements.txtの依存関係を変更した後の2回目のビルド。
測定時間には、イメージのビルドとRegistryへのプッシュの両方の時間が含まれ、単位は秒です。

コード変更のみの2番目のシナリオは、開発者が最も頻繁に遭遇するシナリオであり、確認できる通り、ビルド時間が約15倍改善されています。
また、より巨大なベースイメージであるTritonをベースイメージとして含むDockerfileのシナリオもベンチマーク測定しました。
FROM nvcr.io/nvidia/tritonserver:24.09-py3
WORKDIR /app
RUN echo "Starting the build"
COPY ./requirements2.txt /app/requirements.txt
RUN pip install -r requirements.txt
RUN echo "Finished the build"
結果は以下の通りです:
.png)
このケースでは、初回のビルドで3倍のビルド時間改善、その後のビルドで9倍の改善が見られます。
上記の変更により開発者体験が大幅に向上し、最終的に本番環境にデプロイされる方法との整合性を維持しながら、アイディアに対する非常に迅速なイテレーションが可能になりました。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






