Deployment Platform の最新アップデート

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TrueFoundry チームは先月、ML Deployment platform への機能追加に全力に取り組んできました。私たちの目標は、最高のエンジニアリング原則とセキュリティ原則を適用しながら、ML モデルやサービスのデプロイを非常に容易にするデプロイプラットフォームを構築することです。優れた ML プラットフォームを構築するには、確固たるエンジニアリングプラットフォームが必要であるため、初期の重点の多くはコードをデプロイするための堅牢なプラットフォームを提供することに置かれていました。

上記で説明した ML プラットフォームのすべてのコンポーネントの中で、私たちはサービングインフラストラクチャ、モニタリング、およびそれらの周りのすべての自動化に焦点を当てています。
Kubernetes 上に構築するデプロイプラットフォームの開発には、多くの作業が投じられました。ここでのゴールは、プラットフォームがソースコードからのイメージビルド、Docker Registry への保存、そして最終的な Kubernetes 上へのアプリケーションのデプロイを処理することで、5分未満で極めて簡単にデプロイできるようにすることです。先月の主なアップデートは以下の通りです:
デプロイ時のインスタンスファミリー選択機能
機械学習モデルは、インスタンスタイプによって推論レイテンシやパフォーマンスが大きく異なる場合があります。例えば、Hugging Face モデルの推論レイテンシを Intel と AMD のプロセッサでテストした際、Intel プロセッサの方が約30%高速であることがわかりました。そのため、ユーザーがワークロードをデプロイする際にインスタンスタイプを選択できるオプションを追加しました。インスタンスタイプが選択されていない場合、ワークロードは利用可能な任意のインスタンスタイプにデプロイできます。

デプロイのログとメトリクス
従来はログやメトリクスを表示するために Grafana へのリンクを設けていました。Grafana は高度なカスタマイズが可能であった一方で、権限管理やアクセス制御の設定が難しく、また Grafana に慣れていないユーザーにとっては動作が少し重く、分かりにくいという課題がありました。そのため、ほとんどのユースケースを満たすログとメトリクス表示用の独自の UI を実装しました。なお、より高度なユーザー向けには、パブリッククラウドにおける Grafana 連携も引き続き提供しています。


Secret Groups の権限管理
Secret Groups に対して、ユーザーを Editor、Viewer、または Admin として追加できるようになりました。

GitHub および Bitbucket との連携
任意の GitHub または Bitbucket リポジトリから TrueFoundry へ直接デプロイできるようになりました。ユーザーは OAuth フローを使用して自身のプライベートリポジトリと連携し、適切なパラメータを選択してアプリケーションをデプロイできます。

来月に向けて、以下のようなエキサイティングな機能の開発に取り組んでいます:
- プラットフォームをより直感的で使いやすく改善
- 任意の Kubernetes クラスタへの TrueFoundry スタックの自動デプロイ
- チーム機能のサポート
- デプロイのロールバック機能
今後のアップデートにご期待ください。皆様からのフィードバックもお待ちしております!
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






