TrueFoundry ML Platformは貴社に適しているか?

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
MLインフラストラクチャ分野には、MLパイプラインを簡素化するためのきわめて優れ、印象的なソリューションが数多く存在します。以下に挙げるような課題に心当たりがある場合、TrueFoundryがその解決策となります:
MLモデルの本番環境への移行にかなりの時間がかかっており、複数のステークホルダー間で多くの依存関係が発生している
スケジュールの遅延に関する最大の理由は、チーム間の依存関係と、各ペルソナにおけるスキルセットの不足であると当社は考えています。TrueFoundryを使用することで、Data ScientistはPythonを使用してKubernetes上でのトレーニングおよびデプロイを容易に行えるようになります。また、インフラチームはセキュリティ制約やコスト予算を設定できます。当社が対話してきたほとんどの企業において、実装のフローは以下のようになっています:

TrueFoundryは、インフラ/DevOpsチームに依存することなくData Scientistが自らモデルをデプロイおよび評価できるようにすることで、開発時間を少なくとも3〜4分の一に削減することを支援します。
TrueFoundryを使用した場合のフローは、以下のようになります:

MLのトレーニングおよびデプロイに標準のKubernetesインフラストラクチャを使用したい
TrueFoundryはKubernetesネイティブであり、EKS、AKS、GKE(標準およびautopilotクラスター)、あるいはオンプレミスのクラスター上で動作します。MLは、標準的なソフトウェアインフラストラクチャと比較して、動的なノードプロビジョニング、GPUサポート、高速アクセスのためのボリューム、コスト予算管理、デベロッパーの自律性など、いくつかのカスタム要件を必要とします。お客様が最先端のインフラストラクチャ上で最高のアプリケーションを構築することに集中できるよう、当社がクラスター全体のあらゆる細かい詳細をケアします。
Data ScientistがインフラやYAMLを扱う必要をなくしたい
当社はPython APIを提供しているため、YAMLを操作する必要は一切ありません。CI/CDパイプラインで使用したい場合のために、YAMLサポートも提供しています。例えば、TrueFoundryを使用すると、以下のコードで推論APIをデプロイできます:
service = Service(
name="fastapi",
image=Build(
build_spec=PythonBuild(
command="uvicorn app:app --port 8000 --host 0.0.0.0",
requirements_path="requirements.txt",
)
),
ports=[
Port(
port=8000,
host="<Provide a host value based on your configured domain>"
)
],
resources=Resources(
cpu_request=0.5,
cpu_limit=1,
memory_request=1000,
memory_limit=1500
),
env={
"UVICORN_WEB_CONCURRENCY": "1",
"ENVIRONMENT": "dev"
}
)
service.deploy(workspace_fqn="tfy-cluster/my-workspace")
自社のCloudの外部へデータを移動させる必要がないMLインフラストラクチャを求めている
TrueFoundryは、お客様自身のKubernetesクラスター上に完全にデプロイされます。データはお客様独自のVPC内に留まり、Dockerイメージはお客様自身のDocker registryに保存され、すべてのモデルはお客様独自のブロブストレージシステム内に保持されます。TrueFoundryのアーキテクチャについてはこちらで詳しくお読みいただけます。
MLモデルのダウンロードに時間がかかるため、モデルのAutoscalingが非常に遅い
Kubernetesは通常、CPUとメモリに基づくHPAを使用したAutoscalingをサポートしています。しかし、MLワークロードにおいては、リクエスト数に基づくAutoscalingの方が多くの場合で適しています。Autoscalingにおけるもう1つの課題は、イメージサイズが大きいことやモデルのダウンロード時間によるモデル起動時間の長さです。TrueFoundryは、コンテナの起動時間を数秒に短縮し、ロードを高速化するためのモデルのキャッシングを提供し、高速な推論時間を実現することでこれらの問題を解決します。
ビジネスのためにLLMの威力を活用したいが、環境の外部にデータを出すことができない
オープンソースのLLMモデルを利用することはできますか?
TrueFoundryを使用すると、自社のインフラストラクチャ上でオープンソースのLLMをデプロイおよびファインチューニングできます。当社は最も一般的なオープンソースモデル向けの最適な設定をすでに解明しているため、最適な設定かつ最小限のコストでトレーニングおよびデプロイを行うことができます。
すべてのデベロッパーがさまざまなLLMを迅速に試せるようにしたい
当社は内部のLLM Playgroundをホストしており、内部でホストされているものを含め、社内デベロッパー用にどのLLMをホワイトリスト化するかを決定できます。デベロッパーは内部データを使用して実験を行うことが可能です。これについての短い動画を以下でご覧いただけます:
マルチテナントでコスト最適化されたセルフサービス方式により、Jupyter NotebookをData Scientistに提供したい

Jupyter Notebookは、Data Scientistの日々の開発サイクルに不可欠です。しかし、以下の理由により、個人のローカルマシン上でJupyter Notebookをローカル実行することが常に可能とは限りません:
- ローカルのラップトップでは利用できないような高いリソースが必要になる場合があるため
- ローカル環境ではデータアクセスが許可されない場合があるため
当社は、Jupyter NotebookをKubernetes上でシームレスに実行するために多大な努力を払ってきました。TrueFoundry上のJupyter Notebookは、JupyterLabやKubeflow Notebooksと比較して以下の利点を提供します:
- Notebookの高速な起動時間(10秒未満)
- 設定可能な一定の非アクティブ期間の後にNotebookをシャットダウンする自動停止機能。Data Scientistの稼働時間が1日8時間程度である場合、これによりコストが削減されます。EC2インスタンス上でJupyterを実行する場合と比較して、コストを約60%削減できます。
- 再起動を挟んでも維持される環境、データ、およびPython依存関係の永続性。
- ベースイメージに動的に依存関係を追加する機能。
- 他のチームメンバーとNotebookを共有する機能。
- キー/パスワードではなくサービスアカウントを使用してデータセットアクセスを設定する機能。
社内のすべてのモデルを1箇所で管理し、どの環境にどのモデルがデプロイされているかを把握したい
TrueFoundryは、どのモデルがどのステージにあるか、およびレジストリ内のすべてのモデルのスキーマとAPIを追跡できるモデルレジストリを提供します。
モデルを完全に展開する前にオンライン通信でテストできるよう、新しいバージョンのモデルにトラフィックをミラーリングまたは分割したい
TrueFoundryでは、あるモデルから別のモデルへトラフィックを分割またはミラーリングすることができます。これは、本番環境に全面的に展開する前に、ライブトラフィックで新しいモデルバージョンを一定時間テストしたい場合に非常に有用です。TrueFoundryは、モデルデプロイメントにおけるカナリアデプロイおよびブルーグリーンデプロイ戦略もサポートしています。
マルチクラウドおよびオンプレミスにわたるハードウェアとコンピュートを使用したい。デベロッパーが環境間でワークロードをシームレスに移行できるように、これらを接続するにはどうすればよいか?
当社は、各クラウド間におけるKubernetesクラスターの細かな違いを確実に解決するために多大な努力を傾けてきました。デベロッパーは、基礎となるインフラストラクチャを意識することなく、任意の環境で同じコードを記述してデプロイできます。Kubernetesの基盤コンポーネントがインストールされているかの確認、互換性のない移行の検出、およびそれに応じたデベロッパーへの通知を当社が担います。
MLインフラに多大なコストが発生しており、その追跡と削減が困難になっている
当社はサービスのコスト可視性をデベロッパーに提供し、コスト削減のためのインサイトを提供します。現在のすべてのお客様が、TrueFoundryを導入した後に少なくとも30%のコスト削減を実現しています。
TrueFoundryは、AIモデルのデプロイを簡素化し、デベロッパーのワークフローを加速させ、インフラストラクチャの完全な制御を維持するために構築された、Kubernetes上のMLデプロイメントPaaSです。当社のプラットフォームを通じて、Machine Learningチームは100%の信頼性、拡張性、および数秒でのロールバック機能を備えたモデルを15分でデプロイおよびモニタリングできるようになり、コストを削減し、本番環境へモデルをより迅速にリリースして、真のビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






