TrueFoundryのビジョン

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
全体ビジョン:すべてのベストプラクティスに従ったサービスの作成と管理を容易にし、システムのモニタリング、データ、コスト、インパクトを含むインフラの全容を明確に把握できるようにする、Machine Learningに初期焦点を当てたデベロッパープラットフォーム!
TrueFoundryのビジョン(5〜10年)
TrueFoundryは、MicroServicesの実行と管理における開発者体験をシームレスにすることを中核目標としています。適切なレベルの抽象化により、開発者は超高速なイテレーション速度でビジネスロジックの記述のみに集中できるようになります。
コードを書いた後、ジニー(魔法の魔人)を呼び出して、サービスの種類(Serverless、CronJob、Database、APIサービス)やCPU、メモリなどのリソース要件といった要望を伝えると、ジニーがGitOpsやInfrastructure as Code (IAC) などのベストプラクティスに沿ってサービスを作成し、作成されたすべてのメトリクスを表示するダッシュボードを提示してくれる——そんなフローを想像してみてください。
私たちはservicefoundryによって、以下のことを実現したいと考えています。
IACを使用した中央集中型インフラのプロビジョニング
ServiceFoundryは、最も一般的に使用されるオープンソースのインフラコンポーネントをユーザーのクラウド上にプロビジョニングおよびホストします。例として以下のようなものが挙げられます。
- セキュリティのベストプラクティスが設定されたKubernetesクラスタの起動。
- Kafka、Spark、Redis、Prometheus、Grafanaなどの中央集中型インフラコンポーネントのインストール(またはマネージドサービスの使用)。
- AWS Elastic Searchなど、一部にクラウドマネージドサービスを使用可能。
- データベース、ストレージレイヤーの起動(現時点ではマネージドバージョンを使用)。
- Airflow、Argoなどのパイプラインオーケストレーションシステム。
- CI / CD (Github Actions、Gitlab、AWS Code pipelines)
- ログ統合(ELK、EFK)
- モニタリング(標準メトリクスおよびカスタムメトリクス)
- アラート設定

サービスの作成
- 設定可能なテンプレートに基づいてサービスを構築およびデプロイします。ServiceFoundryは、infrastructure-as-codeを通じて以下を自動化する意見主導型(opinionated)の原則セットとなります:
- 依存関係の管理とパッケージング(Docker、Zip)
- テスト
- 設定管理(静的および動的に変化する設定)
- インフラのプロビジョニング(事前にプロビジョニングされた中央集中型インフラの上で構築)
- Autoscalingの設定
- CI/CD
- ログ統合
- 標準メトリクスを備えたダッシュボード生成(ユーザーはカスタムメトリクスを追加可能)
- アラート設定
上記と同様に、ML ModelsやDatabasesに対しても同じことを実現したいと考えています。

ServiceFoundryは、標準的なタイプのサービスのデプロイとモニタリングの合理化を目指します:
- LoadBalanced API Service(さまざまなパラメータに基づくautoscaling付き)
- Job Service(Cron jobs、イベントによってトリガーされるjobs)
- Serverless
- Stateful Services
- Static Website
サービスカタログとグラフ
ServiceFoundryを使用して作成されたすべてのサービスは、完全なメタデータとともに一箇所で確認できます。このカタログには、dev、staging、prodといった各アプリケーションのすべての環境も表示されます。これにより、開発者やビジネスリーダーが組織内で実行されているサービスを確認できるデベロッパープラットフォームポータルが実現します。各サービスに関連付けられる主なメタデータの一部は以下の通りです:
- Githubリポジトリへのリンク
- 設定(Configuration)
- モニタリングリンク
- チームおよびオーナー
- 異なるアクセス制御を持つメンバーを追加する機能
- コスト


TrueFoundry MLOps(ML First Platform)
TrueFoundryの初期の焦点は、モデル構築後のパイプラインに焦点を当て、データサイエンティストがモデルのデプロイ、監視、再学習を極めて容易に行えるシームレスなMLOpsプラットフォームを提供することです。
Machine Learningパイプラインは、以下の中央集中型インフラで構成されています:

含まれるさまざまなステップの簡単な説明は以下の通りです:
- Data PipelineおよびFeature Store:これは本質的にビッグデータの問題であり、モデルで使用される特徴量をデータレイクから計算し、解離を生じさせることなく、学習時と本番環境の両方で必要な時間制約内に利用可能にする必要があります。通常、Airflow、Argo、Kubeflow pipelinesなどのワークフローオーケストレーションエンジンが使用されます。
- Model Training: Model trainingは本質的に、複数のマシンにわたって実行できる計算負荷の高い分散ジョブです。また、チェックポイントの保存と復元による組み込みのレジリエンス(回復力)も提供する必要があります。
- ModelServing: これは基本的にモデルの予測要求を受け取るマイクロサービスであり、GPU、高い計算機能、メモリ要件など、多様な要件を持つ可能性があります。各モデルは通常単一のマイクロサービスとしてホストされるため、チームが数十のモデルにスケールすると、数十のマイクロサービスを管理する問題になり、それ自体が大きな課題となります。
- ModelMonitoring: これには、システムメトリクスのモニタリングと、モデルのパフォーマンスおよび劣化に関連するMachine Learning固有のモニタリングの両方が含まれます。これには、ログデータを保存し、集計を実行し、最終的にメトリクスを計算するシステムも必要です。
- Model Management:モデルおよびそのさまざまなバージョンや実験に関連するすべてのデータを追跡します。これは、後で問題をデバッグしてロールバックするのに非常に便利です。
このように多くの可動部分と異なる技術が関わっているため、通常、DataEngineer、DataScientist、ML Engineer、DevOps、Product Managerなど、複数の人物がMLプロジェクトに関与します。プロジェクトを成功させるには、これらすべての異なるペルソナ間の調整が必要となり、多くの遅延が発生し、データサイエンティストのスピードが阻害されます。
企業におけるMachine Learningパイプラインの一般的なワークフローは以下のようになります:

MLプラットフォームの背後にある主要な目標
私たちは、MLパイプラインの中で自動化可能な部分を自動化し、データサイエンティストが他チームへの依存を最小限に抑えながら、本番環境でモデルをテストし、迅速にイテレーションできるようにしたいと考えています。私たちのモチベーションは、トップIT企業のPlatformチームが作成した、全チームがより迅速に移動し、自力でデプロイやイテレーションを行えるようにする製品から得ています。
現在、データに関連する問題は取り扱っていません。そのセクションは後で導入されます。
主要なML Platformは、(中央インフラとは別に)以下のサービスで構成されています:
- Training(異なるトリガーを持つスケジューリングされたJob)
- Model Service(LoadBalanced API Service)
- Storage(アーティファクト、データセット、モデル推論データ)
- ML Monitoring Service(データからメトリクスを計算するサービス)
- Feature Engineering Service
これらのサービスを簡単にデプロイし、異なるステージ間でバージョニングを維持し、それぞれのモニタリングを生成できれば、ML Opsの問題ははるかにシンプルになります。
このブログは最初、Mediumの https://abhishekch09.medium.com/d8e159743a4b で公開されました。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.

















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






