2023年における機械学習デプロイメント

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
アプリケーションとインフラストラクチャのデプロイメントは複雑なプロセスであり、インフラチームとアプリケーション開発者チームの連携が必要です。内部開発者プラットフォーム(IDP)を導入することで、両チームは少ないミスで迅速に作業を進めることができ、高い安定性を保ちながら生産性を向上させることができます。
デプロイメントとソフトウェアライフサイクルで考慮すべき重要なポイント
- Docker化 — 再現性を確保するためには、バージョンを固定して依存関係をパッケージ化することが重要です。不要な依存関係が含まれたDockerイメージはサイズが肥大化し、起動時間の長期化につながります。
- デプロイメント形式の選択: ウェブサービス、Job、サーバーレス、静的ウェブサイトなど、デプロイメントには多くの選択肢があります。トラフィックパターン、レイテンシ要求、メモリやCPUの要件に応じて、それぞれのメリット・デメリットを考慮した最適な方法を選択できます。
- スケーラビリティ — スケールが拡大すると多くの問題が発生するため、スケーリングポリシーの適切な設定、オートスケーラーの設定、サービスのステートレス化を行うと同時に、コストを最適化する必要があります。
- モニタリングとデバッグ容易性 — ソフトウェアの異なるバージョンをどのように比較するか?ログやメトリクスの観察、カスタムメトリクスのログ記録、およびダッシュボードでの確認が非常に容易である必要があります。
- シークレット管理とセキュリティ — 適切なシークレット管理のサポートに加えて、認証情報を回覧させるのではなく、サービスアカウントを使用して他のシステムへのアクセス権を提供する必要があります。
- 自動化とCI/CD — 優れたCI/CDパイプラインを持つことは、迅速な開発とバグの早期発見において極めて重要です。ワンクリックで新しい環境をシームレスに作成できること、開発環境からステージング、本番環境へと自動化された方法で移行できることで、プロセスが大幅にスムーズになります。
- バージョニング、不変(Immutable)デプロイメント、ロールバック — シークレットの値とともにデプロイメントを容易にロールバックできる必要があります。現在の多くのシステムでは、直前の環境変数やシークレット値のセットを含めてデプロイメントをロールバックすることがほぼ不可能です。
- マルチ環境: 複数の環境を管理したり、動的な環境を素早く立ち上げ/削除できたりすることで、開発者はより隔離された環境でテストを行うことができ、コストを抑えながら全体の進行速度を上げることができます。
- APIセキュリティと認証 — 外部および内部双方のAPI認証 — シンプルなユーザー名・パスワード認証、OIDC認証、サービスアカウント、Bearerトークンなど、適切な手法を選択します。
- レート制限とロードバランサーの設定 — すべてのAPIに組み込むべき一般的なベストプラクティス(ロードバランサー設定)
- デプロイメントの速度と自主性 — 開発者はデプロイメントから抽象化されて遠ざけられるのではなく、自らコントロールできていると感じるべきです。人的ミスによるコアインフラの破壊を防ぎつつ、開発者をプロセスに参加させ自主性を持たせることがプラットフォームの主要な目標の1つです。
- コスト最適化 — 最適なハードウェアと最適なデプロイ形式を選択することが、コスト削減に寄与します。
- インフラとアプリケーション変更の連携: 環境を移動する際、インフラの変更も同時にロールアウトする必要がある場合が多く、これを見落とすと本番環境でのアプリケーション停止につながります。
- A/Bテスト / トラフィックシェーピング
TrueFoundryのご紹介
企業の内部開発者プラットフォーム(IDP)として機能するデプロイメントプラットフォームです。ここでの目標は、開発者がインフラの詳細な知識を持たなくてもアプリケーションを非常に容易にデプロイ・保守できるようにすること、そしてインフラ/DevOpsチームがエンジニアリングおよびセキュリティのベストプラクティスを適用するためのポリシーを簡単に作成できるようにすることです。
TrueFoundryプラットフォームの主な設計原則
- 完全API駆動型アーキテクチャ — TrueFoundryはKubernetesに非常に類似した、完全API駆動型のアーキテクチャを採用しています。これにより、ユーザーはその上にインターフェース、UI、自動化を構築できます。
- Kubernetes上の拡張可能なPaaS — Kubernetesで許可されているコア機能に対し、複数のプラグインを使用してカスタマイズ可能です。
- GitOps駆動(非GitOpsモードもサポート)
- 初日からの細粒度アクセス制御(FGAC)
- Infrastructure as Code (Terraform) — あらゆるクラウドアカウント上に短時間で起動可能。
- デフォルトでのセキュリティ確保 — TrueFoundryはPOLP(最小権限の原則)に従い、サービスアカウントの使用、TLS、保存データの暗号化、エアギャップ環境のサポートなど、セキュリティのベストプラクティスを活用しています。
- 設計段階からのクラウドネイティブ — 設計段階からクラウドネイティブであり、すべてのクラウドプロバイダーで利用可能なコンポーネントを意識的に選択しています。
TrueFoundryでサポートされている主な機能
マルチクラウドにおけるさまざまなデプロイメント手法:
トラフィックパターン、CPUおよびメモリ消費量に基づいて、ワークロードごとに適切なデプロイメント手法が異なります。目標は、Kubernetes上のService、Kubernetes上のJob、AWS Lambda、Kubernetes上のサーバーレス(Knative)、Google Cloud Run、モデルサーバーなど、複数のシステムにわたってデプロイするための単一のインターフェースを提供することです。TrueFoundryはGitリポジトリと統合されており、任意のGitリポジトリから直接デプロイできます。

Jobにまたがるメトリクスとグラフのログ記録および可視化
TrueFoundryを使用すると、開発者は詳細なメトリクス、パラメーター、画像、プロット、アーティファクトを記録でき、詳細なダッシュボードを使用してJobの実行結果を比較できます。

ソフトウェアのカナリア / シャドウテスト
TrueFoundryを使用すると、シャドウテストによって既存の本番環境に影響を与えることなく、ライブデータでソフトウェアの新バージョンを非常に簡単にテストできます。また、新しいバージョンへ段階的にトラフィックをシフトするカナリアロールアウトも可能です。
シークレット管理
開発者はシークレットを作成し、アプリケーション内でそれらを参照できます。シークレット管理の主な機能は以下の通りです:
- シークレットのストレージは、Vault、AWS Secrets Manager、Google Secret Manager、AWS Systems Manager パラメータストアなどのシークレットストアによってバックアップされます。実際のシークレット値自体はプラットフォーム上に保存されません。
- プラットフォームは、どのシークレットがどのアプリケーションで使用されているかを追跡します。そのため、シークレットが変更されたときはいつでも、対応するサービスを再デプロイするようユーザーに促すことができます。
- プラットフォームはシークレットのバージョンを維持するため、対応するシークレットバージョンとともにアプリケーションをロールバックできます。

シークレットに対するアクセス制御 — 閲覧者はシークレットのキーを見ることはできますが、シークレットの値を見ることはできません。これにより、DevOps/インフラチームはシークレットの値を漏洩させる心配なく、キーを開発者と共有できます。
マルチクラスタ管理とデプロイメント

TrueFoundryは複数のクラスタとの統合と、それらにまたがるアクセス制御の管理を可能にします。TrueFoundryはクラスタの認証情報を自社内に保管しないため、企業内のさまざまなユーザーにとって安全です。
さまざまなチーム向けKubernetesアクセス制御
TrueFoundryを使用すると、Kubernetesの名前空間にアクセス制御を設定し、リソースクォータとともに異なるチームに割り当てることが容易になります。これにより、インフラの安定性、コスト制御、セキュリティを維持しながら、開発者の自主性を高めることができます。

プラットフォーム上で直接表示可能な基本的なモニタリングおよびログ記録UI
TrueFoundryは、使用するログ記録やメトリクスプラットフォームに対して特定の意見を押し付けません。ここでの目標は、一般的なログ記録およびモニタリングソリューションのいくつかと統合し、プラットフォーム自体で迅速に確認できるようにすることです。より詳細でカスタマイズ可能なビューについては、Prometheus、Loki、ELK、Datadog、New Relicなどの既存のモニタリングソリューションの使用を推奨します。


デプロイおよび実行中の全サービスの統合ビュー(サービスカタログ)

サービス単位 / チーム単位 / エンジニア単位でのコスト見積もりと最適化
サービス単位やチーム単位でコストの見積もりと最適化を追跡できるようにしたいと考えています。すべてのエンジニアにコストの可視性を提供するだけで、コスト最適化の意識が生まれ、単一のチームにかかる負担を軽減できます。
任意のTerraformモジュールのデプロイ(マネージドデータベース、キュー、キャッシュサービスのデプロイが可能)
DevOpsやインフラチームが作成したTerraformモジュールを使用して、クラウドサービスのデプロイを可能にしたいと考えています。たとえば、DevOpsチームがデータベース作成用のTerraformモジュールを作成し、開発者はRDS用のTerraformモジュールに基づいてUIからデータベースをプロビジョニングできます。これは、以下で説明するプラグインフレームワークとKubernetes上のTerraformコントローラーに依拠します。
TrueFoundryは既存のスタックで動作しますか?
TrueFoundryでは、車輪の再発明を避け、可能な限り既存のシステムを活用したいと考えています。そのため、多くの既存インフラツールと統合し、ユーザーが独自のインフラを持ち込んだり、ニーズに応じてTrueFoundryをカスタマイズしたりできるようにしています。
- クラウドアカウント(AWS、GCP、Azure) — クラスタの自動プロビジョニング、Lambdaの作成、マネージドサービスのデプロイに役立ちます。
- Git統合(GitHub、Bitbucket、Azure) — 開発者がGitリポジトリから直接アプリケーションをデプロイするのに役立ちます。
- シークレットストア(AWS Secrets Manager、Google Secret Manager、HashiCorp Vault) — これにより、シークレットの実際の値はプラットフォーム上ではなくシークレットストアに保存されます。
- Dockerレジストリ⊺Docker Hub、Google GCR、Amazon ECR、GitHub Dockerレジストリ
- Terraform統合
- モニタリング統合: Prometheus、Grafana、Datadog、New Relic
- ログインフラ統合⊺Loki、Datadog、ELKスタック。
- CI/CD統合⊺TrueFoundryは、GitHub Actions、Jenkins、AWS CodeBuild、Google Cloud Buildなどの既存のCI/CDパイプラインと統合できます。
このリストにお探しの名称がない場合は、喜んで連携し、リストに新しい統合を追加いたします。
TrueFoundryはどのようにセキュリティを強化しますか?
POLP原則(最小権限の原則)
スタック全体でインフラチームがPOLP原則を適用しやすくし、それに従います。開発者はアクセスが必要なワークスペースに追加され、その変更はそのワークスペース内に制限されます。
TrueFoundryプラットフォーム上にはシークレットやパスワードを保存しません
TrueFoundryは、Kubernetesの認証情報やシークレットなどの機密情報を自社内に保存しません。すべてのデータは保存時に暗号化(REST)されます。すべてのアクセスはサービスアカウントを通じて提供することを推奨します。
また、チームがプラットフォーム全体で行われたすべてのアクションを把握するのに役立つ完全な監査ログを提供する予定です。
TrueFoundryのオープン性とカスタマイズ性について
Kubernetesクラスタはお客様の管理下にあります
TrueFoundryはワークロードをデプロイする生のKubernetesクラスタを公開し、顧客に完全なアクセス権(適切な権限アクセスを持つkubectlを含む)を提供します。これにより、誰でもTrueFoundryにブロックされることなく、望む操作をほぼ自由に行うことができます。
これに加えて、KubernetesのCRDに類似した追加プラグインを容易に構築できるプラグインフレームワークもサポートしています。
TrueFoundryでのカスタムプラグイン構築
TrueFoundryは、各デプロイメント方法をカスタムプラグインとしてサポートしています:
プラグインを作成するには、ユーザーは3つのパートを記述する必要があります:
- 入力スキーマの仕様(Spec)を定義する入力Cueファイル
- 入力Specを出力Specに変換する方法を定義するプロセッサー
- Kubernetesに送信される出力Spec。
現在、入力Specと出力Specは Cue Lang で記述し、プロセッサーはGoで記述する必要があります。ただし将来的には、入力および出力スキーマにJSON Schemaを使用できるようにし、プロセッサーを任意の言語で記述できるようにする予定です。
入力CueファイルからUIおよびPythonインターフェースを自動生成します。
TrueFoundryへのオンボーディング方法
インフラ/DevOpsチームによるインフラストラクチャのセットアップ:
- Terraformを使用してKubernetesクラスタを作成します。TrueFoundryは、TerraformコードをGitHubリポジトリにコミットしながら1クリックでクラスタを起動できるサンプルTerraformコードを提供します。DevOps/インフラチームは、好みに応じてTerraformコードをカスタマイズし、再度適用できます。
- Terraformを介してサービスアカウントを作成し、Kubernetesの名前空間から他のインフラストラクチャへのアクセスを提供します。
- TrueFoundryプラットフォーム上のワークスペースにサービスアカウントを追加し、ワークスペースを異なるチームに割り当てます。
- TrueFoundryは、デフォルトのモニタリングスタック(Kube-Prometheus-Loki-Grafanaスタック)、Istio(Ingress)、Argo CD(インフラデプロイ)を使用してKubernetesクラスタをブートストラップします。TrueFoundryはマニフェストファイルをGitHubリポジトリに出力し、インフラチームが要件に応じて変更できるようにします。
- マネージドインフラストラクチャをデプロイするために、インフラチームはDB、キュー、キャッシュなどのTerraformモジュールを提供できます。開発者はインフラチームが提供したモジュールを使用して、これらのインフラをプロビジョニングできます。
- 開発者をプラットフォームにオンボーディングします。
- ワークスペースをチーム/アプリケーションに割り当てます。
- 開発者はドキュメントに従って、すぐにデプロイを開始できます。
TrueFoundryの仕組み
TrueFoundryは、コントロールプレーンとワークロードクラスタエージェントの2つのコンポーネントで構成されています。これにより、TrueFoundryは複数のクラスタにわたってワークロードをオーケストレーションできます。

他のプラットフォームとの差別化
アーキテクチャ
- 初日からのマルチクラスタ対応: TrueFoundryは、地域、VPCを跨ぎ、プライベート/パブリックを問わないマルチクラスタサポートを初日から提供します。これはPorterやNorthflankの現在のアーキテクチャでは非常に困難です。Komodorのアーキテクチャでは可能ですが、彼らはKubernetesの可視化とモニタリングにより重点を置いており、これらは当社のプラットフォームにはデフォルトで含まれています。
- 初日からのマルチクラウド対応: これはPorter、Northflank、Qoveryにも当てはまりますが、Kubernetesレイヤーにおいてのみです。当社のアーキテクチャは、そのオープン性により、より多くのクラウドネイティブコンポーネントとの統合構築をサポートします。Argonautは当社と同様のより広いレイヤーでこれを行っています。
- 完全な透明性とGitOps — ユーザーが自らのアーキテクチャを完全にコントロールでき、いかなる時点でもTrueFoundryによってブロックされない完全透明性モデルを採用しています。Porter、Northflank、Qoveryの場合、クローズドなアーキテクチャのために大規模な企業では機能不足になります。また、当社は他社がまだ実現していないGitOpsモードと非GitOpsモードの両方を許可しています(Porter、Northflank、Qoveryは非GitOpsのプッシュ型であり、CoSphereは完全なGitベースです)。
アプリケーションとインフラストラクチャの統一デプロイメント
当社はアプリケーション、Job、MLデプロイメントに深く統合されています。これにより、多くのインフラ知識が開発者の用語へと翻訳されます。他の多くのプラットフォームは抽象化を構築してインフラの概念を減らすことでこれを行っていますが、当社は隠すのではなく簡素化することによってこれを行おうとしています。
Argonautはインフラとアプリケーションデプロイメントの両方を統合するこのアプローチを採用していますが、これには2〜3年のプロダクトサイクルが必要です。彼らはインフラ側に重点を置いてスタートしました。
プラグイン
当社のプラグインベースのアーキテクチャは、KubernetesのCRDフレームワークに基づいており、独自のCueLangを組み合わせたものです。これにより、CLI、UI、およびすべての言語でプラグインを非常に迅速に展開する力が得られます。これはKubeVela(オープンソースリポジトリ)の設計に着想を得たものです — このパターンを解明した他のプレイヤーを当社は知りません。これは当社の独自技術の1つであり、他のプレイヤーよりもはるかに速く構築することを可能にします。
透明性
完全なソースコードを提供することで、可能な限り透明性を保つよう努めています — これにより、当社からの移行も非常に容易になります。Porterとpurple.shのみがこれを保証しているようであり、その他はすべて非常にクローズドなシステムです。
インサイト
当社はすでにユニークなインサイトを提供しており、デプロイ時に環境変数を変更し忘れるといった、ソフトウェアデプロイにおける最も一般的なバグを防いでいます。シークレットの履歴とデプロイメント履歴の両方を把握しているため、このようなことができるプラットフォームを他に知りません。コードのソース管理から本番環境までのパイプラインを監視しているため、コスト、安定性、開発者の生産性に関する多くのインサイトを生成することもできます。
プラットフォームチームの代替
当社のプラットフォームは、プラットフォームチームが内部で構築するものに近い形になるよう設計されています。リソース割り当て、セキュリティ、開発者向けの抽象化といった主要な課題を解決します。PorterやNorthflankはHerokuにより近いです。QoveryやArgonautは、中小企業向けのDevOpsの代替品に近いです。HumanitecやShipaはプラットフォームチーム向けに設計されていますが、彼らの抽象化は概念化や理解がかなり難しいと感じました。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.



















.webp)






.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






