デプロイプラットフォームのアップデート

Truefoundryチームは先月、MLデプロイメントプラットフォームに機能を追加するため、懸命に作業を進めました。ここでの私たちの目標は、最高のエンジニアリング原則とセキュリティ原則を遵守しながら、MLモデルとサービスを非常に簡単にデプロイできるデプロイメントプラットフォームを構築することです。優れたMLプラットフォームを構築するには、堅牢なエンジニアリングプラットフォームが必要であり、そのため、当初の焦点の多くは、コードをデプロイするための堅牢なプラットフォームを提供することにありました。

上記で説明したMLプラットフォームのすべての要素の中で、私たちはサービングインフラストラクチャ、モニタリング、およびそれらに関するすべての自動化に焦点を当てています。

Kubernetes上にデプロイメントプラットフォームを構築するために、多くの作業が行われました。ここでの目標は、プラットフォームがソースコードからイメージを構築し、Dockerレジストリに保存し、最終的にKubernetesにアプリケーションをデプロイするまでを処理することで、5分以内に非常に簡単にデプロイできるようにすることです。先月のアップデートの一部は以下の通りです。

デプロイ時にインスタンスファミリーを選択する機能

機械学習モデルは、インスタンスタイプによって推論レイテンシやパフォーマンスが大きく異なる場合があります。例えば、IntelプロセッサとAMDプロセッサでHugging Faceモデルの推論レイテンシをテストしたところ、Intelプロセッサの方が約30%高速であることがわかりました。そのため、ワークロードをデプロイする際にユーザーがインスタンスタイプを選択できるオプションを導入しました。インスタンスタイプが選択されていない場合、ワークロードは利用可能な任意のインスタンスタイプにデプロイされます。

デプロイメントのログとメトリクス

以前は、ログとメトリクスを表示するためにGrafanaリンクを使用していました。Grafanaは高度にカスタマイズ可能でしたが、権限とアクセス制御はGrafana上では実際には不可能でした。また、Grafanaに慣れていないユーザーにとっては、少し遅く、理解しにくいことが判明しました。そのため、ほとんどのケースで十分な、ログとメトリクスを表示するための独自のUIを実装しました。より高度なユーザー向けには、パブリッククラウドでのGrafana統合も引き続き提供しています。

シークレットグループの権限管理

シークレットグループに、エディター、ビューアー、または管理者としてユーザーを追加できるようになりました。

GitHubおよびBitbucket連携

GitHubまたはBitbucketの任意のリポジトリからTruefoundryに直接デプロイできるようになりました。ユーザーはOAuthフローを使用して自身のプライベートリポジトリと連携し、アプリケーションをデプロイするための適切なパラメータを選択できます。

来月は、以下のような魅力的な機能に取り組んでいます。

1. プラットフォームをより直感的で使いやすくする。
2. 任意のKubernetesクラスターへのTruefoundryスタックの自動デプロイ
3. チーム向けサポート
4. デプロイロールバック機能

続報にご期待ください。ぜひご意見をお聞かせください！