True ML Talks #16 - Digitsにおける機械学習パイプライン

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
DigitsにおけるMLユースケース
Digitsは、AIを活用して事業者の会計業務を自動化する財務管理ソフトウェア企業です。取引分類、外れ値検知、不正検知などのタスクを自動化することで、Digitsは事業者が顧客基盤を倍増させ、顧客への対応時間を向上できるよう支援しています。
- 顧客のオンボーディング: DigitsはAIを活用して、新規顧客がアカウントを設定し、銀行口座を迅速かつ容易に連携できるよう支援します。
- 取引分類: DigitsはAIを使用して取引を自動的に分類し、会計士の時間を節約するとともに正確なカテゴリ分けを実現します。
- 外れ値検知: DigitsはAIを活用して取引内の外れ値を検出し、会計士が異常な取引を迅速に特定・調査できるようにします。
- レポーティング: DigitsはAIを使って生成された多様なレポートを会計士に提供し、時間を節約しながら必要なインサイトを迅速に得られるようにします。
Digitsが使用するMLモデル:
- 分類モデル: 食費、旅費、在庫など、取引をさまざまなカテゴリに分類します。
- 予測モデル: 顧客の解約や不正など、将来の結果を予測します。
- 生成モデル: 顧客への質問やメッセージなどのテキストを生成します。
- 類似性ベースのモデル: 取引内の類似パターンを見つけ出し、それらのパターンを模倣します。
DigitsにおけるMLの歩み
Digitsは、会計における主観性の課題に対処するために、ディープラーニングおよびNLPモデルへ移行する必要がありました。また、DigitsにはデータエンジニアリングとKubernetesに関する強固な基盤があり、これはMLプラットフォームの構築とスケーリングに不可欠なものでした。
チームは、MLパイプラインのオーケストレーションにTFXを、モデルサービングにTF Servingを導入することから始めました。これにより、Digitsはスケーラブルかつ信頼性の高い方法でMLモデルを構築・デプロイできるようになりました。
次に、チームは類似性ベースのパイプラインの開発に注力しました。これらのパイプラインは、データがあいまいまたは不完全な場合でも、取引を正確に分類し外れ値を特定することができます。これは、類似性ベースのパイプラインが取引内の類似パターンを見つけて模倣するためです。このアプローチは、会計士のデータ解釈によって結果にばらつきが生じる可能性があるグローバルな機械学習モデルを使用するよりも効果的です。
DigitsのMLパイプラインは現在、取引分類、外れ値検知、不正検知など、多様な機能の駆動に使われています。その結果、Digitsは顧客に貴重なインサイトを提供し、タスクの自動化、精度の向上、コスト削減を支援しています。
Kubernetes上でのMLトレーニングのオーケストレーション
DigitsのMLトレーニングへのアプローチは、高度に組織化され効率的です。オーケストレーションにKubernetesを使用することで、Digitsは必要に応じてトレーニング運用をスケールアップまたはスケールダウンできます。前処理にTensorFlow Transformを使用し、Google Cloudプロジェクト内のトレーニングプラットフォームを活用することで、Digitsは複雑なモデルを迅速かつ効率的にトレーニングするために必要なツールとリソースを得ています。検証セットとモデルレジストリの使用により、Digitsは高品質なモデルを本番環境に出荷することを保証しています。
Digitsは、以下の手順でKubernetes上のMLトレーニングをオーケストレーションしています:
- ETLプロセス: DigitsはETLプロセスを使用してシステム全体からアーティファクトを収集し、継続的にデータセットをブートストラップします。
- データ検証とスキーマ作成: Digitsはデータセットの統計情報を検証し、スキーマを作成します。
- 前処理: DigitsはTensorFlow Transformを使用してデータを前処理します。
- トレーニング: Digitsはトレーニングプラットフォームを使用して、Google Cloudプロジェクト内でモデルをトレーニングします。
- 評価: Digitsは検証セットを使用してトレーニング済みモデルを評価します。
- モデルレジストリ: Digitsはトレーニング済みモデルをモデルレジストリに出荷します。
- デプロイ: DigitsはCI/CDシステムを使用して、トレーニング済みモデルを本番環境にデプロイします。
DigitsにおけるMLトレーニングのGPUリソース割り当て管理
MLトレーニング用のGPUリソース割り当ての領域において、Digitsは手動と自動の両方の手順を含む包括的なアプローチを採用しています。この戦略には以下が含まれます:
手動プロセス: Digitsはチームやプロジェクトに対して明確なGPU使用限界を設定し、過剰使用を防ぎながら公平な割り当てを維持します。さらに、MLエンジニア間のオープンなコミュニケーションを推進し、リソースの意識を高め、競合を緩和します。
自動プロセス: DigitsはGPU使用状況を継続的に監視して警戒を維持し、使用量が定義された閾値を超えた場合にタイムリーなアラートを発行して、問題の早期特定と解決を促進します。キューイングシステムにより、先着順で公平なGPU割り当てが確保されます。
ベストプラクティス: DigitsはMLエンジニアに対し、GPU利用をプロアクティブに計画するよう推奨し、リソースの可用性確保と競合の最小化を図っています。クラウドリソースを活用することで柔軟性がもたらされ、高需要期であっても適切なGPUアクセスが確保されます。GPU利用の透明性を高めることでチームメンバー間の信頼と協力が育まれ、最終的にリソース管理が強化されます。
Digitsにおけるトレーニング実行分析のためのTensorFlow Profiler活用
Digitsでは、TensorFlow Profilerがトレーニング実行分析の中心的な役割を果たし、MLモデルの最適化に役立つ貴重なインサイトを提供しています:
DigitsはTensorFlow Profilerを通じてすべてのトレーニング実行を注意深くログに記録し、経時的なパフォーマンス傾向の追跡を可能にしています。
トレーニング時間、メモリ消費量、精度などの重要なメトリクスが綿密に 追跡され、さまざまなモデルや構成にわたる有意義なパフォーマンス比較を容易にします。
TensorFlow Profilerは、さまざまなトレーニング実行のパフォーマンスを体系的に比較する機能をDigitsに提供し、特定の問題領域に対処するための最も適切なモデルと構成の慎重な選択を支援します。
メリット:
- パフォーマンスの向上: TensorFlow Profilerはパフォーマンスのボトルネックを特定して対処し、トレーニング速度と精度の著しい向上をもたらします。
- コスト削減: トレーニングパフォーマンスの向上により、DigitsのMLモデルトレーニング全体のコストが削減されます。
- 透明性の向上: TensorFlow Profilerが提供する詳細なパフォーマンスインサイトにより、DigitsのMLモデルトレーニングに対する理解が深まり、潜在的な問題を早期に特定するのに役立ちます。
類似性ベースのMLパイプラインにおける検証セットの最適化
類似性ベースのMLパイプライン用に検証セットを作成する際は、以下の主要な要因を考慮してください:
- 目的: モデルの目的、つまりデータポイント間の類似性を構成するものは何かを定義します。この目的が明確になれば、既知の類似例および非類似例を検証セットに配置できます。
- コンテキスト: 検証セットは、モデルの現実世界でのアプリケーションを反映する必要があります。例えば、モデルが顧客に商品を推奨する場合、顧客がよく一緒に購入するアイテムを含める必要があります。
- サイズ: バランスを取ることが重要です。検証セットは統計的に有意でありながら、管理可能なサイズである必要があります。一般的な目安としては、トレーニングセットのサイズの少なくとも10%に設定することです。
- 多様性: モデルの堅牢性を高めるために、検証セットに多様なデータポイントが含まれるようにします。
- 担当者の影響: 担当者の数が多すぎると、検証セットが特定の業界に偏る可能性があります。これを緩和するために、さまざまな業種や業界からの例を組み込みます。
類似性ベースのMLパイプラインの課題と最適化
類似性ベースのMLパイプラインには、従来のMLパイプラインと比較して、いくつかのユニークな課題と最適化が存在します。
課題:
- 損失関数の選択: 類似性ベースのMLモデルに使用できる損失関数は多岐にわたります。モデルの精度と信頼性を確保するには、適切な損失関数を選択することが重要です。
- トレーニングデータの構造化: トレーニングデータの構造化方法は、選択した損失関数によって異なります。効率的かつ効果的な方法でトレーニングデータを構造化することが重要です。
- パフォーマンスの最適化: 類似性ベースのMLモデルは、トレーニングの計算コストが高くなる可能性があります。パフォーマンスのためにトレーニングプロセスを最適化することが重要です。
最適化:
- GPUの使用: GPUを使用することで、類似性ベースのMLモデルのトレーニングを大幅に高速化できます。
- モデルのプロファイリング: トレーニング中にモデルをプロファイリングすることで、ボトルネックやトレーニングプロセスを改善できる領域を特定しやすくなります。
- データの前処理: データを前処理することで、モデルのパフォーマンスが向上し、トレーニング時間が短縮されます。
- 入力トークンの削減: 言語モデルを使用している場合、入力トークンの数を減らすことで、モデルのパフォーマンスが向上し、トレーニング時間が短縮されます。
Digitsにおける類似性ベースMLパイプラインでのTensorFlow ExtendedとVertex AI Pipelinesの活用
Digitsは、類似性ベースのMLパイプラインにTensorFlow Extended (TFX) とVertex AI Pipelinesを使用しています。TFXはGoogleが開発した、MLパイプラインの構築、デプロイ、管理のためのオープンソースの端から端まで(End-to-End)のプラットフォームです。Vertex AI Pipelinesは、MLパイプラインを管理するためのフルマネージドクラウドサービスです。
TFXは、類似性ベースのMLパイプラインの構築に役立つ多数のコンポーネントを提供しています。これには以下が含まれます:
- TFX Data Validation: トレーニングデータの品質と一貫性を検証します。
- TFX Transform: 欠損値の処理、データ型の変換、特徴量のスケーリングなど、トレーニングデータを前処理します。
- TFX Model Analysis: ホールドアウトされた検証セット上で、トレーニング済みモデルのパフォーマンスを評価します。
- TFX Serving: トレーニング済みモデルを本番環境にデプロイします。
Vertex AI Pipelinesを使用すると、大規模なTFXパイプラインの実行と管理が容易になります。Vertex AI Pipelinesは、類似性ベースのMLパイプラインに役立つ多くの機能を提供しています。これには以下が含まれます:
- 自動スケーリング: Vertex AI Pipelinesは、需要に基づいてパイプラインの実行に使用されるリソースを自動的にスケーリングできます。
- 監視とアラート: Vertex AI Pipelinesは、パイプラインの問題を特定して解決するのに役立つ監視機能とアラート機能を提供します。
- バージョン管理: Vertex AI Pipelinesは、パイプラインの変更を追跡および管理しやすくするバージョン管理機能を提供します。
モデルレジストリとしてのVertex Endpointsとプロダクション化のためのTF Servingの活用
Digitsは、モデルレジストリにVertex Endpointsを、プロダクション化にTF Servingを使用しています。
Vertex Endpointsは、機械学習モデルのデプロイと管理を行うためのフルマネージドクラウドサービスです。モデルレジストリとしての優位性をもたらす多くの機能を提供しています。これには以下が含まれます:
- 一元管理: Vertex Endpointsは、モデルを保存および管理するための中央の場所を提供します。
- バージョン管理: Vertex Endpointsは、モデルへの変更を追跡および管理しやすくするバージョン管理機能を提供します。
- アクセス制御: Vertex Endpointsは、誰がモデルにアクセスしてデプロイできるかを制御しやすくするアクセス制御機能を提供します。
TF Servingは、高性能でプロダクション対応のTensorFlowサービングシステムです。プロダクション化に適した多くの機能を提供しています。これには以下が含まれます:
- 高いパフォーマンス: TF Servingは、高スループットかつ低レイテンシでモデルを提供できます。
- スケーラビリティ: TF Servingは、大量のリクエストを処理できるようにスケールできます。
- 信頼性: TF Servingは、高い信頼性とプロダクションレベルの運用に耐えうるよう設計されています。
DigitsはCI/CDを使用して、Vertex Endpointsへのモデルのデプロイを自動化しています。モデルがモデルレジストリに登録されると、CI/CDシステムがトリガーされます。その後、CI/CDシステムはTF Servingモデルをビルドし、Vertex Endpointにデプロイします。
メリット:
プロダクション化にVertex EndpointsとCI/CDを使用することには、多くのメリットがあります:
- スケーラビリティ: Vertex Endpointsは、モデルのサービングに使用されるリソースを自動的にスケーリングできるため、大量のリクエストの処理が容易になります。
- 信頼性: Vertex Endpointsは、信頼性が高く本番環境に対応できるように設計されています。
- 自動化: CI/CDによってモデルのデプロイが自動化されるため、ヒューマンエラーのリスクが低減し、頻繁なモデルのデプロイが容易になります。
Digitsがモデルの再トレーニングの必要性を自動検知する仕組み
Digitsは、複数の手法を組み合わせて、モデルの再トレーニングが必要な時期を自動的に検出しています:
- モデル予測の監視: Digitsは本番環境におけるモデルの予測を監視します。予測が不正確になり始めた場合、それはモデルを再トレーニングする必要があるサインかもしれません。
- モデルパフォーマンスメトリクスの追跡: Digitsは、精度(accuracy)、適合率(precision)、再現率(recall)などの多数のモデルパフォーマンスメトリクスを追跡します。これらのメトリクスが低下し始めた場合、モデルの再トレーニングが必要である可能性があります。
- データスニペットの検証: Digitsは、本番環境からのデータスニペットを定期的に検証します。これにより、発生している可能性のあるデータドリフトを特定できます。データドリフトが検出された場合、モデルを再トレーニングするタイミングであると考えられます。
- モデル出力のレビュー: Digitsには、従業員がモデルの出力をレビューできる内部レビュープラットフォームがあります。これにより、モデルが正確な予測を行っていない事例を特定できます。そのような事例が特定された場合、モデルの再トレーニングが必要なサインとなります。
Digitsは、モデルの再トレーニングが必要であることを検出すると、CI/CDを使用して再トレーニングとデプロイのプロセスを自動化します。CI/CDシステムは、最新のトレーニングデータを使用して新しいTF Servingモデルを構築し、それをVertex Endpointにデプロイします。
例:
以下は、Digitsの自動モデル再トレーニングプロセスの仕組みの例です:
- 本番環境内のモデルが不正確な予測を行います。
- Digitsの監視システムが不正確な予測を検出し、CI/CDシステムに通知を送信します。
- CI/CDシステムが新しいトレーニングジョブをトリガーします。
- トレーニングジョブは、最新のトレーニングデータを使用して新しいモデルをトレーニングします。
- CI/CDシステムは、新しいモデルをVertex Endpointにデプロイします。
- 新しいモデルが本番環境での予測に使用されるようになります。
MLエンジニアとデザイナーのコラボレーションの重要性
機械学習(ML)エンジニアとデザイナーは孤立して(サイロ化して)作業することが多く、これがMLモデルを本番環境に導入する際の障害となることがあります。MLエンジニアは高精度であってもユーザーフレンドリーではないモデルを開発する可能性があり、一方でデザイナーは視覚的に魅力的であってもモデルの予測に関するフィードバックを収集できないインターフェースを作成してしまう可能性があります。
これらの課題に対処するには、MLエンジニアとデザイナーが密接に連携することが重要です。これは次のような方法で実現できます:
- プロダクト要件での共同作業: MLエンジニアとデザイナーは、MLモデルのプロダクト要件を定義するために共同で作業する必要があります。これにより、ユーザーのニーズを満たすモデルが開発され、インターフェースの設計がモデルと互換性を持つようになります。
- フィードバックの共有: MLエンジニアとデザイナーは、定期的に相互にフィードバックを共有する必要があります。これにより、モデルやインターフェースの潜在的な問題を早期に特定できます。
- フィードバックループの作成: MLエンジニアとデザイナーは、モデルのパフォーマンスやインターフェースの使いやすさに関するユーザーからのフィードバックを収集するためのフィードバックループを作成する必要があります。このフィードバックを使用して、時間とともにモデルとインターフェースを改善していくことができます。
MLプラットフォーム構築のためのアドバイス
- 効率性: 独自データや高度なプライバシー・セキュリティを必要とするアプリケーションなど、特定の用途に向けた効率的なMLOpsパイプラインの構築に集中します。
- APIファースト: 汎用的なタスクには、OpenAI、Anthropic、Bardなどのプロバイダーが提供する学習済みモデルの活用を検討します。
- コンサルティング: これらのAPIの活用方法や、ドメイン特有の具体的な問題の解決方法について、他のチームメンバーと相談・アライメントを行うことに重点を置きます。
DigitsにおけるGenerative AI
Generative AIは多くの産業に革命をもたらす可能性を秘めています。DigitsにおけるGenerative AIのユースケースの一部を以下に紹介します:
- 会計士と事業者の間のコミュニケーションの促進: Generative AIを使用して質問や回答の予測を生成することができ、双方の時間と労力を節約できます。
- 大規模言語モデルの社内ホスティング: Digitsは大規模言語モデルをホストするための独自のインフラを保有しており、セキュリティとプライバシーを考慮した方法で運用が可能です。
- Generative AIモデルへのAPIベースアクセスの活用: Generative AIモデルへのAPIベースアクセスと類似性ベースの機械学習を組み合わせることで、絶大なプロダクト体験を提供する可能性があります。
Generative AIにはプライバシーとセキュリティ上の懸念が存在し、これらの懸念に責任ある方法で対処することが重要です。コミュニティ全体として、すべての人にとって安全で有益な方法でGenerative AIを開発・活用する道を見出すことができます。
大規模言語モデルのニーズに対応するため、キャスティングやモデルレジストリのホスティング環境は今後数年間で大きく変化するでしょう。 - Hannes
True ML Talksシリーズの過去のブログを読む:
引き続きTrueML YouTubeシリーズの視聴と、TrueML ブログシリーズの購読をお楽しみください。
TrueFoundryは、Kubernetes上で動作するMLデプロイPaaSです。インフラチームに完全なセキュリティと制御を保証しながら、開発者がモデルのテストやデプロイを柔軟に行えるよう開発ワークフローを加速させます。当社のプラットフォームを通じて、機械学習チームは100%の信頼性と拡張性を持ち、数秒でのロールバック機能を備えたモデルを15分でデプロイおよび監視できるようになり、コスト削減と本番環境へのモデルの迅速なリリースにより、真のビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






