True ML Talks #8 - Intuitにおける機械学習プラットフォーム

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、IntuitのMLプラットフォームNumaflowを深く掘り下げ、Vigith Maurice氏にお話を伺います。
Vigithは、IntuitでAI Opsプラットフォームを担当するプリンシパルエンジニアです。TurboTax、Credit Karma、Mint、QuickBooks、Mailchimpを使ったことがある方ならご存知の通り、Intuitはユーザーが財務的な自信を得られるよう支援するグローバルテクノロジープラットフォームです。
📌
Vigithとの対談では、以下のテーマを取り上げます:
- IntuitにおけるMLのユースケース
- リアルタイム異常検知のためのNUMAアプローチ
- Argo Workflowsに関するインサイト
- KubernetesとNumaflowによるMLモデルのデプロイ
- 再学習システム、NumaflowとFlinkの比較
- IntuitのAIOpsにおけるセキュリティとコンプライアンス対策
- MLOpsとAIOpsの比較
- VigithのKubeConプレゼンテーションのティーザー
フルエピソードは以下からご視聴いただけます:
IntuitにおけるMLのユースケース
運用指向のMLユースケース
IntuitのAIOpsチームは、ビジネスの運用面に焦点を当てた、通常とは異なるMLのユースケースに取り組んでいます。このユースケースは、プラットフォームの問題を迅速に検知して解決し、平均検知時間(MTTD)および平均解決時間(MTTR)を短縮することを目的としています。このユースケースの主な側面は以下の通りです:
- 運用データレイクの構築: Vigithのチームは、ランタイムシステムのすべての層からリアルタイムデータを収集する運用データレイクを構築しました。ここでは、完全に非PII化(個人識別情報排除)された匿名化メトリクスに重点を置いています。
- リアルタイム分析: チームは1分未満のレイテンシでこのデータを分析し、問題の深刻度に基づいてアラートやインシデントの検知・作成を行います。
- 高スループットと低レイテンシ: Vigithのチームが使用するMLアプローチは、従来の顧客指向のMLとは異なります。彼らは、250のKubernetesクラスタと、分析・処理のために毎日挿入される10億件のイベントという大規模なスケールを扱っています。
- 異常イベントの予測: チームのシステムはデータメッシュの原則に従い、システム全体をスキーマ化してスケールでのデータ分析のための統合アプローチを提供します。これにより、リソース、CPU、セキュリティ、その他の領域における異常イベントを予測するのに役立っています。
顧客指向のMLユースケース
Intuitでは、顧客体験の向上に焦点を当てたいくつかのMLユースケースもあります。主な例は以下の通りです:
- 不正検知: MLアルゴリズムを使用して、なりすまし、架空請求、フィッシング詐欺などの不正行為を検知します。
- ドキュメントスキャン: MLモデルを使用してドキュメントをスキャンし、領収書、請求書、税務フォームなどの重要な情報を自動的に抽出します。
- 予測(Forecasting): ML手法を使用して、売上、需要、収益などの将来のトレンドを予測します。
- ドキュメント検索: MLアルゴリズムを使用して検索の精度と関連性を向上させ、顧客が必要なものを探しやすくします。
リアルタイム異常検知のためのスケーラブルなプラットフォーム構築:NUMAアプローチ
リアルタイム異常検知システムは、膨大な量の無制限データストリームを処理する必要があります。従来の機械学習(ML)システムは、ペイロードを処理して予測を生成するリクエスト/レスポンスモデルで動作します。しかし、リアルタイム異常検知システムには、さまざまなデータフォーマットや言語に依存しない操作を処理できる、非同期の有向非巡回グラフ(DAG)ベースのパイプラインが必要です。
Intuitは、NUMA(New, Unique, and Mature Architecture)アプローチを使用した、リアルタイム異常検知のためのスケーラブルなプラットフォームを構築しました。NUMAアプローチは2つの部分で構成されています。検証済みで日常的に使用されているモデル群であるNumalogicと、Numalogicモデルを実行するNUMAflowプラットフォームです。
NUMAflowプラットフォームのDAGベースのパイプラインには、ソース(無制限データストリーム)、頂点(言語に依存しない操作)、シンク(異常スコア出力)が含まれます。パイプラインには、特徴量エンジニアリングのための前処理ステップ、推論ステップ、およびスコアを人間が読める形式に正規化する後処理ステップが含まれています。
このプラットフォームは非常にスケーラブルでコスト効率が高く、負荷計算を使用して必要な処理ユニットの数を決定します。システムは、流入するデータの量に基づいて、処理ユニットをスケールアップしたり、ゼロにスケールダウンしたりできます。プラットフォームは、ノードやポートの移行、オートスケーリング、システム障害に対応できるように設計されています。
全体として、NUMAアプローチとNUMAflowプラットフォームは、リアルタイム異常検知システムに対して非常に効率的で効果的なソリューションを提供します。
📌
AIOpsシステムにおいてゼロまでスケールダウンするためのアーキテクチャ:
AIOpsシステムには、リアルタイムで処理されるデータの量に基づいてリソースを増減する機能が必要です。これを実現するために、スケジューリングロジックとデータ処理ロジックが分離されています。これは、組み込みのオートスケーリングアルゴリズムを持つカスタムKubernetesコントローラーをデプロイすることによって行われます。このアルゴリズムは、頂点の処理速度とメッセージの処理にかかる時間を理解し、この情報を使用してシステムに割り当てられるリソースを自動的に調整できます。
カスタムコントローラーの使用は、ゼロまでスケールダウンできないネイティブのKubernetes Horizontal Pod Autoscaler(HPA)とは異なります。カスタムコントローラーを使用することで、AIOpsシステムはデータを処理していないときにゼロまでスケールダウンできるため、不必要なリソースの無駄遣いを防ぐことができます。
各頂点の独立したスケーリングを有効にするため、システムは2つの頂点間にバッファを使用します。このバッファはデータが効率的に処理されることを保証し、特定の要件に基づいて各頂点を独立してスケーリングできるようにします。AIOpsシステム内の異なるプロセスは異なるリソース要件を持つ場合があり、それらを独立してスケーリングすることがリソース利用の最適化に役立つため、これは重要です。
最も素晴らしい機能の1つはゼロまでスケールダウンできることであり、これは私たちにとって必須です。 - Vigith
オープンソースエコシステムとAIOps:Argo Workflowsに関するインサイト
Argo Workflowsは、機械学習ワークフローを管理するための人気のあるツールとなっており、Intuitはその開発に大きく貢献しています。Argoの成功は、そのオープンソースの性質にあり、世界中のユーザーからのフィードバックや貢献を可能にしています。ソフトウェアをオープンにすることで、コミュニティからアイデアやイノベーションが流れ込み、Intuitはユーザーのフィードバックに基づいてソリューションを改善できています。
Airflowのような他のDAGオーケストレーターと比較すると、Argoは学習タスクに適していますが、バッチ指向です。ユーザーからは、ストリーミングデータを処理できる同等のシステムが求められました。Intuitはこれに応え、ストリーミング指向のシステムであるNumaflowを作成しました。ArgoとNumaflowの2つのシステムを組み合わせることで、リアルタイムデータ処理のための常時オンの推論システムを構築できます。Numaflowにより、同社はArgoシステムを再アーキテクトしてより多くの機能を組み込み、その機能を向上させました。オープンソースアプローチは、Intuitとコミュニティ全体に有益であることが証明されており、AIOpsワークフローを改善するための協調的な取り組みを可能にしています。
Argo Workflowsの詳細については、こちらをご覧ください:
KubernetesとNumaflowによるMLモデルのデプロイ
KubernetesとNumaflowを使用した機械学習(ML)モデルのデプロイは、特にレイテンシとトラフィックパターンが大きく異なることを考慮すると、困難なタスクになる可能性があります。Intuitは、運用AIOpsプラットフォームで独自のマビング・サービングシステムを使用しています。データを受信したときの推論プロセスは、Protobufからデータへの変換か推論かに関わらず、他のユーザー定義関数(UDF)と同様です。Numaflowはさまざまな言語用のSDKを提供していますが、Pythonは高スループット時の動作においてマルチプロセスおよび手続き型Pythonが必要となるため、サポートが最も複雑です。他の言語ではこれは問題になりません。
ハンドラー関数を作成するには、ユーザーはNumaflowから提供されたメッセージを処理する方法を指定する関数を書くだけです。この関数はメッセージを受け取り、それぞれ入力と出力として機能するフラットマップを返します。関数のシグネチャは、タスクに関係なく、任意の頂点に適用されます。
モデルに関しては、問題提起に基づいて取得され、キャッシュされます。メッセージを受信、処理し、推論として返されたものが次の頂点にプッシュされます。ユースケースに応じて、モデルはさまざまな方法で保存できます。高スループットで高度に分散されたアーキテクチャの場合、キーが使用されます。集中型アーキテクチャの場合、DynamoDBからS3への参照が配置されます。一般的に、目標はMLエンジニアのためのプロセスを簡素化することであり、残りの部分は抽象化されているため、エンジニアはクラス名を変更するだけで済みます。
プラットフォームはRESTの代わりにgRPCを使用し、問題提起に応じて技術の組み合わせを使用してモデルのライフサイクルを管理します。MLflowが適している場合はライフサイクルの管理に使用され、MLflowが選択肢とならないより分散されたアーキテクチャには他の技術が使用されます。MLエンジニアにとっての重要なポイントは、入出力を受け取るハンドラー関数を記述し、残りの処理はシステムに任せることです。
Numaflowの詳細については、こちらをご覧ください:
再学習システム、NumaflowとFlinkの比較
Numaflowで使用される再学習システムは、ユースケースによって異なります。秒間20リクエストが発生するような複雑なケースでは、Numaflowはデータを取得してモデルストアを更新するためのマルチステップを備えた本格的なArgoワークフローをデプロイします。より軽量なシステムの場合、Numaflowは目的の結果を達成するための関数を実行するユーザー定義関数(UDF)を使用します。
NumaflowとFlinkの違い
- 処理速度: Numaflowはメッセージの処理速度をレイテンシから切り離すことを優先しますが、Flinkは低レイテンシでの高スループットに重点を置いているため、大量のデータ処理に適しています。
このスループットの違いは、Numaflowが重い数値計算や入出力(I/O)集中的なアクティビティ向けに設計されているのに対し、Flinkは高スループットのデータ処理に適しているという事実によるものです。 - データシリアル化フォーマット: Flinkは独自のマシン効率が高く明確に定義されたシリアル化フォーマットを使用しますが、Numaflowはブラックボックスアプローチを使用するため、効率的なメッセージの保存と取得のためのハッシュコードやequalsを定義するのが困難です。
Apache Flinkの詳細については、こちらをご覧ください:
IntuitのAIOpsにおけるセキュリティとコンプライアンス対策
- Intuitには、アプリケーションレベルの暗号化アルゴリズムを含む厳格なセキュリティ対策が導入されています。
- IntuitのAIOpsシステムは完全な区画化アプローチに従っており、各ネームスペースは分離され、保存データおよび転送中データに対してTLSで暗号化されています。
- IntuitのAIOpsチームは、メトリクスエンドポイントを含むすべての層でデータを暗号化するために、CNCFの下のオープンソースプロジェクトであるArgoのセキュリティ原則に従っています。
- 顧客データを扱うIntuitのAIOpsシステムには、さらに厳しいセキュリティ制約があり、適切に監査および管理されたデータはユーザー自身もアクセスできません。このため、運用データは顧客データから分離されていますが、セキュリティ対策は依然として講じられています。
MLOps vs AIOps
Machine Learning Operations(MLOps)とArtificial Intelligence Operations(AIOps)は、同じ意味で使われることが多い2つの用語ですが、実際には異なる原則とプロセスを持っています。
MLOpsは主にモデルのライフサイクル管理に重点を置いていますが、AIOpsは運用ドメインにより焦点を当てています。
AIOpsでは、通常、運用データを扱うように設計されたHyperLogLogやレイテンシベースのスケッチなどのテクノロジーを使用します。これらのテクノロジーの誤差率は約0.89%であり、近似値が許容されます。また、平均解決時間(MTTR)を短縮することを目的として、問題を検知・孤立(特定)するために統計的有意性に依存しています。
対照的に、MLOpsはMLflowやその他のヒューリスティクスなどの異なるテクノロジーを活用して、モデルのライフサイクルを管理します。Intuitでは、モデルのライフサイクルを最適化するために特徴量管理などのパターンも開発されています。MLOpsにおける彼らの目標は、学習からデプロイ、モニタリング、最適化まで、モデルのライフサイクル全体を管理することです。
VigithのKubeConプレゼンテーションのティーザー:異常検知による顧客中心のAIOps
VigithによるKubeConでの今後のプレゼンテーションは、顧客中心のAIOpsと異常検知に焦点を当てています。重点はシステムではなく顧客の体験に基づいてアラートを発信することにあります。これは、トレーシングデータに基づいて複雑な依存関係グラフを構築し、単に異常を検知するだけでなく孤立(特定)させることを意味します。
このプラットフォームは、次元とメトリクスのコレクションを使用して、時系列データに対して複合キーによる異常検知を実行し、非常に特定されたレベルで異常をピンポイントで特定できます。このプロジェクトの目的は、異常検知のための汎用的なソリューションを提供し、「DIY(セルフサービス)異常検知」システムにすることです。
Vigithのプレゼンテーションでは、プラットフォームの機能を紹介し、IntuitのAIOpsでどのように成功裏に実装されたかをデモンストレーションします。顧客中心のAIOpsと異常検知における最新の進歩について学ぶこの機会をお見逃しなく。
TrueMLシリーズの過去の記事を読む
引き続きTrueML YouTubeシリーズの視聴と、TrueML ブログシリーズをお楽しみください。
TrueFoundryは、Kubernetes上のMLデプロイPaaSであり、インフラチームに完全なセキュリティと制御を保証しながら、開発者がモデルのテストとデプロイにおいて完全な柔軟性を持てるようにし、ワークフローをスピードアップします。当社のプラットフォームを通じて、機械学習チームが100%の信頼性、拡張性、数秒でのロールバック機能をもって15分でモデルをデプロイおよび監視できるようにし、コストを削減し、モデルをより迅速に本番環境にリリースして、真のビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






