TrueML #22 - Voiceflowにおける機械学習プラットフォームとLLM

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、VoiceflowのML PlatformやLLMについて詳しく掘り下げ、Denys Linkov氏にお話を伺います。
DenysはVoiceflowの機械学習チームを率いています。彼は創業時のMLエンジニアとして入社しました。それ以前は、グローバルバンクのシニアクラウドアーキテクトとしてデータシステム、MLOps、コアインフラストラクチャに従事していました。
📌
Denysとの会話では、以下のテーマを取り上げます:
- Voiceflowにおける機械学習
- VoiceflowのMLOpsの歩み
- コンテキストスイッチの削減と効率向上のためのモデルデプロイと可観測性の自動化
- リアルタイム推論パイプライン:メリットと課題
- VoiceflowのジェネラティブAIへのアプローチ
エピソード本編はこちらからご視聴いただけます:
Machine Learning @ Voiceflow
Voiceflowは、企業が会話型AIアプリケーションを構築・デプロイできるようにするノーコードプラットフォームです。以下のような幅広い業界向けに、チャットボット、バーチャルアシスタント、その他の会話型インターフェースを作成するために使用できます:
- Eコマース
- 不動産
- 銀行・金融
- 自動車
- 公共事業
- 政府・自治体
VoiceflowのNLUモデルは、さまざまなソースからのテキストとコードで構成される大規模なデータセットで訓練されているため、幅広い業界をカバーすることができます。これにより、Voiceflowは業界を問わず、多様な自然言語クエリを理解し、応答することができます。
例えば: Eコマース企業はVoiceflowのチャットボットを使用して、カスタマーの製品検索、製品に関する質問への回答、注文の受付を支援できます。また、不動産会社はVoiceflowのチャットボットを使用して、見込み客の物件探し、エージェントとの予約のスケジュール設定、住宅購入プロセスに関する情報の提供を支援できます。
これらのすべての業界をカバーできるNLUモデルを構築する際の課題の1つは、業界ごとに独自の言語や専門用語が存在することです。しかし、VoiceflowのNLUモデルは、異なる業界からのより多くのデータに触れることで、これらの違いを時間とともに学習することができます。
VoiceflowのMLOpsの歩み:会話型AI向け機械学習モデルの構築とデプロイ
Voiceflowが最初に対面した課題の1つは、自社でモデルを構築するか、外部のモデルを使用するかを決定することでした。Voiceflowは両方の選択肢を検討することにし、いくつかの概念実証(PoC)を構築しました。Voiceflowが最初に構築した機能は発話生成(utterance generation)であり、これは機械学習を使用して、ユーザーが独自のデータモデルを充実させるために追加する必要があるサンプルを生成するものです。
発話生成モデルをプロダクション環境にデプロイするために、VoiceflowはMLOpsプラットフォームを構築しました。プラットフォームの目標は、複数の実験を迅速にプロダクション環境にデプロイし、環境を管理できるようにすることでした。
発話生成モデルは、より高度な生成モデルであるChatGPTのリリースによって最初に廃止された機能となりました。この経験から、Voiceflowは柔軟性を持ち、顧客体験にとって最善の選択に集中するために、必要に応じて自社の開発物を破棄することも辞さない姿勢の重要性を学びました。
Voiceflowはまた、指示チューニング(instruction-tuned)されたGPTベースのモデルの登場以来、会話型AIの分野で起こった巨大なシフトについても言及しています。Voiceflowは、当時にGPT-3の採用を検討しなかったことは戦略的なミスであったと認めていますが、分野が進化するにつれて適応力を持ち、アプローチを変更することの大切さも学びました。
Voiceflow NLUの作成に関するブログ記事もあわせてお読みいただけます:
コンテキストスイッチの削減と効率向上のためのモデルデプロイと可観測性の自動化
従来の機械学習開発プロセスでは、データサイエンティストがJupyter Notebookでモデルをトレーニングし、それを機械学習エンジニアやバックエンドエンジニアに引き渡して本番環境にデプロイしていました。エンジニアがモデルを正常にデプロイするためにモデルとデータを理解する必要があるため、これによりコンテキストスイッチや遅延が発生する可能性があります。
モデルデプロイと可観測性の自動化
この課題に対処する1つの方法は、モデルデプロイと可観測性を自動化することです。これは、データサイエンティストが他のエンジニアを巻き込むことなく、本番環境でモデルをデプロイおよび監視できる一連のツールとプロセスを作成することで実現できます。
この一例として、モデルデプロイと可観測性のためのマネージドサービスを提供するクラウドベースのプラットフォームの使用が挙げられます。これらのプラットフォームは、以下のような多様な機能を提供します:
- 自動モデルデプロイとスケーリング
- リアルタイムのモデルモニタリング
- ドリフト検知とアラート
- モデルのバージョニングとロールバック
独自のカスタムツールとプロセスの開発
モデルデプロイと可観測性を自動化するためのもう1つのアプローチは、独自のカスタムツールとプロセスを開発することです。これにより柔軟性とコントロールが高まりますが、より多くの投資が必要となります。
以下は、ある企業がこのアプローチを使用してモデルデプロイと可観測性を自動化した具体例です:
- モデルのデプロイと監視に必要なすべてのサービスを備えたクラウド環境を起動する一連の自動化スクリプトを作成。
- クラウド環境に新しいモデルを簡単にデプロイできるCLIツールを開発。
- CLIツールは、モデルをデプロイするために必要なすべてのフォルダとTerraformファイルを自動的に作成。
- CLIツールは、モデルをデプロイする環境も指定。
この自動化により、会社のデータサイエンティストは他のエンジニアを関与させることなく、本番環境でモデルをデプロイおよび監視できるようになりました。
独自のカスタムツールやプロセスを開発する際の課題
モデルのデプロイと可観測性のための独自のカスタムツールやプロセスを開発する際には、留意すべきいくつかの課題もあります:
- 複雑さ: 独自のカスタムツールやプロセスを開発することは、複雑で時間がかかる場合があります。
- デバッグ: 特にデータサイエンティストが構築されたパイプラインを完全に把握していない場合、問題が発生したときのデバッグが困難になることがあります。
- メンテナンス: カスタムツールやプロセスには、継続的なメンテナンスとサポートが必要です。
課題を緩和する方法
モデルのデプロイと可観測性のための独自のカスタムツールやプロセスを開発する際の課題を軽減するために、いくつかの対策を講じることができます:
- スモールスタート: まず、即時のニーズを満たす基本的なツールとプロセスのセットの開発から始めます。その後、時間をかけて機能を追加していくことができます。
- オープンソースツールとライブラリの活用: 独自のカスタムツールやプロセスを開発するのに役立つオープンソースツールやライブラリが多数利用可能です。これらのツールやライブラリを使用することで、必要な開発量を減らすことができます。
- ツールとプロセスのドキュメント化: データサイエンティストやその他のエンジニアが簡単に理解して使用できるように、ツールとプロセスを徹底的にドキュメント化します。
- トレーニングとサポートの提供: データサイエンティストやその他のエンジニアに対して、カスタムツールやプロセスの使用方法に関するトレーニングとサポートを提供します。
リアルタイム推論パイプライン:メリットと課題
リアルタイム推論パイプラインには、以下のような多くの利点があります:
- 低レイテンシ: リアルタイム推論パイプラインは、最小限の遅延でユーザーに予測結果を提供できます。
- 高い拡張性: リアルタイム推論パイプラインは、需要に応じてスケールアップまたはスケールダウンできるため、大容量アプリケーションに最適です。
- 柔軟性の向上: リアルタイム推論パイプラインは、分類、回帰、物体検出など、さまざまな機械学習モデルの実装に使用できます。
しかし、リアルタイム推論パイプラインには以下のような課題もあります:
- 複雑さの増大: リアルタイム推論パイプラインの設計と実装は複雑になる可能性があり、機械学習、分散システム、インフラに関する専門知識が必要です。
- コストの増加: より強力なハードウェアとインフラが必要となるため、リアルタイム推論パイプラインはバッチ推論パイプラインよりも運用コストが高くなる可能性があります。
- エラーリスクの増大: リアルタイムでデータを処理し予測を生成する必要があるため、リアルタイム推論パイプラインはバッチ推論パイプラインよりもエラーが発生しやすくなります。
リアルタイム機械学習パイプラインにおけるオートスケーリング
リアルタイム機械学習パイプラインの構築とデプロイにおける課題の1つは、トラフィックの変化に対応してシステムをどのようにオートスケールするかです。トラフィックパターンの予測可能性、モデルのレイテンシ要件、オートスケーリングアルゴリズムの複雑さなど、考慮すべき要素は多数あります。
リアルタイム機械学習パイプラインをオートスケールする1つのアプローチは、キューイングシステムを使用することです。これにより、プロデューサー(推論リクエストを生成)とコンシューマー(推論リクエストを処理)を分離することができます。これにより、システムをどのようにスケーリングするかについて、より大きな柔軟性が得られます。
キューベースのシステムをオートスケールするには、キュー内のメッセージ数、リクエストの平均レイテンシ、ワーカーのCPU使用率など、さまざまなメトリクスを使用できます。これらのメトリクスの組み合わせを使用することも可能です。
システムのオーバースケーリングやアンダースケーリングを防ぐために、オートスケーリングアルゴリズムを慎重にチューニングすることが重要です。オーバースケーリングはリソースの無駄につながり、アンダースケーリングはパフォーマンス上の問題を引き起こす可能性があります。
リアルタイム推論用のキューベースのシステムをオートスケールするための追加の考察事項:
- クラウドベースのプラットフォームを使用する: クラウドベースのプラットフォームを使用すると、トラフィックパターンの変化に合わせてシステムを簡単にオートスケールできます。たとえば、クラウドベースのロードバランサーを使用してポッド間でトラフィックを分散し、必要に応じてポッドの数を増減できます。
- オートスケーリングをサポートするキューイングシステムを使用する: 一部のキューイングシステムはオートスケーリングをサポートしており、キュー内のメッセージ数に基づいてワーカーの数を自動的にスケールアップまたはスケールダウンできます。これにより、手動による介入なしにシステムがトラフィックのスパイクを処理できるようになります。
- システムをモニタリングする: オートスケーリングに伴う問題を特定するために、システムを注意深くモニタリングすることが重要です。たとえば、スケーリングをトリガーするしきい値を調整する必要がある場合や、システム内の特定のボトルネックを特定して対処する必要がある場合があります。
レイテンシに厳しいリアルタイムシステム向けのモデルサーバー
レイテンシの制限が厳しいアプリケーション向けにモデルサーバーを選択することは、多くの理由から困難です。まず、利用可能なモデルサーバーが多数あり、それぞれに強みと弱みがあります。第二に、レイテンシに厳しいアプリケーションの要件は、特定のアプリケーションや使用されるモデルの種類によって大きく異なる可能性があります。最後に、モデルサーバーがプロダクション環境でどのようにパフォーマンスを発揮するかを予測することはしばしば困難です。
考慮すべき要素
レイテンシに厳しいアプリケーション用のモデルサーバーを選択する際には、以下の要素を考慮することが重要です:
- モデルのレイテンシ: モデルサーバーのレイテンシは、アプリケーションの要件を満たすのに十分低い必要があります。
- スケーラビリティ: モデルサーバーは、アプリケーションのトラフィック要求を満たすためにスケールできる必要があります。
- 柔軟性: モデルサーバーは、さまざまなフレームワークやハードウェアプラットフォームなど、アプリケーションの特定のニーズをサポートするのに十分柔軟である必要があります。
- 使いやすさ: モデルサーバーは、使いやすく管理しやすいものである必要があります。
- ベンチマーク: 特定のニーズに対してどれが最も優れたパフォーマンスを発揮するかを確認するために、さまざまなモデルサーバーをベンチマークすることが重要です。
- サポート: モデルサーバーで利用可能なサポートのレベルを考慮してください。
- コミュニティ: モデルサーバーを取り巻くコミュニティの規模とアクティビティを考慮してください。
💡
VoiceflowのMLプラットフォームに関するその他のインサイト:
Voiceflowは、エンタープライズ顧客によって要件が異なるため、AWSとGCPの組み合わせを使用しています。彼らがインフラを構築していた時点でこれらの機能がリリースされたばかりだったため、KarpenterやAutopilotの使用はまだ検討していません。また、多くのワークロードでT4 GPUを使用する必要がありますが、これはAutopilotには最適ではありません。全体として、彼らは現在エンジニアリング時間を優先しており、スケールアップに伴い、最終的にはより高度なインフラソリューションに移行する予定です。
VoiceflowのジェネラティブAIへのアプローチ
Voiceflowは、オープンソースのジェネラティブAIに対して慎重なアプローチを取っています。彼らはこれらのモデルの潜在的なメリットを認識していますが、それに伴う課題も認識しています。彼らはユーザーに最高の体験を提供することに尽力しており、ビジネスにとって適切なタイミングが来たらオープンソースモデルに切り替える予定です。
オープンソースのジェネラティブAIの課題
オープンソースのジェネラティブAIには、いくつかの課題が関連しています:
- 急速な進化: オープンソースのジェネラティブAIモデルは急速に進化しているため、最新の最適化についていくことが困難な場合があります。
- コスト: オープンソースのジェネラティブAIモデルは、トレーニングおよびデプロイにおける計算コストが高くなる可能性があります。
- サポート: オープンソースのジェネラティブAIモデルは、商用モデルと同じレベルのサポートを受けられない可能性があります。
オープンソースのジェネラティブAIのメリット
課題があるにもかかわらず、オープンソースのジェネラティブAIモデルには多くのメリットもあります:
- 透明性: オープンソースのジェネラティブAIモデルは商用モデルよりも透明性が高いため、ユーザーはその仕組みをより良く理解し、結果を信頼することができます。
- 再現性: オープンソースのジェネラティブAIモデルは商用モデルよりも再現性が高いため、ユーザーは実験結果を再現し、他のユーザーと作業を共有できます。
- カスタマイズ性: オープンソースのジェネラティブAIモデルは、特定のニーズに合わせてカスタマイズおよび拡張できます。
レイテンシのハンドリング
RAG(Retrieval Augmented Generation)システムのモデルを選択する際、レイテンシは非常に重要な要素です。最も優れたアプローチは、ユーザーに利用するモデルの選択肢を提供し、さまざまなタスクで何を使用すべきかについての教育を提供することです。
たとえば、レイテンシが最も重要な要素である場合、インテント発話と静的応答を備えたNLUベースのアプローチを使用することをお勧めします。NLUモデルは通常、生成モデルよりも大幅に高速であり、静的応答は非常に低いレイテンシで配信できます。
ユーザーがより高い精度や優れたフォーマットを必要とする場合は、GPT-4のような生成モデルを使用することをお勧めします。生成モデルはNLUモデルよりも強力で、より自然で魅力的なテキストを生成できます。ただし、生成モデルはNLUモデルよりも大幅に低速であることにも注意が必要です。
レイテンシを短縮するもう1つの方法は、分散アーキテクチャを使用することです。分散アーキテクチャでは、検索と生成のタスクが別々のサーバーで実行されます。これにより、システムは最も要求の厳しいアプリケーションのニーズを満たすようにスケールできます。
高性能なRetrieval Augmented Generationシステムの構築
Retrieval augmented generation(RAG)システムは、検索モデルと生成モデルの強みを組み合わせた、テキスト生成に対する強力な新しいアプローチです。RAGシステムは、まずナレッジベースから関連する文章を検索し、次に生成モデルを使用して検索された文章に基づいてテキストを生成することによって機能します。
RAGシステムは、質問応答、要約、クリエイティブライティングなど、さまざまなタスクに使用できます。ただし、高性能なRAGシステムを構築することは容易ではありません。
このブログ投稿では、RAGシステムを構築する際に考慮すべきいくつかの重要な要素について説明します:
- モデルの選択: 利用可能な多様な検索モデルおよび生成モデルが存在します。特定のニーズに適したモデルを選択することが重要です。たとえば、特定の言語でテキストを生成する必要がある場合は、その言語のテキストでトレーニングされたモデルを選択する必要があります。
- データの選択: システムのトレーニングに使用するデータの質は、そのパフォーマンスに大きな影響を与えます。ターゲットタスクに関連し、エラーのないデータを選択することが重要です。
- ハードウェアの選択: 使用するハードウェアも、システムのパフォーマンスに大きな影響を与えます。たとえば、GPUを使用すると、検索タスクと生成タスクを大幅に高速化できます。
- システムアーキテクチャ: RAGシステムは、さまざまな方法で実装できます。特定のニーズに適したシステムアーキテクチャを選択することが重要です。たとえば、プロダクション環境にシステムをデプロイする必要がある場合は、拡張性と信頼性を備えたアーキテクチャを選択する必要があります。
上記の要素に加えて、RAGシステムは複雑であり、汎用化が難しい場合があることも念頭に置くことが重要です。すべてのユーザーのドメインとユースケースは異なるため、ユーザーが独自のプロンプト、処理、チャンキング戦略をテストできるようにすることが重要です。これにより、ユーザーは独自のニーズに合わせてシステムをカスタマイズできるようになります。
TrueFoundry上にRAGアーキテクチャをデプロイする方法の詳細については、こちらをご覧ください:
Generative AIへの移行:課題と機会
従来の手段でNLPベースのソリューションを構築してきた企業は、現在、Generative AIへの移行という課題に直面しています。GPT-4やLaMDAなどのGenerative AIモデルは、テキストの生成、言語の翻訳、包括的で有益な方法での質問への回答など、伝統的な手法に比べて多くの利点を提供します。しかし、Generative AIへの移行には多くの課題も伴います。
1つの課題は、Generative AIモデルがまだ開発途中であり、利用コストが高くなる可能性があることです。さらに、プロンプティングの概念はまだかなり曖昧で困難です。企業は、Generative AIモデルを最大限に活用するために、効果的なプロンプティング手法を開発できるようにする必要があります。
もう1つの課題は、Generative AIモデルを既存のインフラストラクチャに統合することです。企業は、自社のシステムがGenerative AIモデルの増加する負荷と複雑さを処理できることを確認する必要があります。
課題はあるものの、Generative AIへの移行には多くの機会も存在します。Generative AIモデルは、企業が製品やサービスの品質を向上させ、タスクを自動化し、新しい製品やサービスを創造するのに役立ちます。
Generative AIへ移行する企業向けのヒントをいくつか紹介します:
- ニーズの評価から始める。 Generative AIモデルに実行させたい特定のタスクは何ですか?予算の制約はどのようなものですか?ニーズを十分に理解したら、ユースケースに適したGenerative AIモデルの特定を開始できます。
- さまざまなモデルとテクニックを実験する。 Generative AIへの移行に万能なアプローチはありません。企業は、自社に最適なものを見つけるために、さまざまなモデルや手法を試す必要があります。
- Generative AIモデルを既存のインフラに統合する。 企業は、自社のシステムがGenerative AIモデルの増加する負荷と複雑さに対応できることを確認する必要があります。これには、インフラストラクチャのスケールアップやソフトウェアの変更が必要になる場合があります。
- スタッフをトレーニングする。 Generative AIモデルは強力なツールですが、使用が複雑になる場合もあります。企業は、Generative AIモデルを効果的に使用する方法についてスタッフをトレーニングする必要があります。
Generative AIへの移行は課題となる可能性がありますが、企業にとっては製品やサービスを改善し、新しいプロダクトを創造する機会でもあります。上記のヒントに従うことで、企業はGenerative AIへの移行をできる限りスムーズかつ成功させることができます。
TrueMLシリーズの過去のブログを読む
TrueML youtubeシリーズの視聴と、TrueML ブログシリーズの定期チェックをぜひお続けください。
TrueFoundryは、Kubernetes上のMLデプロイPaasであり、開発者のワークフローを高速化しながら、インフラチームの完全なセキュリティと制御を担保しつつ、モデルのテストとデプロイにおける完全な柔軟性を提供します。当社のプラットフォームを通じて、機械学習チームは100%の信頼性と拡張性、および数秒でのロールバック機能をもって、15分でモデルをデプロイおよび監視できるようになり、コスト削減と本番環境へのモデルの迅速なリリースを実現し、真のビジネス価値の創出を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






