TrueML Talks #25 - TwilioにおけるGTM（Go-To-Market）向け生成AIとLLMOps

True ML Talksの新しいエピソードをお届けします。今回は、GitLabにおけるMLOpsとLLMアプリケーションについて再び深く掘り下げ、お話しいただくのは プルスヴィ・シェティ氏です。

 プルスヴィ氏は、 Twilioのスタッフデータサイエンティストです。それ以前は、SAPでMLを主導し、Anywhere REに買収されたZapLabsというスタートアップでもMLを率いていました。Twilioでは、プルスヴィ氏がTwilioのGen AIの取り組みを主導しており、本日はその内容を深く掘り下げていきます。 

📌

プルスヴィ氏との対談では、以下の点について取り上げます。
- GTMにおけるMLおよびGenAIのアプリケーションとユースケース
- XGPT: TwilioのGTMチームのための強力なツール
- OpenAIのレート制限との戦い
- オープンソースLLMの実験
- RFP Genie: RFP応答の自動化
- 従来のMLモデルのワークフロー

全エピソードはこちらからご覧ください。

GTMチームのためのAI活用

Twilioは、機械学習（ML）とデータサイエンスを活用して製品とサービスを最適化してきた長い歴史があります。しかし、Generative AI（GenAI）の最近の進歩は、GTMチームの業務方法をさらに強化するための新たな機会を切り開きました。

GTMのための従来のML

GenAIは強力なツールですが、Twilioは従来のMLのルーツを捨てたわけではありません。同社は、以下のような様々なGTMタスクにMLを引き続き使用しています。

1. 傾向モデル： 顧客が有料ユーザーに転換する可能性を予測します。
2. クロスセルモデル： 既存顧客の利用データに基づいて、追加の製品を推奨します。
3. アップセルモデル： 既存顧客の利用データに基づいて、より上位のサービスティアへのアップグレードを推奨します。
4. リードジェネレーションモデル： Twilioの製品に興味を持つ可能性が高い潜在的な新規顧客を特定します。

GTM向け生成AI

Twilioは早期に生成AI（GenAI）の可能性を認識し、その応用を探求するための専門チームを設立しました。このチームは、特にGTMチーム向けにGenAIを活用した一連のツールを構築しており、その中には以下のようなものがあります。

1. XGPT： この多機能ツールは、GTMチームがメールなどのパーソナライズされたアウトリーチコンテンツを生成できるようにし、大幅な時間と労力の節約に貢献します。また、顧客からの問い合わせにも対応し、月間15,000件という驚異的な数の質問を処理することで、大量のインタラクションを処理する能力を示しています。
2. FlexGPTとSegGPT： 特定の製品向けに調整されたこれらのAIモデルは、FlexとSegmentの両方について包括的で正確なドキュメントを生成し、ユーザーがすぐに利用できる情報を確保します。
3. RFP Genie： この革新的なツールは、RFPの質問に回答するという面倒な作業を解決します。90%の精度で問い合わせを処理することで、完了時間を数週間から数分に短縮し、GTMチームの貴重なリソースを解放します。

XGPT：TwilioのGo-to-Marketチーム向け強力ツール

Twilioは早期に生成AI（GenAI）の可能性を認識し、その応用を探求するための専門チームを構築しました。Pruthviが率いるこのチームは、特にGTMチーム向けにGenAIを活用した一連のツールを構築しました。彼らが構築した主要なツールの1つがXGPTです。

XGPTは、ChatGPTのような公開されているGenAIモデルを使用する際の2つの問題に対応するために開発されました。

1. セキュリティとプライバシー： 公開モデルは一般公開されているデータで学習するため、Twilioの内部情報にとってセキュリティとプライバシーの懸念が生じます。
2. カスタマイズの制限: 公開モデルは、製品リリース情報、セールス戦略、競合他社の位置付けといったTwilio固有の内部知識を取り込むことができません。

XGPTはこれらの課題に以下の方法で取り組みました:

1. Twilioのデータを活用: 製品リリース、セールス戦略、競合分析といった内部情報で学習したXGPTは、特定の役割や状況に関連するインサイトを提供します。
2. データプライバシーの確保: XGPTはTwilioのプライベートAPIを利用しており、データが安全に保たれ、外部での学習に利用されないことを保証します。

導入から約4～5ヶ月が経ちました。現在、月に約15,000件の質問に回答しており、アプリケーションのパワーユーザーが大幅に増加しました。これがこれまでのXGPTの成果です。 
- Pruthvi

XGPTの機能と影響

XGPTは、以下の機能を提供する安全でカスタマイズ可能なプラットフォームです:

1. 質問に回答: Twilioの内部および外部ドキュメントの膨大なナレッジベースに基づいて、ユーザーの質問に回答します。
2. コンテンツを生成: 顧客との会話に基づいて、パーソナライズされたアウトリーチコンテンツやメールの作成を支援します。
3. GTM効率の向上: GTMチームに、Twilioの製品、競合他社、セールス戦略に関するすぐに利用できる情報を提供し、生産性の向上と顧客体験の改善に貢献します。

XGPTの技術アーキテクチャ

XGPTは単一のモデルではなく、特定のGTMの役割とニーズに合わせて調整された製品スイートです。これらの製品には、カスタマーサービス担当者向けのFlexGPTや、セグメンテーションタスク向けのSegGPTが含まれます。

XGPT向けのRAGフローのカスタムパイプラインは、公開データと非公開データを含む、関連するすべての情報を収集します。. この情報は、コンテンツ管理システム、社内文書、通話記録、Salesforceのメモ、製品ドキュメントなど、様々なソースから得られます。

オフライン埋め込みはFlexGPTやその他のアプリケーションで使用され、次のようなツールを使用して作成されます Space と Chroma。カスタム調整により、スケーラビリティと制御が保証されます。テキストに加えて、XGPTはマルチモーダル埋め込みを通じて音声データや視覚データも理解します。 Whisper は製品デモを文字起こしし、ビジョンモデルはチャートや図から情報を抽出します。これらの埋め込みはその後、Face埋め込みに変換され、XGPTが回答内で関連するソースにリンクできるようにします。

主要なLLM処理は、 OpenAI APIによって行われます。特定のケース、例えばRFPなどでは、 Llama が解釈のために使用されます。並列化とバッチ処理戦略により、処理が最適化され、レート制限が回避されます。解釈レイヤーは、質問をLLMに供給する前にフィルタリングし、文脈化します。XGPTは各回答に関連ドキュメントへのリンクを提供し、さらに詳しく調べることができます。

Heroku がアプリケーションをホストし、安定性とパフォーマンスを保証します。 Docker コンテナにより、容易なデプロイとスケーラビリティが可能になります。データは Postgres. エアテーブル 質問やフィードバックを追跡し、XGPTの機能を継続的に改善しています。 クラウドウォッチ メトリクスを監視し、最適なパフォーマンスを維持します。

XGPTとRAGフローの未来

チームはXGPTとRAGフローの改善に常に取り組んでいます。彼らの将来のビジョンには、以下のものが含まれます。

1. RAGフローの強化： これには、すべてのTwilioドキュメントの埋め込み作成と維持のプロセスを簡素化することが含まれます。
2. ドキュメントのギャップ自動検出： XGPTは、ドキュメントが不足している領域を特定し、そのギャップを埋めるための追加コンテンツを提案するのに役立ちます。
3. ハルシネーションの軽減： チームは、XGPTの応答におけるハルシネーションの発生をさらに減らすための新しい技術を模索しています。

OpenAIのレート制限との戦い：並列XGPTのためのエンジニアリングの工夫

市場投入チームにとって強力なツールであるTwilioのXGPTは、大きな障害に直面しました。それはOpenAIのレート制限です。質問に繰り返し答える初期バージョンは、すぐにこれらの制限に達してしまいました。APIキーをローテーションさせることで一時的な解決策となりましたが、OpenAIの組織レベルのレート制限は、より困難な課題となりました。

この課題を解決するため、チームの最初のステップは、レート制限を回避し、呼び出しを並列化するためのOpenAIのベストプラクティスを活用することでした。これは強固な基盤となりましたが、さらなる最適化が必要でした。Twilioのエンジニアはまた、OpenAIの監視をかいくぐるためにAPI呼び出しを戦略的にバッチ処理するという巧妙な解決策を考案しました。これには、アプリケーションのユーザーエクスペリエンスを維持しながら、質問を慎重にグループ化することが含まれていました。効率をさらに向上させるため、エンジニアは異なるタスクに戦略的な重みを割り当てました。これにより、重要な質問が優先される一方で、緊急性の低いリクエストも処理されるようになりました。

オープンソースLLMの実験

ChatGPTとLlamaはどちらも強力な言語モデルですが、TwilioはXGPTアプリケーションにLlamaを選択しました。その主な理由はいくつかあります。

1. 費用対効果： LlamaはChatGPTよりも大幅に低いコストで動作するため、解釈のような、より複雑な推論やニュアンスを必要としないタスクにおいては、より経済的な選択肢となります。
2. タスクへの適合性: XGPTの最初の段階はユーザーの質問解釈です。Llamaはテキストの意味を理解し翻訳することに優れているため、このタスクに非常に適しています。
3. ベンダーロックインの回避: Twilioは、LLMのニーズを単一のベンダーにのみ依存することを避けたいと考えています。ChatGPTと並行してLlamaを使用することで、サービス停止やOpenAIのポリシー変更があった場合のバックアップオプションを確保しています。

解釈の最初の層にLlamaを選択することで、Twilioはタスク要件を満たす費用対効果の高いソリューションを実現しました。これにより、LLMの使用を多様化し、オープンソースコミュニティへの貢献も示しています。

RFP Genie: RFP回答の自動化

RFP Genieは、Twilioの社内チームが開発したもう一つの生成AIツールです。GTMチームにとって時間と手間のかかるRFPへの回答プロセスを自動化します。RFP Genieは以下のことが可能です。

1. 主要情報の抽出: RFPドキュメントから主要な情報と要件を自動的に抽出します。
2. 回答の生成: 各RFPの質問に対して包括的で正確な回答を生成し、GTMチームの膨大な作業時間を節約します。
3. 一貫性の維持: すべての回答がTwilioのブランドとメッセージングに沿った一貫性のあるものであることを保証します。

従来のMLモデルのワークフロー

導入部では、TwilioのGTMで現在も使用されている従来のMLモデルについて簡単に触れました。例えば、 プロペンシティモデルやリード生成モデルなどです。

従来のMLモデルのワークフローは、ツールとテクノロジーの強力な組み合わせを活用しています。

1. データストレージ: 顧客データは、特定のモデルに応じてPostgresやAirtableなどの様々なデータベースに保存されます。
2. モデルトレーニング: SageMakerパイプラインはMLモデルのトレーニングに使用され、スケーラビリティと効率性を確保します。
3. データパイプラインとノートブック管理： Abacusは、データパイプラインとノートブックを管理するためのユーザーフレンドリーなプラットフォームを提供し、モデル開発プロセスを簡素化します。
4. デプロイ： Buildkiteは、モデルが本番環境にデプロイされる前に、すべての規制遵守要件が満たされていることを確認します。

True ML Talksシリーズの以前のブログを読む：

^‍

MLOps and LLMs Applications at Gitlab

Dive deep into MLOps practices at Gitlab, how ML and how LLMs is solving various usecases at GItlab both internally and for end to end customers.

TrueFoundry Blog TrueFoundry

TrueMLの YouTubeシリーズを視聴し、 そしてTrueMLブログシリーズを読み続けてください。

TrueFoundry は、Kubernetes上で動作するMLデプロイメントPaaSであり、開発者のワークフローを加速させるとともに、モデルのテストとデプロイにおいて完全な柔軟性を与え、インフラチームには完全なセキュリティと制御を保証します。当社のプラットフォームを通じて、機械学習チームが モデルをデプロイおよび監視 15分で、100%の信頼性、スケーラビリティ、そして数秒でのロールバック機能を備えて行えるようにします。これにより、コストを削減し、モデルをより迅速に本番環境にリリースできるようになり、真のビジネス価値の実現を可能にします。