TrueML Talks #25 - TwilioにおけるGTM(Go-To-Market)向けGenAIとLLMOps

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、GitLabにおけるMLOpsとLLMアプリケーションについて再び深く掘り下げ、Pruthvi Shetty氏にお話を伺います。
Pruthvi氏はTwilioのStaff Data Scientistです。それ以前は、SAPやAnywhere REに買収されたスタートアップのZapLabsでMLのリードを務めていました。Twilioにおいて、Pruthvi氏はGen AIの取り組みをリードしており、本日はその内容について深掘りしていきます。
📌
Pruthvi氏との対談では、以下のテーマを取り上げます:
- GTMにおけるMLおよびGenAIの活用法とユースケース
- XGPT: TwilioのGo-to-Marketチームを支えるパワフルなツール
- OpenAIのレート制限への対策
- オープンソースLLMの実験と検証
- RFP Genie: RFP回答の自動化
- 従来のMLモデルにおけるワークフロー
フルエピソードの動画は以下からご視聴いただけます:
Go-To-MarketチームにおけるAIの活用
Twilioは、自社の製品やサービスを最適化するために、機械学習(ML)やデータサイエンスを活用してきた長い歴史を持っています。しかし、近年の生成AI(GenAI)の進歩により、GTMチームの運用方法をさらに強化する新たな機会が開かれました。
GTMにおける従来のML
GenAIは強力なツールである一方で、Twilioは従来のMLのアプローチを捨てたわけではありません。同社では、以下のようなさまざまなGTMタスクにおいて引き続きMLを活用しています:
- Propensity(傾向)モデル: 顧客が有料ユーザーにコンバートする確率を予測します。
- Cross-sell(クロスセル)モデル: 利用データに基づいて、既存の顧客に追加の製品を提案します。
- Upsell(アップセル)モデル: 利用データに基づいて、既存の顧客により上位のサービスプランへのアップグレードを提案します。
- リードジェネレーションモデル: Twilioの製品に関心を持つ可能性が高い潜在的な新規顧客を特定します。
GTMにおけるGenAI
Twilioは早くからGenAIの可能性に着目し、その活用を模索する専任チームを設立しました。このチームは、GTMチーム向けに特化した以下のようなGenAI駆動型ツール群を構築しています:
- XGPT: GTMチームがメールなどのパーソナライズされたアウトリーチコンテンツを生成できるようにする多機能ツールであり、大幅な時間と労力の削減を実現します。また、顧客からの問い合わせにも対応し、月間15,000件もの質問を処理することで、大規模な対話処理能力を実証しています。
- FlexGPTおよびSegGPT: 特定の製品向けにカスタマイズされたこれらのAIモデルは、FlexおよびSegmentの両方に対して包括的かつ正確なドキュメントを生成し、ユーザーが必要な情報にすぐにアクセスできるようにします。
- RFP Genie: RFP(提案依頼書)の質問に回答するという面倒な作業を解決する画期的なツールです。質問を90%の精度で処理することで、完了時間を数週間から数分に短縮し、GTMチームの貴重なリソースを解放します。
XGPT:TwilioのGo-to-Marketチームを支えるパワフルなツール
Twilioは生成AI(GenAI)の可能性を早くから認識し、その応用を探求するための専用チームを立ち上げました。Pruthvi氏が率いるこのチームは、GTMチームのために特別に設計された一連のGenAI搭載ツールを構築しました。その中核となるツールの1つがXGPTです。
XGPTは、ChatGPTのような一般公開されているGenAIモデルを利用する際の2つの課題に対処するために開発されました:
- セキュリティとプライバシー: パブリックモデルは公開データで学習するため、Twilioの社内情報に関するセキュリティおよびプライバシー上の懸念が生じます。
- カスタマイズの制限: パブリックモデルには、製品のリリース情報、セールスプレイ、競合他社のポジショニングなど、Twilio独自の社内ナレッジを取り込むことができません。
- Twilioデータの活用: 製品リリース、セールスプレイ、競合分析などの社内情報を用いて学習したXGPTは、特定の役割や状況に応じた関連性の高いインサイトを提供します。
- データプライバシーの確保: XGPTはTwilioのプライベートAPIを使用しており、データは安全に保護され、外部の学習用に利用されることはありません。
- 質問への回答:Twilioの社内および社外ドキュメントの広範なナレッジベースに基づいて、ユーザーからの質問に回答します。
- コンテンツの生成:顧客との対話履歴に基づいて、ユーザーがパーソナライズされたアウトリーチコンテンツやメールを作成するのを支援します。
- GTM効率の向上:Twilioの製品、競合他社、販売戦略に関する容易に利用可能な情報をGTMチームに提供し、生産性の向上とカスタマーエクスペリエンスの改善をもたらします。
- 強化されたRAGフロー: これには、すべてのTwilioドキュメントに対するエンベディングの作成および保守プロセスの簡素化が含まれます。
- 自動ドキュメントギャップ検出: XGPTはドキュメントが不足している領域を特定し、そのギャップを埋めるための追加コンテンツを提案するのに役立ちます。
- ハルシネーションの軽減: チームは、XGPTの応答におけるハルシネーションの発生をさらに減らすための新しい技術を調査しています。
- 費用対効果: LlamaはChatGPTよりも大幅に低いコストで動作するため、複雑な推理やニュアンスをそれほど必要としない解釈のようなタスクにおいて、より経済的な選択肢となります。
- タスクの適合性: XGPTの最初のステージには、ユーザーの質問の解釈が含まれます。これはLlamaが得意とするタスクであり、テキストの意味を理解し翻訳することに優れています。
- ベンダーロックインの回避: Twilioは、LLMのニーズを単一のベンダーだけに依存することを避けたいと考えています。ChatGPTとともにLlamaを使用することで、障害やOpenAIのポリシー変更が発生した場合のバックアップの選択肢を確保できます。
- 重要情報の抽出: RFPドキュメントから重要な情報と要件を自動的に抽出します。
- 応答の生成: 各RFPの質問に対して包括的で正確な応答を生成し、 GTMチームの数無数の作業時間を節約します。
- 一貫性の維持: すべての応答がTwilioのブランディングおよびメッセージングと一貫していることを保証します。
XGPTはこれらの問題に以下のように対処しました:
導入から約4〜5か月が経ちました。現在では月に約15,000件の質問に回答しており、アプリケーションのパワーユーザーの生産性が非常に大きく向上しているのを確認しています。これがこれまでのXGPTの成果です。
- Pruthvi
XGPTの機能とインパクト
XGPTは、以下を実現するセキュアでカスタマイズ可能なプラットフォームです:
XGPTのテクニカルアーキテクチャ
XGPTは単一のモデルではなく、特定のGTMの役割やニーズに合わせて調整されたプロダクト群です。これらには、カスタマーサービス担当者向けのFlexGPTや、セグメンテーションタスク向けのSegGPTなどが含まれます。
RAGフローのカスタムパイプラインにより、パブリックデータおよびプライベートデータを含む、XGPTに必要なすべての関連情報が集約されます。これらの情報は、コンテンツ管理システム、社内ドキュメント、通話トランスクリプト、Salesforceのメモ、製品ドキュメントなど、多様なソースから取得されます。
FlexGPTやその他のアプリケーションには、SpaceやChromaなどのツールを使用して作成されたオフライン埋め込み(embeddings)が利用されています。カスタムの調整により、スケーラビリティとコントロールが確保されています。また、XGPTはテキストに加えて、マルチモーダル埋め込みを介して音声や視覚データも理解することができます。Whisperはプロダクトデモの文字起こしを行い、 ビジョンモデルはチャートや図から情報を抽出します。これらのエンベディングはその後Faceエンベディングに変換され、 XGPTが回答内で関連するソースへリンクできるようにします。
メインのLLM処理はOpenAI APIによって処理されます。RFPなどの特定のケースでは、 解釈のためにLlamaが使用されます。並列化とバッチ処理の戦略により、処理を最適化し、レート制限を回避します。解釈レイヤーは質問をLLMに送る前にフィルタリングし、コンテキスト化します。XGPTは各回答に関連するドキュメントへのリンクを提供し、 さらに詳しく調べることを可能にします。Herokuがアプリケーションをホストし、 安定性とパフォーマンスを確保します。Dockerコンテナにより、容易なデプロイとスケーラビリティが実現します。データはPostgresに安全に保存されます。Airtableは質問とフィードバックを記録し、 XGPTの機能を絶えず改善します。CloudWatchは最適なパフォーマンスのためにメトリクスを監視します。
XGPTとRAGフローの未来
チームはXGPTとRAGフローの改善に常に取り組んでいます。将来に向けた彼らのビジョンには以下が含まれます:
OpenAIのレート制限との戦い: 並列XGPTのためのエンジニアリングの工夫
Go-To-Marketチームのための強力なツールであるTwilioのXGPTは、OpenAIのレート制限という大きな障害に直面しました。初期バージョンは質問に反復的に回答していたため、すぐにこれらの制限に達してしまいました。APIキーのローテーションは一時的な解決策となりましたが、OpenAIの組織レベルのレート制限はより困難な課題であることが判明しました。
この課題を解決するため、チームの最初のステップは、レート制限を回避し呼び出しを並列化するためのOpenAIのベストプラクティスを活用することでした。これにより確固たる基礎が得られましたが、さらなる最適化が必要でした。Twilioのエンジニアは、OpenAIのレーダーをかいくぐるために戦略的にAPI呼び出しをバッチ処理するという巧妙な解決策も考案しました。これには、アプリケーションのユーザーエクスペリエンスを維持しながら、質問を注意深くグループ化することが含まれていました。効率をさらに向上させるため、エンジニアは異なるタスクに戦略的な重み付けを割り当てました。これにより、重要でないリクエストの処理を許可しつつ、重要な質問が優先されるようになりました。
オープンソースLLMの実験
ChatGPTとLlamaはどちらも強力な言語モデルですが、Twilioはいくつかの主要な理由からXGPTアプリケーションにLlamaを選択しました:
解釈の第一レイヤーにLlamaを選択することで、Twilioはタスクの要件を満たしつつコスト効率の高い解決策を達成し、LLMの利用を多様化させ、オープンソースコミュニティへの取り組みを示しました。
RFP Genie: RFP応答の自動化
RFP Genieは、Twilioの社内チームによって開発されたもう1つの生成AIツールです。GTMチームにとって時間と手間がかかる作業となり得るRFP(提案依頼書)への応答プロセスを自動化します。RFP Genieは以下のことが可能です:
従来のMLモデルのワークフロー
はじめに、TwilioでGTMのために今なお使用されているPropensity and Lead Generation Modelsのような従来のMLモデルについて簡単に触れました。
従来のMLモデルのワークフローは、ツールとテクノロジーの強力な組み合わせを活用しています:
- データストレージ: 顧客データは、特定のモデルに応じてPostgresやAirtableを含むさまざまなデータベースに保存されます。
- モデルトレーニング: SageMakerパイプラインを使用してMLモデルをトレーニングし、スケーラビリティと効率性を確保します。
- データパイプラインおよびノートブック管理: Abacusはデータパイプラインとノートブックを管理するためのユーザーフレンドリーなプラットフォームを提供し、モデル開発プロセスを簡素化します。
- デプロイ: Buildkiteは、モデルがプロダクションにデプロイされる前に、すべての規制コンプライアンス要件が満たされていることを確認します。
True ML Talksシリーズの過去のブログを読む:
TrueMLのYouTubeシリーズの視聴と、TrueMLブログシリーズの閲覧をぜひ続けてください。
TrueFoundryは、Kubernetes上のMLデプロイPaaSであり、インフラチームの完全なセキュリティと管理を確保しながら、モデルのテストとデプロイにおける完全な柔軟性を開発者に提供し、開発者ワークフローを加速させます。当社のプラットフォームを通じて、機械学習チームはデプロイおよびモニタリングを15分で実現し、100%の信頼性、拡張性、そして数秒でのロールバック機能を備えています。これにより、コストを削減し、モデルをより迅速に本番環境にリリースして、真のビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






