TrueML Talks #27 - カスタマーサクセスのためのGenAIとLLMOps @ Level AI

True ML Talksの新たなエピソードをお届けします。今回は、Level AIにおける生成AIとLLMOpsの戦略について、 アビマニュ・タルワル氏

AbhimanyuはLevel AIのスタッフAIリサーチエンジニアです。 Level AI 会話型AIインテリジェンス企業です。機械学習を用いて会話データからインサイトを抽出しています。

📌

Abhimanyu氏との対談では、以下の点について取り上げます。
- カスタマーサービスAIにおける過去の会話の活用
- 生成AIの隠れた課題への取り組み
- オープンソース vs. ファインチューニング
- エージェントの理解
- AIによるコンタクトセンターQAの解明
- GPT-4を活用したカスタマーサービスAI
- MLOpsが変革するカスタマーサクセス

全編は以下でご覧いただけます。

カスタマーサービスAIにおける過去の会話の活用

カスタマーサービスAIは非常に注目されていますが、静的なナレッジベースのみに頼ることには限界があります。 エージェントアシスト と AgentGPTLevel AIが提供する2つの革新的なツールで、過去の会話の力を引き出し、エージェントの効率と顧客満足度を向上させます。

• Agent Assist: 顧客の問い合わせを解析し、既存のナレッジベースから関連リソースを提案することで、エージェントが効果的に対応できるよう支援します。
• AgentGPT: さらに一歩進んだ機能を提供します。過去の会話を分析し、ナレッジベースにはない貴重な情報を自動的に抽出し、インデックス化します。これにより、微妙なニュアンスを含む顧客の問い合わせに対する、動的で常に成長するソリューションの集合体が生まれます。

検索：過去の会話から回答を探し出す

キーワードマッチングはもう不要です！Levelは強力な検索パイプラインを採用しています。

• 前処理： 過去の会話は、検索しやすい形式に変換されます。
• カスタムインデックス作成： 独自のキーが設計され、現在の問い合わせと関連する過去のやり取りを照合します。
• 埋め込み： 高度な埋め込みモデル（RAGパイプラインのようなもの）が会話のセマンティックな意味を捉え、正確な検索を可能にします。

より良い結果を提供するために、さらに以下のことを行います。

• 再ランキング： コンテキストと追加の要因に基づいて、最も関連性の高い結果を優先します。
• キーワードフィルター： 検索から、関連性のない、または役に立たない過去のやり取りを排除します。

静的ナレッジベースの力と過去の会話に隠された動的な洞察の両方を活用することで、Agent AssistとAgentGPTは、カスタマーサービスAIの未来を垣間見せてくれます。この未来では、エージェントは適切な情報によって力を与えられ、より迅速な問題解決、顧客満足度の向上、そしてより効率的なコンタクトセンターへとつながります。

生成AIが抱える潜在的な課題への対処

生成AIは強力なツールですが、その成功は慎重なデータキュレーション、堅牢な評価方法、そしてデータ駆動型のアプローチにかかっています

膨大なコーパスから適切なデータを選ぶことは、美味しい料理にぴったりの食材を見つけるようなものです。データの選択が不適切だと、モデルは、まあ、使い物にならなくなります。

まずデータに集中することです。基本的に、どのようなデータが混ざっているのかをしっかり把握してください。アノテーションの品質はどうですか？それらすべてが非常に重要です。そうでなければ、「ゴミを入れればゴミが出る」ことになります。
– アビマニュ

適切なデータを選んだら、生成AIモデルを評価する必要があります。これは従来のAIタスクほど単純ではありません。Nグラムの重複のような単純な指標は忘れてください。それらは正確さのニュアンスを見落とします。たった1つの単語が入れ替わるだけで（「はい」が「いいえ」になるなど）、結果は大きく変わってしまいます。

これには、以下を使用できます。

• プログラムによる評価指標： ROUGEやBERTスコアのようなツールを活用して、意味的類似性を評価します。
• 人間によるアノテーション： 実際の人間を起用して、一貫性や完全性といった定性的な側面を評価します。

大規模モデルに性急に飛びつかないでください。より小さなチェックポイントで実験を行い、最適なデータミックスとタスクの重み付けを見つけましょう。

オープンソース vs. ファインチューニング

ChatGPTの明らかな汎用性に固執したくなるかもしれません。GPT-4は制約のないシナリオで優れた性能を発揮しますが、ビジネスは現実世界の制約の中で運営されています。大量のトラフィックは、パフォーマンスや応答性を犠牲にすることなく、効率的で費用対効果の高いソリューションを要求します。

ここで、独自のモデルをファインチューニングすることが有利になります。

• 特化： あらゆることに長けようとするのではなく、特定の、ビジネス上重要なタスクで優れた性能を発揮するようにモデルを調整してください。大学院の論文を書くのではなく、コンタクトセンターでのやり取りに長けたモデルを想像してみてください！
• 費用対効果： より小さく、特化したモデルは、少ない計算能力で済み、運用コストの削減につながります。
• 制御と説明可能性: ファインチューニングにより、モデルの動作に対するより深い理解と制御が可能になり、信頼性と透明性が育まれます。

ChatGPTを足がかりとして

ChatGPTのような選択肢を完全に切り捨てる必要はありません。それらは貴重な味方となり得ます！これらを以下の出発点として活用することを検討してください。

• アイデアの検証: カスタム開発に投資する前に、オープンソースモデルで試運転を行ってください。
• ビジネスの牽引力を得る: ファインチューニングに本格的に取り組む前に、すぐに利用できるツールを活用し、実世界でのフィードバックを得て実現可能性を実証してください。

エージェントの理解

エージェントとは？

エージェントとは、LLMの専門チームのようなものだと考えてください。それぞれがより大きなワークフローの中で特定の役割を担います。単一のAPI呼び出しではなく、タスクは、複数の「エージェント」が連続したAPI呼び出しを通じて連携することで実行されます。

なぜエージェントを使うのか？

詩を書くことを想像してみてください。創造性、韻律分析、さらには文法チェックが必要です。あるLLMは最初の詩句の生成に優れ、別のLLMは韻律の整合性を確保し、そして3番目のLLMは最終草稿を磨き上げるかもしれません。エージェントは、異なるモデルの独自の強みを活用して、より優れた結果を達成することを可能にします。

エージェントが適切な選択肢となるのはどのような場合か？

• 複雑なタスク: 単一のLLMでは目標の全体像を処理しきれない場合、エージェントはそれを管理可能なステップに分解できます。
• 精度と制御: 異なる「エージェント」呼び出しを順序立てることで、プロセスに対するより詳細な制御が可能になり、特定の成果を達成するためにステップを調整できます。
• 多様なスキルの組み合わせ: 様々なLLMの独自の強みを活用し、真に革新的な成果を生み出します。

AIでコンタクトセンターのQAを分かりやすく

Level AIが提供する機能の一つに Agent Assist、GPTテクノロジーを搭載した強力なAIツールがあります。会話を分析することでQAを自動化し、エージェントのパフォーマンスに関する洞察を提供します。

仕組みは次のとおりです。

1. QAルーブリック： コンタクトセンターには、積極的な問題解決や成功した解決といった、優れた通話のための特定の基準があります。Agent Assistは、過去の会話からこれらの基準を学習します。
2. AI分析： 各通話が分析され、Agent AssistはQAルーブリックに基づいてスコアと説明を提供します。
3. 根拠に基づいた説明可能性： 単なるブラックボックスではなく、Agent Assistは、そのスコアを裏付ける会話の特定の部分を強調表示し、エージェントに貴重なフィードバックを提供します。
4. ヒューマン・イン・ザ・ループ： QAマネージャーはAgent Assistの分析結果を確認し、必要に応じてスコアを調整できます。これにより、正確性と公平性が確保されます。

Agent Assistのメリット：

• QAの迅速化： 手動レビューと比較して、時間とリソースを節約します。
• エージェントのパフォーマンス向上： 的を絞ったフィードバックを提供し、エージェントが優れた成果を出せるよう支援します。
• データに基づいた洞察： カスタマーサービスにおける傾向と改善点を発見します。
• 効率向上： QAマネージャーがより戦略的な業務に専念できるようになります。

GPT-4を活用した顧客対応AI

GPT-4の登場はAI業界に大きな期待をもたらしましたが、それが優れた顧客サービス体験のための万能薬なのでしょうか？そうではありません。その強力な性能は疑いようがありませんが、真に効果的なAIソリューションの背後には、多くの 隠れた層が存在します。

大規模モデルの可能性と課題：

GPT-4の持つ潜在能力は目覚ましく、 回答生成においてはオープンソースモデルやAPIを凌駕します。しかし、 その出力だけに頼ることは、AIパイプラインの重要な要素、すなわち データ選定、 特徴抽出、 集約、そしてビジネス知識を見落とすことになります。

成功するチーム作り：

• データ選定： 適切な学習データを見つけることが重要です。 業界に特化した過去の会話にアノテーションを施すことで、AIに「良い」サービスと「悪い」サービスがどのようなものかを教えることができます。
• 特徴抽出： 生データは精製される必要があります。 すべての会話から重要な属性を抽出することで、分析と比較が可能になります。
• 集約とクラスタリング： 数えきれない属性を持つ何百万もの会話は、圧倒的な量です。 スマートなクラスタリング手法は、人間が理解し、活用できる形でデータを提供します。
• ビジネス知識： 顧客にとって本当に重要なことを理解することは、単なる指標を超えたものです。 業界経験は、適切なKPIを優先し、AI開発を導くのに役立ちます。

企業がカスタマーサービスにおいて人間の専門知識とAIをどのように活用しているかについては、以下のブログで詳細をご覧いただけます。

‍

How Companies Can Blend AI and Human Expertise for Superior Customer Service | Level AI

This article, an extract from a recent interview where Christian Lunoe spoke with Paul Harraghy, VP of CARE at VistaPrint, explores the intricate balance

Level AI mythreya lingala

‍

MLOpsがカスタマーサクセスを革新する

カスタマーサクセスの状況はMLOpsによって塗り替えられつつあります。MLOpsは、効率的なAI導入の裏にある魔法の公式です。その5年間の影響を少しだけご紹介します。

• 効率アップ： 遅いクエリや不満を抱えた顧客とはおさらばしましょう。MLOPsを活用したAI搭載チャットボットが瞬時に質問に回答し、エージェントはより有意義なやり取りに集中できるようになります。
• 人間とAIの調和： 未来はロボットが人間に取って代わるのではなく、協業することにあります。MLOPsは、データに基づいた洞察でエージェントを強化し、よりスマートな営業トーク、先を見越した問題解決、パーソナライズされた体験を可能にします。
• データドリブンな意思決定： MLOPsは顧客データの力を解き放ちます。AIモデルはニーズを予測し、レコメンデーションをパーソナライズし、情報に基づいた行動を通じて信頼を築きます。
• ハイパーパーソナライゼーション： MLOPsは、オファーからサポートまであらゆるものをカスタマイズし、永続的な関係とロイヤルティを育みます。
• 幻覚の克服： MLOPsは、集中的なトレーニングと根拠に基づいた検証により不正確な情報に対処し、信頼性の高い顧客対応を保証します。

MLOPsは顧客中心の未来を創造するための鍵ですが、責任ある倫理的な利用が不可欠です。その可能性を受け入れつつ、課題に対処することで、語り継がれるような成功事例を築くことができます。

生成AIが顧客体験の未来をどのように形作るかについては、以下のブログで詳細をご覧いただけます。

‍

Generative AI: the future of CX

Voice of the customer insights unveils hidden trends and emerging themes without bias, effort, or friction.

Level AI mythreya lingala

‍

True ML Talksシリーズの過去のブログを読む：

‍

Enterprise GenAI and LLMOps with Labhesh Patel

Learn how to leverage GenAI and LLMs to solve your business use cases from Labhesh Patel, ex-CTO and Chief Scientist @Jumio

TrueFoundry Blog TrueFoundry

‍

引き続きTrueMLの YouTubeシリーズ およびTrueMLの ブログシリーズ.

TrueFoundry は、Kubernetes上で動作するMLデプロイメントPaaSです。開発者のワークフローを加速させ、モデルのテストとデプロイにおいて完全な柔軟性を提供しつつ、インフラチームには完全なセキュリティと制御を保証します。当社のプラットフォームを通じて、機械学習チームは デプロイおよび監視 モデルを15分で、100%の信頼性、スケーラビリティ、そして数秒でのロールバック機能を備えてデプロイおよび監視できます。これにより、コストを削減し、モデルをより迅速に本番環境にリリースできるようになり、真のビジネス価値の実現を可能にします。