Aviso AIの技術スタックに生成AI対応コアを追加

Aviso AIの技術スタックに生成AI対応のコアを追加 

Aviso AIについて

Aviso AIは、営業チームが収益をより正確に予測し、推進し、営業担当者のパフォーマンスを最適化し、市場投入（GTM）戦略を優先できるよう設計された収益運用システムです。会話型インテリジェンスと営業アプリを組み合わせることで、正確な予測を提供し、将来のパイプラインを予測し、より多くの取引を獲得します。 

Seagate、Honeywell、GitHubなどの企業のチームが、20%多くの取引を成立させ、15～35%のトップライン増加を達成するのを支援してきました。

チームが達成したかった目標

Aviso AIのMLチームは、同社のAIファーストスタックをさらに強化し、以下の方法でその影響を拡大したいと考えていました。

1. LLMのような新しいモデルに対応できるようスタックを堅牢にする： チームは、クラウド内で最新のあらゆるモデルをサポートし、将来登場する可能性のあるあらゆる新しいものに対応できるようスタックを準備したいと考えていました。
2. ML開発者向けにインフラストラクチャの取り扱いを簡素化： チームは、ML/DS開発者がインフラストラクチャの処理に費やす時間を最小限に抑え、モデルの実験、テスト、デプロイに集中できるようにしたいと考えていました。 
3. クラウドコストの削減： チームは、プロビジョニングされたインフラストラクチャの利用率を高め、複数のサービス/モデルを同じコンピューティングにパッケージ化したいと考えていました。 

Aviso AIチームと共に達成したこと

パートナーシップを通じて、両チームは共同で以下のことを達成できました。 

1. 開発者の時間を月間100時間以上削減： 機械学習チームはDockerベースの環境に移行し、それによりビルド時間を短縮し、ローカルテストを容易にしました。
2. クラウドコストの削減： チームはDockerを使用して、プロビジョニングされたコンピューティング向けにより多くのソフトウェアやモデルをパッケージ化できるようになりました。また、信頼性を心配することなくスポットインスタンスを使用することも可能になりました。全体として、チームはクラウドコストを約30〜40%削減しました。
3. 大規模なLLMデプロイメント： 事前設定されたオープンソースLLMモデルのカタログを使用することで、チームはHuggingFaceやその他のソースから任意のLLMモデルを、TrueFoundryプラットフォームによってプロビジョニングされたインフラ上で最適化された推論を用いてデプロイすることができました。

Aviso AIはAIを活用してレベニューオペレーションを革新します

Aviso AIは、AIを搭載した様々な営業ツールを組み合わせることで収益実行を最適化する統合プラットフォームです。主な製品には以下のようなものがあります。

1. 営業予測： 営業成果を予測し、チームが重要な取引に集中できるようにします。
2. パフォーマンス最適化： 営業戦略の最適化を支援し、チームに改善のためのフィードバックを提供します。
3. リアルタイムインサイト： リーダーがあらゆる混乱や市場の変化を監視し、診断するのを支援します。
4. 実用的なレコメンデーション： AIベースの分析を用いて、営業担当者向けに次に取るべき最適な行動を提案します。

その他の提供サービスには、AIガイドによる取引予測、パイプラインおよび取引管理、会話型インテリジェンス、コーチングとイネーブルメント、NLP分析とレポート、営業エンゲージメント、リードインテリジェンス、カスタマーサクセスインテリジェンスなどがあります。

MIKI：世界初のLLMチーフ・オブ・スタッフ

Aviso AIチームは生成AIの革新にも取り組んでいます。そのアプローチの中心にあるのは、レベニューインテリジェンス向けの世界初の生成AIチーフ・オブ・スタッフであるMIKIです。これは、GTMチームの生産性を向上させ、営業担当者の時間を週に最大15〜20時間節約するように設計されています。MIKIは次の点で役立ちます。

1. 質問応答： 顧客からの質問に回答し、営業担当者をリアルタイムで支援します。 
2. 次に取るべき最適な行動の提案: 商談成立の確率を高める最適な手順の提案。
3. 営業担当者のコーチング: 営業担当者の分析とフィードバックの提供
4. アカウントエグゼクティブが行う定型業務の自動化: 調査、メール作成など 

チームは、LLMモデルを独立したサービスとしてスケーラブルにデプロイすることを望んでいました

AvisoのAIチームは、ソフトウェアとMLサービスをAMI（Amazon Machine Images）上にデプロイしていました。AMIは、オペレーティングシステム、アプリケーションサーバー、およびデプロイしたいアプリケーション/モデルを含む、事前に設定されたマシンです。 

ユースケースがLLM（大規模言語モデル）や生成AIのような、より新しく要求の厳しいモデルに拡大するにつれて、チームはモデルのトレーニング、テスト、デプロイのための、よりシンプルで効率的な技術スタックを構築したいと考えていました。

AMIを軽量に保ちたかった 

ソフトウェアとMLサービスがバンドルされ、AMIに組み込まれていたため、モデルが大規模になるにつれて課題が生じる可能性があり、特にLLMの場合に顕著でした

テストと障害診断の容易化

MLサービスと非MLサービス間の依存関係のため、リリース時や問題修正時に問題の特定が困難になる可能性がありました。チームは、2つのデプロイとそれらのテストを分離したいと考えていました。

よりシンプルな環境管理と効率的なスケーリング

LLMとソフトウェアサービスは、実行に異なる環境を必要とする可能性があります。それらのリソース要件も大きく異なります。そのため、チームは両者の環境とリソース処理を個別に管理することに利点を見出しました。

更新されたインフラストラクチャスタックにより、チームは毎月100時間以上の開発時間を節約しています

チームは、Docker化された環境でスケーラブルなインフラストラクチャスタックに移行しました。私たちは、これが長期的にチームを成功に導き、時間を節約できると共同で判断しました。 

新しいDocker化された環境は、チームのコスト削減とアジリティ向上に貢献します

1. 軽量性: Dockerイメージははるかに軽量で、アプリケーションとその依存関係のみをカプセル化します。これにより、サイズが大幅に小さくなり、ビルドも高速になります。 
2. マイクロサービスアーキテクチャ: Dockerイメージは、モノリシックなアプリケーションをより小さなマイクロサービスに分割するための構成要素です。マイクロサービスにより、アプリケーションの信頼性と透明性が大幅に向上します。 
3. コスト効率: コンテナはホストOSのカーネルを共有するため、仮想マシンよりもリソース効率が高くなります。共有インフラストラクチャ上で複数のコンテナを実行できるため、リソース利用率が高まります。

TrueFoundryを活用したMLチームの新しいワークフロー

TrueFoundryは、チームが既存のセットアップから新しいDockerベースのセットアップへスムーズに移行できるよう支援し、以下の点を保証しました。

1. DSチームにとって管理が容易に: サービスやモデルをデプロイまたはテストする必要があるたびに、ローカルで実行できます。
2. SREのベストプラクティスが自動適用されました: オートスケーリング、バージョン管理、データおよびモデルの系統追跡、コストの可視化など。
3. 約40%のクラウドコスト削減: スポットインスタンスの確実な利用、リソース利用率の向上

Aviso AIチームはTrueFoundryを使って初日からLLMを導入できました

新しいモジュール式のスタックが導入されたことで、チームはMIKIや今後登場する新しいユースケースを強化するために、LLMのような新世代のより大規模なモデルをシームレスにデプロイして使用できるようになりました。

これらのモデルの規模と新しさを考えると、これらのモデルを大規模にトレーニング、ファインチューニング、デプロイすることは、複雑なエンジニアリング上の課題です。これには以下が含まれます。

1. GPUインフラストラクチャのスケールアップ: LlaMA 2 70 Bnなどの巨大モデルをサポートするため。 
2. 適切なモデルサーバー構成の特定: 新しいモデルは数週間ごとにリリースされ、チームはvLLM、TGIなどのモデルサーバーでそれらを提供するための適切なパラメータを決定する必要があります。利用可能なリソースとパフォーマンス要件に基づいてこの構成を見つけるには、数週間かかる場合があります。
3. ファインチューニングと事前学習： ファインチューニングと事前学習には、マルチGPUクラスターのオーケストレーション、チェックポイント設定、およびトレーニングジョブの継続的な監視が必要です。

チームはモデルをデプロイするだけで、デフォルトで信頼性と最適なコストが保証されるようになりました。

TrueFoundryはチームを支援し、以下のことを可能にしました：

1. ワンクリックデプロイ Hugging Face Hubやその他のソースから、あらゆるオープンソースLLMを
2. 最高のパフォーマンスでのオートスケーリング モデルサーバー上で、最も高性能なモデルを提供するために
3. コスト削減 スポットインスタンスを使用し、一日の特定の時間帯にモデルをスケールダウンさせ、ベアKubernetesをデプロイすることで。

TrueFoundryは管理者とMLチームにとって一元的な管理画面となりました

TrueFoundryは、社内の様々なプロジェクトがMLモデルをデプロイする際に利用する単一のダッシュボードとなりました。これにより、誰もが、特に管理者が、異なるチームによってどのようなデプロイやモデル構築が行われているかを確認できたため、チーム間のコンテキスト共有が容易になりました。