TrueML Talks #26 - エンタープライズGenAIとLLMOps（Labhesh Patel氏）

True ML Talksの新しいエピソードをお届けします。今回は、MLOpsパイプラインと企業におけるLLMアプリケーションについて、再び深く掘り下げます。お話しいただくのは Labhesh Patel.

Labhesh氏はJumio CorporationのCTO兼チーフサイエンティストとして、本人確認分野におけるML/AIの活用に取り組んできました。過去には、主要な組織でエンジニアリングと科学の両分野において、複数のリーダーシップ職を歴任しています。

📌

Labhesh氏との対談では、以下の内容についてお話しいただきます。
- 興味深い研究論文と特許
- AIを活用したビジネス課題の解決
- MLOpsパイプラインの構築
- サイロを打破し、成功のための結束力のあるMLOpsチームを構築する
- クラウドプロバイダーの障害を乗り越える
- 生成AIの未来

エピソード全編は以下からご覧いただけます：

興味深い研究論文と特許

研究論文

• Attention is All You Need：この論文はトランスフォーマーネットワークを導入し、自然言語処理に革命をもたらし、ChatGPTのような多くのLLMの基礎を築きました。

‍

Attention Is All You Need

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.arXiv.orgAshish Vaswani

arXiv.org Ashish Vaswani

‍

• セグメント化ガイド付きアテンションネットワークを用いた視覚的質問応答：本論文では、セグメンテーションマップとアテンションメカニズムを活用することで、画像に関する質問に答える新しい手法を提案しました。新しい技術に取って代わられましたが、正確な回答を得るために、画像内の特定の領域に焦点を当てることの重要性を示しています。

‍

Segmentation Guided Attention Networks for Visual Question Answering

Vasu Sharma, Ankita Bishnu, Labhesh Patel. Proceedings of ACL 2017, Student Research Workshop. 2017.

ACL Anthology

‍

• CycleGen：本論文では、ユーザーレビューと製品特性に基づいてテキスト要約を生成するというアイデアを探求しています。これはChatGPT以前のものであり、LLMが執筆作業を支援する可能性を示しています。

‍

Cyclegen: Cyclic consistency based product review generator from attributes

Vasu Sharma, Harsh Sharma, Ankita Bishnu, Labhesh Patel. Proceedings of the 11th International Conference on Natural Language Generation. 2018.

ACL Anthology

‍

特許

• VoIPバッファリングおよびネゴシエーションプロトコル：この特許は、VoIP通話の音声品質を向上させる単純なバグ修正から生まれました。それは、一見ありふれた解決策の中にもイノベーションの可能性があり、防御的な特許戦略を検討することの重要性を示しています。

AIを活用したビジネス課題の解決

AIで手作業のプロセスを変革することには、多くの課題と機会があります。以下にいくつかの重要なポイントを挙げます。

流行ではなく、ビジネスから始める

• 核となるビジネス課題を見極める：なぜ自動化するのか？定量化可能なメリット（スケーラビリティ、コスト削減、スピード）は何ですか？
• 期待値を適切に管理する：AIは魔法ではありません。何が達成可能かを伝え、現実的なパフォーマンス指標を設定しましょう。
• データの役割を理解する: データの管理、収集、品質保証が作業の90%を占めます。正確なモデルにはクリーンなデータが不可欠です。

正しい道筋を築く

• 一歩ずつ着実に: コンセプトを実証し、パイプラインを構築するために、単一のインパクトの大きいユースケースに焦点を当てましょう。
• コンプライアンスを最優先に: データの1バイトに触れる前に、適切なデータ同意と利用を確実にしましょう。
• 指標が重要: 成功を評価し、今後の意思決定を導くために、関連する指標（精度、再現率、エラー率）を追跡しましょう。
• チームワークが鍵: MLエンジニアリング、データ管理、製品開発の専門知識を持つチームを編成しましょう。

最初の一歩の先へ

• 繰り返し、進化する: データとフィードバックに基づいて、AIソリューションを継続的に評価、改善、拡張しましょう。
• 学習曲線を受け入れる: 組織内でAI理解の文化を築くために、人材と教育への投資を惜しまない覚悟を持ちましょう。

留意すべき重要な点

• 99%の罠に注意: 個別のケースでの高い精度は、より大きな問題を隠蔽する可能性があります。全体的なパフォーマンスとエラー率に注意を払いましょう。
• 統計的に考える: 精度や再現率といった指標は、単純な正答率よりもAIのパフォーマンスをより詳細に示します。

ビジネスニーズを優先し、データ品質に注力し、強固なチームを構築することで、複雑さを乗り越え、AIの真の可能性を引き出し、業務を変革することができます。

MLOpsパイプラインの構築

複雑なMLシステムを構築する方にとって、留意すべき点がいくつかあります。

クラウドファーストを採用し、アジャイル性を維持する

• 迅速な初期設定のために、AWS SageMakerのようなクラウドプロバイダーが提供する組み込みのMLOpsツールを活用しましょう。
• クラウドエコシステム内に留まることで、ベンダー管理やコンプライアンスのハードルを回避できます。
• 限界が生じた場合は、ネイティブな提供機能を超えて、オープンソースプラットフォームやベンダーのような特化したソリューションを探しましょう。

データ品質の重要性

• クラウドプロバイダーはデータ品質を軽視しがちであり、追加の内部システムやサードパーティサービスが必要となることを認識しましょう。
• モデルの精度とパフォーマンスを確保するために、自動化されたデータクリーニングと検証を優先しましょう。

アーキテクチャ上の考慮事項

• モデル構築 vs. 本番運用：モデル開発とデプロイメントには、それぞれ異なるスキルセットと責任範囲を持つ別々のチームを検討しましょう。
• スケーラビリティとアジリティのための構造：パイプラインの進化に合わせて新しいツールや統合に対応できる、柔軟なアーキテクチャを設計しましょう。

サイロを打ち破る：成功のための結束力のあるMLOpsチームの構築

MLOpsの急速な世界では、コラボレーションが最も重要です。しかし、多くの場合、チームは分断され、データサイエンティストは孤立してモデルを構築し、エンジニアはそれらをデプロイ・維持するのに苦労しています。その結果、進捗は遅れ、機会を逃し、関係者は不満を抱えることになります。

では、どうすればこれらのサイロを打ち破り、成功するMLOpsチームを構築できるのでしょうか？

全員をまとめる

プロダクトマネージャー、データエンジニア、DevOps、セキュリティ、MLエンジニア、QA、さらにはカスタマーサポートまで、それぞれが独自の専門知識を持つ8〜10人のクロスファンクショナルチームを想像してみてください。この多様なグループは、共通の目標（例：不正行為の削減）によって団結し、イノベーションと効率性の強力な原動力となります。

このアプローチが機能する理由は次のとおりです。

• 共有されたオーナーシップ: モデルのライフサイクル全体に誰もが責任を持つことで、「他人任せ」の考え方はなくなります。問題は協力して解決され、ソリューションは実際のデプロイとメンテナンスのために最適化されます。
• 情報に基づいた意思決定: データエンジニアはMLのニーズを理解し、MLエンジニアはデプロイの現実を認識します。この知識の相互作用により、より良いモデル選択と特徴量エンジニアリングが実現し、デプロイ不可能な「研究としては完璧な」モデルの落とし穴を回避できます。
• 迅速なイテレーション: 密接な連携は、コミュニケーションと俊敏性を育みます。チームはモデルの実験、改良、反復を迅速に行い、その努力のインパクトを最大化できます。

そのようなチームを構築するためのスキルギャップへの対処

的を絞った採用を行うことが最も重要です。MLパイプラインを深く理解しているデータエンジニアと、ソフトウェアエンジニアリングの原則を理解しているMLエンジニアが必要です。この多様なスキルの組み合わせこそが、高性能なMLOpsチームを築く秘訣です。

サイロを打ち破ることは、構造だけでなく、文化の問題でもあります。オープンなコミュニケーションを奨励し、多様な視点を尊重し、誰もが貢献する力を与えられていると感じる環境を作りましょう。そうすることで、MLの夢を現実にする結束力のあるMLOpsチームを構築できます。

クラウドプロバイダーの障害を乗り越える

クラウドプロバイダーに大きく依存している場合、多くの潜在的な障害に遭遇する可能性があります。そのようなシナリオでは、障害が発生した際に方向転換できることが非常に重要です。

• 代替案を検討することを恐れないでください: クラウドプロバイダーが限界に達した場合、専門ベンダーやオープンソースソリューションを探してギャップを埋めましょう。
• 積極的なコミュニケーションが重要: 懸念事項はためらわずにクラウドプロバイダーに直接伝えましょう。フィードバックは、コラボレーションの改善や独自のソリューションへのアクセスにつながる可能性があります。
• 適応性が鍵となる: 新しいテクノロジーや変化するプロバイダーの提供サービスに基づいて、アプローチを調整する準備をしておきましょう。

発生しうる一般的な課題をいくつかご紹介します

課題1：厳しく規制されたデータアクセス

機密データ（PII、医療記録）を扱う場合、GDPRやCCPAのような厳格な規制が適用されます。クラウドプロバイダーは一般的な基準には準拠しているものの、セキュアなアクセスと監査証跡のための特定のツールを提供していない場合があります。

これらに対する潜在的な解決策は次のとおりです。

• 代替ベンダー：厳しく規制された環境に特化し、きめ細かなアクセス制御と監査機能を提供する企業を探しましょう。
• オープンソースソリューション：オープンソースツールを検討し、特定のコンプライアンス要件に対応できるようカスタマイズしましょう。

課題2：独自の機能とアクセス制限

クラウドプロバイダーは、特定の機能を保留したり、独自のスケジュールでリリースしたりすることがあり、クライアントは重要な機能のリリースを待たされることがあります。

これに対する潜在的な解決策は、そのクラウドプロバイダーの担当者（POC）と積極的にコミュニケーションをとることです。

POCに直接フィードバックし、直面している障害を伝えることで、あなたとあなたのチームがプライベートベータプログラムに早期アクセスできる場合があり、将来のソリューションを見逃すことがなくなります。

覚えておいてください。障害があっても、積極的で適応力のある考え方があれば、進化し続けるクラウドベースのMLOpsの世界で課題を機会に変えることができます。

生成AIの未来

生成AI、特にLLM（大規模言語モデル）は今や大流行しています。しかし、現在LLMは「過熱期」にあり、多様なタスクを魔法のように処理できると称賛されています。開発者はLLMにAPIコールを投げつける傾向があり、レート制限や高コストといった問題につながっています。

企業導入における課題

• コストとスケーラビリティ：大規模モデルは高価で計算負荷が高く、広範な企業での利用には不向きです。
• モデルの安全性とバイアス：企業環境ではモデルの安全性と潜在的なバイアスに対する制御が求められますが、これはLLMでは困難な場合があります。
• 推論時間：LLMはレイテンシに課題があり、生産性やユーザーエクスペリエンスを妨げる遅延を引き起こします。

未来：スモール言語モデルが救世主となるか？

企業内の特定のタスクやドメイン向けにトレーニングされたSLMへの移行があるかもしれません。

この「ルーティングされたアーキテクチャ」は、クエリを適切なSLMに誘導し、より高速で効率的な応答を可能にするでしょう。

小規模モデルはコストとスケーラビリティの懸念も解消し、企業にとってより利用しやすくなります。

移行のきっかけと考慮事項

この移行は、LLMの実用的な限界と、効果的なSLMの普及が進むことによって、段階的に進むでしょう。

コスト削減とレイテンシーの改善は、SLMの導入を加速させる上で重要な役割を果たすでしょう。

True ML Talksシリーズの過去のブログ記事をご覧ください。

‍

GenAI and LLMOps for GTM (Go-To-Market) @ Twilio‍

Dive deep into Twilio’s GenAI applications like XGPT, and RFP Genie for revolutionizing GTM (Go-To-Market) Strategies. Deep dive into the Backend for these applications.

TrueFoundry Blog TrueFoundry

‍

引き続きTrueML YouTubeシリーズを そしてTrueML ブログシリーズを。

TrueFoundry は、Kubernetes上で動作するMLデプロイメントPaaSであり、開発者のワークフローを高速化し、モデルのテストとデプロイにおいて完全な柔軟性を確保しながら、インフラチームには完全なセキュリティと制御を保証します。当社のプラットフォームを通じて、機械学習チームが デプロイおよび監視を モデルを15分で、100%の信頼性、スケーラビリティ、そして数秒でのロールバック機能で実現できるよう支援します。これにより、コストを削減し、モデルをより迅速に本番環境にリリースできるようになり、真のビジネス価値の実現を可能にします。