TrueMLトークス #29 - Beans.AIでのロケーションインテリジェンス向け生成AIとLLM

True ML Talksの新しいエピソードをお届けします。今回は、MLOpsパイプラインと企業におけるLLMアプリケーションについて深く掘り下げていきます。今回は、 サンディープ・シン氏

サンディープ氏は、Beans AI社の機械学習応用AI部門の責任者です。

📌

サンディープ氏との対談では、以下の点について取り上げます：
- AIによるロケーションインテリジェンスの革新
- Beans.AIを支える機械学習エンジン
- クラウドを超えて：ハイブリッド機械学習ワークフロー
- モデルズーの深掘り
- 大規模言語モデルの管理
- モデルホスティングにおける実験とコスト

全編はこちらからご覧ください：

AIによるロケーションインテリジェンスの革新

Beans.AIは、AIを活用して物理空間を理解し、ナビゲートするサービスとしてのソフトウェア（SaaS）ソリューション群を提供しています。そのソリューションは、従来の地図作成を超え、以下を提供します：

• 屋内ナビゲーション： Beans.AIは、大規模な建物内であなたの正確な位置を特定し、目的地まで簡単に案内します。広大な病院施設や巨大なスタジアムを、自分がどこにいてどこへ行くべきかを正確に把握しながら、自信を持って移動する様子を想像してみてください。
• 配送最適化： FedExのような配送会社は、ルートを最適化し、タイムリーな配送を確保するためにBeans.AIの技術に依存しています。このプラットフォームは、大規模な建物内の特定のマンションのような複雑な二次住所でも正確に特定し、配送の遅延や不満を解消します。
• リアルタイムデータインサイト： Beans.AIは、保険、小売、公共安全など、さまざまな業界に貴重なデータインサイトを提供します。同社のインテリジェントなクラスタリング手法は、関連する建物、入り口、通路を特定するのに役立ち、より賢明な意思決定を可能にします。

Beans.AIは、以下を含む複数のデータソースを組み合わせて活用しています。

• 衛星画像： 高解像度の衛星画像は、物理的な環境を理解するための基本となるレイヤーを提供します。
• 公開データと独自データ： Beans.AIは、位置データ、テキストデータ、画像データなど、さまざまな公開データセットとパートナーから取得したデータセットを活用しています。
• ヒューマン・イン・ザ・ループ・アプローチ： このプラットフォームは、AIと人間の専門知識を組み合わせることで、精度と適応性を確保しています。ユーザーはデータポイントを確認・修正でき、それによりプラットフォームの有効性がさらに向上します。

Beans.AIを支える機械学習エンジン

GISの基礎から最先端技術まで：

AIに深く踏み込む前に、地理情報システム（GIS）を理解することは非常に重要です。この基盤は、マッピングソリューションのリーダーであるEsriの専門知識と組み合わさって、彼らのアプローチの基礎を形成しています。

Beans.AIは単一のセットアップに依存していません。彼らはツールとプラットフォームの柔軟な組み合わせを活用しています。

• Esri： コアとなるGIS機能とコンピュータビジョンソリューションのために。
• PyTorch： モデル開発のための人気のある深層学習フレームワークです。
• VS Code： 開発者向けの多機能なコードエディタです。
• Google Cloud Platform (GCP)： モデルのトレーニングとデプロイのための主要なプラットフォーム。
• Vertex AI: Googleが提供する、モデルのバージョン管理と提供のためのマネージド機械学習プラットフォーム。
• Labelbox、V7 Labs、Landing.AI: データラベリングとアノテーションのための多様なプラットフォームで、特定のニーズに対応。

Beans.AIはスピードと適応性を重視しています。さまざまなツールを試し、常に機敏に対応しながら、進化するテクノロジーに目を光らせています。彼らのアプローチは厳格なプロセスに縛られるものではなく、その仕事に最適なツールを選ぶことにあり、これにより迅速な行動とイノベーションが可能になります。

これらのモデルを構築するには、緊密な連携が不可欠です。彼らの最高GIS責任者は、地理的専門知識とAI開発の間のギャップを埋め、円滑なコミュニケーションと知識共有を促進しています。

AIが重要な役割を果たす一方で、Beans.AIは人間の専門知識の価値を認識しています。彼らのGIS知識と特定のユースケースへの理解が開発プロセスを導き、モデルが現実世界のニーズと適切に合致するようにしています。

クラウドを超えて：ハイブリッド機械学習ワークフロー

実験が本番環境対応モデルに移行すると、Beans.AIはGCPを利用します。複雑なアルゴリズムのトレーニングから、大規模な予測の提供まで、GCPは堅牢でスケーラブルなインフラストラクチャを提供します。彼らはKubernetesクラスターを活用してシームレスな水平スケーリングを実現し、荷物の配送が急増するピークシーズンでも応答性を確保しています。

Beans.AIは、単一のプラットフォームではすべてを解決できないことを認識しています。彼らは特定のタスクのためにVertex AIのような他のソリューションも積極的に試しています。しかし、彼らは柔軟性とデータ所有権を重視しています。Landing.AIのように、プラットフォームを超えたモデルのポータビリティを可能にするソリューションは、運用上の容易さとコスト最適化という彼らの哲学と共鳴しています。

Beans.AIは、絶えず進化するAIの状況に責任を持って対応しています。彼らはPalm APIやOpenAIのFalconのような新しいソリューションを積極的に探求し、品質と俊敏性を優先しています。コストと機能のバランスを取りながら、トレーニング後のモデルへのオープンアクセスを提唱しており、これにより、より広範なデプロイメントと影響が可能になります。

モデル動物園の深掘り：コンピュータービジョンからテキスト処理まで

Beans.AIのアプローチは決して一枚岩ではありません。彼らは常に様々なオープンソースモデルを探求し、実験し、特定のニーズに合わせて調整しています。

• コンピュータービジョン: 建物や駐車場のセグメンテーションのようなタスクでは、ResNetベースのモデルから最新のビジュアルトランスフォーマーへと移行し、常に最適なものを追求しています。
• テキスト処理: ユーザーの問い合わせに答えるチャットボットから、自動注文作成のためのメール解析まで、彼らはFalcon 40Bのようなモデルを利用し、H2O.AIのLLM Studioを活用して、より迅速な実験を行っています。

Beans.AIはオープンソースモデルを支持しており、転移学習とカスタマイズを可能にしています。

• Apacheライセンスモデル: 商用利用と特定のタスク向けのファインチューニングを可能にします。
• 実験プラットフォーム： H2O.AIのLLM Studioは、さまざまなモデルのテストとファインチューニング技術を効率化します。

ベンチマークが必ずしも実世界のパフォーマンスに直結するとは限らないため、彼らは独自のデータとタスクでモデルをテストすることの重要性を強調しています。

Beans.AIは、興味深いテキストから画像へのアプリケーションを検討しています。

• アップロードされた荷物の写真のバリエーションを生成： 複数のビューを表示することで、NeRFのようなソリューションを使用してユーザーエクスペリエンスを向上させます。
• 写真から説明を作成： 分析を改善するために、荷物の配置や損傷を自動的に説明します。

彼らはStable Diffusionを検討し、荷物の写真の複数のバリエーションを作成することで、ユーザーエクスペリエンスに驚きと喜びの要素を加えています。

大規模言語モデルの管理

LLMに関しては、トレーニングと推論の必要性の間に明確な区別があります。

• トレーニング： 膨大な計算能力を必要とし、多くの場合、ジョブあたり5倍のGPUを伴います。Beans.AIは、柔軟性とコスト最適化のために、Runpod.IO、Paper Space、Nvidia NGCなどの多様なプラットフォームを活用しています。
• 推論： 扱うのがより小規模で、Google VMにデプロイされることが多いです。これにより、スケーリングとパフォーマンスを完全に制御でき、彼らのペースの速い環境にとって不可欠です。

Googleが主要なエコシステムである一方で、Beans.AIは他の選択肢の検討もためらいません。

• Lambda Labs： 当初は検討されたものの、コストが高すぎると判断されました。
• Azure： モデルホスティング、プロビジョニング、GPUの可用性が向上した有望な代替案です。彼らはデータサイエンスのタスクにおけるその可能性を積極的に評価しています。

Beans.AIは、特定のニーズに基づいて戦略を適応させる柔軟なアプローチを重視しています。

• 制御が最も重要です。 プレーンなVMは、スケーリングとパフォーマンスを完全に制御できるため、Vertex AIのようなマネージドソリューションの利便性よりも優れています。
• 成熟が進んでいます。 Vertex AIのようなマネージドプラットフォームが進化し、より多くの制御を提供できるようになれば、将来的には実行可能な選択肢となる可能性があります。
• Azureの可能性： モデルホスティング、プロビジョニング、GPUの可用性における競争力のある提供は、将来の探求にとって有望な候補となります。

モデルホスティングにおける実験とコスト

レイテンシーやプラットフォームの詳細は当面の懸念事項ではないものの、Beans.AIは事前のコスト見積もりを重視しています。

• 全体的な計算： 実験前に全体的なコストを見積もることは、期待値を設定し、効果的に計画するのに役立ちます。
• 業界全体のニーズ： 実験のためのインテリジェントなコスト予測ツールは、この分野において依然として不足しています。

Beans.AIは、プロンプトエンジニアリングとファインチューニングの間のトレードオフをうまく処理しています。

• プロンプトエンジニアリング： ほぼゼロコストで、シンプルなインタラクションに最適ですが、洗練さに欠ける可能性があります。
• ファインチューニング： より強力ですが、かなりのトレーニングコストがかかります。

最適な結果を得るために、両方の技術を戦略的に組み合わせています。

• コストを意識した探索： 初期実験のためのプロンプトエンジニアリング。
• 主要なアプリケーションのためのファインチューニング： 性能がコストの懸念を上回る場合。

コスト意識を持つことが重要です：

• ゼロからのトレーニングはほとんど現実的ではありません： 高いコストと複雑さから、リスクの高い選択肢となります。
• 賢明なコスト管理が鍵となります： 実験を最適化することで、リソースを節約し、イノベーションを加速します

True ML Talksシリーズの以前のブログをお読みください：

‍

GenAI and LLMs for Sale Outreach @ OneShot

Dive deep into how OneShot leverages GenAI and LLMS for Sales Outreach, and the architecture, technology, and business model supporting this.

TrueFoundry Blog TrueFoundry

‍

TrueML YouTubeシリーズ とTrueML ブログシリーズを引き続きご覧ください。

TrueFoundry は、Kubernetes上で動作するMLデプロイメントPaaSであり、開発者のワークフローを加速させ、モデルのテストとデプロイにおいて完全な柔軟性を与えつつ、インフラチームには完全なセキュリティと制御を保証します。当社のプラットフォームを通じて、機械学習チームが デプロイおよび監視を 15分でモデルを構築し、100%の信頼性、スケーラビリティ、数秒でのロールバック機能を備えることで、コストを削減し、モデルをより迅速に本番環境にリリースすることが可能になり、真のビジネス価値の実現へとつながります。