True ML Talks #18 - Tushar Kant氏とのGenerative AIに関するディスカッション

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回はML Platformを深掘りし、Tushar氏にお話を伺います。
Tushar氏は、トップテクノロジー企業で20年以上の経験を持つ熟練したMLOpsリーダーであり、プロダクト、ビジネス、エンジニアリング、投資銀行業務における広範なスキルを有しています。また、世界的なIIT、AI、MLフォーラムの共同創設者でもあり、そのための非常に活発なSlackコミュニティも運営しています。
フルエピソードは以下からご視聴いただけます:
IIT AIおよびMLフォーラム
フォーラムのビジョン
IIT AI/ML Forumは、AI/ML分野で働くIIT出身者が知識を共有し、協力し、互いに助け合えるコミュニティを創出するというビジョンのもとスタートしました。協力し合うことで、IIT出身者は世界中の他のどの工科大学をも凌駕できると信じていました。
このフォーラムは大成功を収め、世界中から1800人以上のメンバーが参加しています。フォーラムはイベントを開催し、他の組織を支援し、それ自体が繁栄するコミュニティへと成長しました。
フォーラムの成果
Tushar氏は、フォーラムが成し遂げた特に3つのことを誇りに思っています。
- IconにおけるAI向け1デイトラックの主催:これはシリコンバレーにおける主要なカンファレンスであり、フォーラムがAIトラックを主催できたことは、その評判と影響力の証です。
- メンバー間の強固な繋がりの構築:フォーラムは、メンバー間で生涯にわたる友情やビジネスパートナーシップを育む支援をしてきました。
- COVID-19パンデミック中のサポートシステムの提供:世界がロックダウンされた際も、フォーラムは隔週で集まり続け、メンバーに知識とサポートの源を提供しました。
AIとMLOpsの成長における決定的な瞬間
Cloud computing、Transformers、Pre-trainingの組み合わせは、今後のAIとMLOpsのイノベーションにおける主要な推進力となるでしょう。特に、自然言語処理とコンピュータビジョンを組み合わせて複雑な問題を解決するマルチモーダルAIの可能性に注目が集まっています。
Cloud computingは、すべての人にとってAIをより身近で手頃なものにしました。これにより、スタートアップや個人が高価なインフラに投資することなくAIアプリケーションを開発・デプロイできるようになり、この分野でのイノベーションが急増しました。
Transformersは自然言語処理とコンピュータビジョンに革命をもたらしました。Transformersはデータ内の長期的な依存関係を学習できるニューラルネットワークアーキテクチャの一種です。これにより、機械翻訳や画像認識などのタスクに非常に適しています。
Pre-trainingは、大規模言語モデルをテキストやコードの膨大なデータセットで事前学習させる手法です。この事前学習済みモデルは、翻訳や質問応答などの特定のタスクに合わせてファインチューニングできます。事前学習により、広範なタスクにおいてAIモデルのパフォーマンスが大幅に向上しました。
ChatGPTとGenerative AI:産業全般における潜在的なアプリケーション
ChatGPTとgenerative AIは、多くの産業に革命をもたらす可能性を秘めています。彼は特に、カスタマーサービスの向上、不正行為の削減、製品やサービスのパーソナライズ、医療の改善におけるこれらの技術の可能性に関心を寄せています。
さまざまな産業におけるChatGPTとgenerative AIの具体的な活用例:
- カスタマーサービスと体験:ChatGPTとgenerative AIを使用して、問い合わせへの対応やレポートの生成など、カスタマーサービスのタスクを自動化できます。これにより、カスタマーサービス担当者はより複雑なタスクに集中できるようになります。
- リスクアセスメントと不正検知:ChatGPTとgenerative AIを使用して、銀行や金融業界におけるリスクを特定および軽減できます。たとえば、不正取引の検知や借り手のリスク評価に利用できます。
- パーソナライズ:ChatGPTとgenerative AIを使用して、小売業界の顧客向けに製品やサービスをパーソナライズできます。たとえば、過去の購入履歴や閲覧履歴に基づいて顧客に商品をアプローチ・推薦できます。
- 保険料の決定とリスク評価:保険業界において、ChatGPTとgenerative AIを使用して保険料を決定し、保険契約者のリスクを評価できます。
- 患者支援と疾患診断:医療業界において、ChatGPTとgenerative AIを使用して患者支援ツールを開発し、より迅速かつ正確に疾患を診断できます。
LLMとリスクアセスメント
LLMはまだ開発の初期段階にありますが、金融サービス業界におけるリスクアセスメントに革命をもたらす可能性があります。
LLMはより多くのデータをより速く処理できる。 従来のリスクアセスメントモデルは、信用スコアや収入などの限定的なデータに依存しています。LLMは支出パターン、購買行動、オンライン行動など、はるかに多くのデータを処理できます。これにより、より正確なリスクアセスメントを作成することが可能になります。
LLMは関連要因を考慮できる。 信用スコアのような個人の要因に加えて、LLMは個人が勤務している会社やその業界などの関連要因も考慮できます。これにより、より包括的なリスクアセスメントを作成するのに役立ちます。
LLMの未来
エコシステムにおけるプレイヤーのタイプ
彼はエコシステムに3つのタイプのプレイヤーが存在するようになると考えています。
- Foundation model ビルダー:大規模言語モデル自体を開発するOpenAI、Google、Metaなどの企業。
- LLM Ops プラットフォーム:開発者がLLMアプリケーションを構築してデプロイするためのプラットフォームを提供するAWSやGoogleなどの企業。
- LLM ディストリビューター:LLMを活用した製品やサービスを開発し、エンドユーザーに販売する企業。
📌
電力業界のアナロジー:
電力業界には、発電事業者、送電線、販売事業者が存在します。LLM業界において、Tushar氏はFoundation modelビルダーを発電事業者、Cloud computingプロバイダーを送電線、スタートアップ企業を販売事業者として捉えています。
Closed vs. Open Source:
Closed sourceとOpen sourceのLLMの双方にそれぞれの領域が存在することになります。
Closed sourceモデルは、サポートが付いた商用利用可能なソリューションを必要とする大企業に好まれます。Open sourceモデルは、より高い柔軟性とカスタマイズ性を求める小規模な企業や研究者に好まれます。
ミドルウェアの役割:
開発者がLLMをより簡単かつ効率的に使用できるようにするためのミドルウェアが必要とされます。ミドルウェアは、モデル管理、ファインチューニング、モニタリングなどの機能を提供できます。
LLMのメリットとリスク:
LLMは、その用途に応じて人間の能力を増幅させることも、リスクをもたらすこともできるツールとして捉えることが不可欠です。他のツールと同様に、LLMの使用法は人間の選択と意図によって形作られます。LLMには医療の推進、革新的な教育プログラムの育成、現在人間が行っているタスクの自動化を実現する可能性があります。しかし一方で、ディープフェイクの生成、誤情報の拡散、個人の操作といったリスクも存在します。
LLMの開発と利用における人間の役割:
LLMがどれほど精緻になっても、人間の価値観のニュアンスを完全に理解することは決してできません。したがって、人間はLLMが私たちの価値観に合致するようにする上で極めて重要な役割を持ち続けます。これには、LLMの開発と利用に関する倫理的ガイドラインの確立、LLMの利点とリスクについての一般への教育、そしてLLMが訓練データによって制約されるのに対し、人間は創造的に思考し革新的な解決策を見つける固有の能力を持っていることを認識することが含まれます。
汎用RAGシステムの構築:AWS vs. スタートアップ
汎用RAGシステムを構築する場合、AWSとスタートアップはそれぞれ独自の強みと課題を持っています。
AWSの強み:AWSは膨大な顧客基盤とRAGをサポートできる広範なサービスを有しているため、汎用RAGシステムを開発する上で優位な立場にあります。たとえば、AWSはRAGモデルのトレーニングとデプロイのための機械学習プラットフォームであるSageMakerを提供しています。さらに、AWSはRAGワークフローに理想的な様々なデータストレージおよび処理サービスを提供しています。
AWSの弱点:新しいプロダクトを迅速に開発・ローンチするという点では、AWSはスタートアップのアジリティ(敏捷性)に及ばない可能性があります。さらに、特に医療向けRAGのような特定のユースケースにおいて、AWSのフォーカスはスタートアップほど専門的ではないかもしれません。
スタートアップの強み:スタートアップはアジリティに優れており、特定のユースケースに焦点を当ててRAG領域で迅速にイノベーションを起こすことができます。そのニッチな領域への集中は、大企業が見落としがちなユニークなRAGソリューションやイノベーションに繋がることがあります。
スタートアップの課題:スタートアップはリソースの制約に直面することが多く、AWSのような広範な顧客基盤やサービスポートフォリオを欠いています。また、大手テック企業の規模とリソースがあるため、価格面でAWSと競合することは容易ではありません。
RAGシステムを開発するスタートアップへのアドバイス:
- 特定のユースケースに焦点を当てる:スタートアップは特定のユースケースに向けたRAGソリューションの開発に集中すべきです。これにより、AWSや他の大手企業との差別化を図ることができます。
- 迅速に行動する:スタートアップはRAGソリューションを開発して迅速に市場に投入する必要があります。AWSや他の大手企業が彼らのプロダクトを容易に模倣できるためです。
- 魅力的なM&A候補となる:スタートアップは、M&Aの買収対象として魅力的なRAGソリューションの開発に注力すべきです。これにより、AWSや他の大手企業と競合できない場合の出口戦略(エグジット)を確保できます。
変化の速いGenerative AIの世界を航海する
リーダーへのアドバイス
- 柔軟かつ迅速であること(Nimble & Agile)。Generative AIの分野は絶えず進化しているため、新しい展開に迅速に適応できるマインドセットとチームを持つことが重要です。
- 課題の解決に集中すること。Generative AIのハイプ(過度な宣伝)に惑わされないでください。代わりに、この技術で解決できる実際のビジネス課題を特定することに集中してください。
- 遅れることを恐れないこと。新しいGenerative AIソリューションで他社に先を越されても問題ありません。重要なのは、他社の失敗から学び、より優れプロダクトを構築することです。
- 無理に適用しないこと。すべての問題にGenerative AIソリューションが必要なわけではありません。自身のビジネスセンスを活用して、この技術で解決すべき適切な問題を特定してください。
データサイエンスおよびエンジニアリングのリーダーへのアドバイス
- 手段(ハンマー)から始めないこと。Generative AIを使う方法ばかりを探さないでください。まずはビジネスの課題を特定し、Generative AIがそれを解決するための適切なツールであるかを確認することから始めてください。
- 顧客から逆算して考えること。顧客のニーズは何ですか?彼らのペインポイントは何ですか?顧客を理解できれば、彼らを助けるためにGenerative AIをどのように活用できるかを考え始めることができます。
- トップダウンの命令に安易に従わないこと。経営陣がすべてのチームにGenerative AIのユースケースを出すよう命じている場合でも、ただ形式的に従うのはやめましょう。なぜGenerative AIがそれらの問題に対する適切なソリューションだと考えるのか、議論を投げかけてみてください。
True ML Talksシリーズの過去のブログも併せてお読みください:
TrueML YouTubeシリーズの視聴と、TrueML ブログシリーズの購読をぜひご継続ください。
TrueFoundryは、Kubernetes上で動作するML Deployment PaaSです。インフラチームの完全なセキュリティと制御を確保しつつ、モデルのテストとデプロイにおいて完全な柔軟性を提供し、開発者のワークフローを加速します。当社のプラットフォームを通じて、機械学習チームは100%の信頼性、スケーラビリティ、および数秒でのロールバック機能を備えたモデルを15分でデプロイおよびモニタリングできるようになり、コスト削減と本番環境へのモデルの迅速なリリースを実現して、真のビジネス価値の創出を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






