True ML Talks #17 - SlackにおけるMLプラットフォーム、LLM、SlackGPT

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、SlackのRecommend API、SlackGPT、LLMについて深く掘り下げ、Katrina Ni氏にお話を伺います。
Katrina Ni氏は、SlackのシニアMLエンジニアであり、テクニカルスタッフのリードメンバーでもあります。彼女は同社のMLチームを率い、プロダクト機能全体にわたってRecommend APIやスパム検出などに携わってきました。
📌
Katrina氏との会話では、以下のトピックを取り上げます:
- SlackにおけるMLと生成AIのユースケース
- MLに焦点を当てたSlackのインフラストラクチャ
- SlackにおけるRecommend APIのトレーニング、検証、デプロイ、モニタリング
- Recommend APIのビジネスインパクトの測定
- 顧客のプライバシーがトレーニングインフラストラクチャに与える影響
- Slack GPTの構築と大規模言語モデル(LLM)トレーニングにおける課題
- 言語モデルにおけるプロンプトエンジニアリングの未来
- LLMの進歩に関する最新情報のキャッチアップ方法
エピソードの全編は以下からご視聴いただけます:
SlackにおけるMLと生成AIのユースケース
- パーソナライズされたチャンネルの推薦: MLと生成AIにより、Slackでパーソナライズされたチャンネル推薦が可能になります。チームに参加した新規ユーザーは、人間関係やデータに基づくインサイトに基づいて関連チャンネルの提案を受け取ることができ、ユーザーエクスペリエンスが向上します。
- Recommender APIの統合: Slackの統合Recommender APIは、プロダクト機能チーム全体にサービス推薦機能を提供します。推薦機能が主要なビジネスモデルではないにもかかわらず、精巧なレコメンダーエンジンがあらゆる規模のユーザーにスムーズに対応します。
- マルウェアの検出とスキャン: MLと生成AIは、マルウェアリンクを検出・スキャンすることでSlackのセキュリティ向上にも貢献し、より安全なコミュニケーション環境を構築します。
MLに焦点を当てたSlackのインフラストラクチャ
Slackは、優秀なデータエンジニアリングチームと堅牢なデータウェアハウスソリューションに依拠しています。ジョブスケジューリングとビッグデータ処理にはAirflowを使用しており、MLタスクに不可欠なサポートを提供しています。
SlackのインフラストラクチャはKubernetesをベースにしており、マイクロサービスアーキテクチャをサポートしています。同社のクラウドチームは、マイクロサービスを簡単にデプロイできるようにKubernetesベースのフレームワークを開発し、柔軟性と拡張性を提供しています。
Slackは独自のニーズに対応するため、既存のソリューションを使用する代わりにカスタム機能ストア(Feature Store)を開発しました。このカスタムストアは、MLアプリケーションのための特徴量を効率的に管理・活用します。
Slackの専任チームは、Kubernetes上にオーケストレーション層を構築し、マイクロサービスのデプロイを合理化してコンソールなどの内部サービスと統合しました。これによりKubernetesの活用が進む一方で、データベースに強く依存するアプリケーションには引き続き課題が存在します。
SlackにおけるRecommend API
Slackの初期段階では、効果的な埋め込み(Embedding)および派生メカニズムの開発に取り組みました。これらは、ユーザーのインタラクションを理解し、ユーザーやチャンネルの数値埋め込みを生成するために大量のデータを処理することを含んでいました。その成果の1つがユーザーアクティビティに基づく埋め込みサービスであり、もう1つはメッセージに基づくものでしたが、当時は広く採用されませんでした。
その後、これらの埋め込みを活用して、よりユーザーフレンドリーなプロダクトを構築することに焦点が打診されました。チャンネルやユーザーの推薦など、提案がユーザーの利便性を高める領域を特定することで、推薦の概念が生まれました。これによりRecommend APIが開発され、Slackプラットフォームのさまざまな部分と統合され、既存の埋め込みを利用してユーザーアクティビティに基づく関連データを取得するようになりました。また、このAPIは機能ストアを取り入れ、追加機能でデータを補強し、フィルタリングとスコアリングのメカニズムを適用しました。
開発が進むにつれてRecommend APIはSlack内のさまざまな機能に統合され、プラットフォームが関連するチャンネルやユーザーをユーザーに推薦できるようになり、体験のスリム化とエンゲージメントの向上を実現しました。
SlackGPTの詳細については、以下のブログでお読みいただけます。
同じブログから、SlackのRecommend APIインフラストラクチャの非常にわかりやすい概要を示す画像を掲載します

Recommend APIにおけるモデルトレーニングパイプラインと検証ワークフロー
Kubernetes、Airflow、およびトレーニングと検証への階層的アプローチを活用することで、SlackはRecommend APIのモデルが効果的かつ信頼性が高く、パーソナライズされた推薦をユーザーに提供できるようにしています。ABテストにより、デプロイ前にオンライン環境でモデルのパフォーマンスを厳密に評価することが保証され、Slackにおける堅牢でデータ駆動型のMLOpsフレームワークに貢献しています。
1. 階層的コーパスとユースケース: Slackのモデルトレーニングパイプラインは階層的アプローチに従います。チャンネルやユーザーで構成される階層的コーパスから始まり、デイリーダイジェスト、コンポーザー、チャンネルブラウザなどの複数のユースケースに対応し、Slack内の特定の機能にサービスを提供します。
2. モデル選定と実験: ユースケースごとに、大規模な回帰モデルから始めてXGBoostやLightGBMなどの他のアルゴリズムを探求しながら、多様なモデルがトレーニングされ実験されます。モデルパラメータがファインチューニングされ、最も適したモデルを特定するためにさまざまなデータバリエーションで実験が行われます。
3. KubernetesとAirflowによるトレーニングパイプライン: トレーニングパイプラインはKubernetesとAirflowを使用してオーケストレーションされています。Kubernetesクラスタはモデルトレーニングタスクを効率的に処理し、Airflowはデータ収集からさまざまなユースケース向けの各種モデルのトレーニングまでのワークフローを管理します。
4. ロギングとオフラインメトリクス: トレーニング中、チームは将来のモニタリングと分析のためにオフラインメトリクスとモデルパラメータを記録します。
5. シームレスなモデル追加と管理: このアーキテクチャにより、最小限のコード変更でトレーニング用の新しいソースやモデルをシームレスに追加できます。
6. 検証とABテスト: モデルを本番環境にデプロイする前に厳密な検証が実施され、分類モデルやランキングモデルのAUCなどのオフラインメトリクスが比較されます。ABテストが広範に使用され、より優れたオンラインメトリクスを持つモデルがデプロイ用に選定されます。
7. 社内ABテストフレームワーク: Slackは独自の社内ABテストフレームワークを保有しており、新しい機能をリリースする際にMLチームやプロダクトチームによって使用されています。このフレームワークは、さまざまなビジネスメトリクスでモデルのパフォーマンスを比較することにより、データ駆動型の意思決定を可能にします。
Recommend APIのモデルデプロイとスケール
SlackのMLモデルは、リクエスト処理のためのインターフェースとしてGRPCを使用し、Kubernetesクラスタにデプロイされています。GRPCは、FastAPIのようなJSONベースのAPIと比較して、安全性、効率性、および高速な処理を提供します。制限はあるものの、GRPCはAPIとモデル間の堅牢で効率的な通信を保証し、スムーズなデプロイプロセスに寄与しています。
デプロイ戦略にはKubernetesのオートスケーリング機能の活用が含まれており、需要に応じてモデルがリソース使用量を調整できるようになっています。膨大なユーザーベースを持つSlackは、平均して毎秒約100リクエストというかなりの数のリクエストを処理しています。
GRPCの実装とサービングクラスタマイクロサービスのセットアップには集中した取り組みが必要でしたが、スケールの処理とモデルパフォーマンスの最適化において効果的であることが証明されました。
Recommend APIのモデルモニタリングと自動再トレーニング
1. オフラインおよびオンラインメトリクスのトラッキング: Slackのモデルモニタリングパイプラインは、オフラインおよびオンラインのメトリクスを効率的に追跡します。精度、F1、ROCなどのオフラインメトリクスがログに記録され、専用のダッシュボードで可視化されます。受け入れ率(Acceptance Rate)を含むオンラインメトリクスも、別のダッシュボードを通じて監視されます。
2. 異常検知と特徴量のドリフト: Slackは独自のアノマリー検知フレームワークを活用して特徴量のドリフト(Feature Drift)を監視します。定期的なモデル再トレーニング(日次のトレーニングと週次のデプロイ)により特徴量ドリフトの影響が軽減され、大きな問題にならないようになっています。
3. 自動再トレーニングパイプライン: 再トレーニングパイプラインはAirflowを使用して自動化されており、モデルが常に最新のデータで更新されるように保持されます。
4. 可視化のための自動ダッシュボード: データエンジニアは、モデルのパフォーマンスとメトリクスを可視化する使いやすいダッシュボードを開発しました。ダッシュボードは新しいデータで自動的に更新され、新しいユースケースの追跡を容易にします。
5. 新しいユースケースの簡単な統合: データエンジニアが構築した自動統合フレームワークのおかげで、モニタリングおよび再トレーニングパイプラインへの新しいユースケースの追加は非常に簡単です。
自動化と定期的な再トレーニングを活用することで、SlackのMLモデルは継続的に監視、最適化され、本番環境で高い信頼性を維持しています。堅牢なMLOpsフレームワークは、Slackの規模の大きいユーザーベースに対するシームレスで効率的なモデルデプロイに貢献しています。
Recommend APIのビジネスインパクトの測定
Slackは、Recommend APIのビジネスインパクトを評価するためにさまざまなメトリクスを採用し、そのパフォーマンスと有効性に関する貴重なインサイトを得ています。使用される主なメトリクスは以下の通りです:
- 受け入れ率(Acceptance Rate): ユーザーが推奨されたチャンネルやユーザーを受け入れたり、それらとインタラクションしたりする割合を測定することで、APIのオンラインパフォーマンスを監視します。受け入れ率が高いほど、ユーザーエクスペリエンスとエンゲージメントが優れていることを示します。
- ユーザーのクリックと受け入れ: 推奨されたチャンネルやユーザーに対するユーザーのクリック、および提案されたつながりの受け入れを追跡します。これらのメトリクスは、推奨に対するユーザーのエンゲージメントとプラットフォーム内での有意義なインタラクションを明らかにします。
- プロダクトチーム向けのカスタムメトリクス: さまざまなプロダクトチームが、特定のゴールや目的に合わせたカスタムメトリクスを使用します。これには、新規参加ユーザー数、チームの成功度、最優先スタックメトリクスなどが含まれます。
- ABテスト: モデルのパフォーマンスやAPIのバリエーションを評価するために不可欠です。デプロイに最も効果的なモデルを選択するためのデータ駆動型の意思決定を可能にします。
- 総合的なビジネスインパクト評価: 複数のメトリクスからのインサイトを組み合わせて、目的の達成とユーザーへの価値提供におけるAPIの有効性を包括的に理解します。
これらのメトリクスを分析し、ユーザーからのフィードバックに基づいてRecommend APIを最適化することで、SlackはAPIがユーザーエクスペリエンスを大幅に向上させ、繋がりを育み、プラットフォーム内でポジティブなビジネス成果を推進することを確実にしています。
顧客プライバシーがトレーニングインフラストラクチャに与える影響
顧客のプライバシーに対するSlackの取り組みは、トレーニングインフラストラクチャのアーキテクチャとデータハンドリングの実践に大きな影響を与えています。データプライバシーへの厳格な焦点はMLOpsスタックのさまざまな側面に反映されており、機密情報の安全でコンプライアンスに準拠した取り扱いを保証しています。顧客のプライバシーがSlackのトレーニングインフラストラクチャに与える影響は以下の通りです:
- 機密データの慎重な取り扱い: Slackは、個人識別情報(PII)などの機密データを扱うために堅牢なデータプライバシー対策を採用しています。データエンジニアリングチームは、プライバシー規制に準拠するためにPIIの削除と保存方針の実装を行っています。
- 機密データへのアクセス制限: 機密情報を含むデータセットへのアクセスは制限されており、Manitobaという分離されたデータウェアハウスに保管されています。この制限されたアクセスによりデータの安全性は高まりますが、モデルのデバッグや分析の際に課題が生じることがあります。
- デバッグの課題とモデルインタラクション: 機密データへのアクセスが制限されているためモデルのデバッグが複雑になる場合があり、モデルの動作の正確性を確保するために代替のアプローチやモニタリングツールが必要となります。
- モデルトレーニングにおけるデータプライバシー: Slackはモデルをトレーニングする際、特にスパム検出のように機密情報との接触を伴う可能性のあるタスクにおいて、データプライバシーポリシーへの準拠を徹底しています。
- データプライバシーのためのアーキテクチャ上の適応: データプライバシーを維持するため、Slackは安全なデータストレージ、アクセス制御、データ暗号化の手法を組み込んだ特定のアーキテクチャ上の選択を行っています。
Slack GPTの構築と大規模言語モデル(LLM)トレーニングにおける課題
Slackは、プラットフォーム上の情報過多に対処し、ユーザーの生産性を向上させるための要約用強力言語生成AIであるSlack GPTを導入しました。Slack GPTの構築には課題が伴い、大規模言語モデルをトレーニングするためのインフラストラクチャの革新が必要でした。これには、クラスタのセットアップ、Kubernetesの使用、並列処理技術の探求が含まれていました。要約の品質を向上させるため、チームはプロンプトチューニングを導入し、プロンプトを慎重に作成してモデルの動作に影響を与え、一貫性のある要約を生成するようにしました。プロンプトの体系的な評価が非常に重要であり、チームはプロンプトの有効性を評価するツールを開発して、さまざまなプロンプトの実験を可能にしました。オフライン評価とオンライン評価のギャップを埋めることで、オフライン調査中に観察された品質がオンラインでのユーザー体験にスムーズに反映されるようにしました。SlackがAI機能に投資する中で、MLエンジニアは、Slack GPTのようなAI駆動型機能の探求、評価、体系的な改善を通じて、ユーザーエクスペリエンスを最適化する上で極めて重要な役割を果たしています。SlackGPTの詳細については、以下のリンクからお読みいただけます。
言語モデルにおけるプロンプトエンジニアリングの未来
プロンプトエンジニアリングは言語モデルにとって極めて重要であり、応答の品質に影響を与えます。現時点では、標準化されたアプローチがなく試行錯誤が行われています。将来の可能性としては以下のようなものが挙げられます:
- 標準化とベストプラクティス: 特定のユースケースに合わせてプロンプトを最適化するための、標準化された実践手法やガイドラインの登場。
- 自動プロンプト最適化: 分析やユーザーからのフィードバックに基づいてAI駆動型システムがプロンプトを改良し、プロセスを効率化。
- 高度な実験用インターフェース: モデル間での効率的なプロンプト操作と比較のための、ユーザーフレンドリーなプラットフォーム。
- ユーザーフィードバックの組み込み: 適応的でパーソナライズされた応答のために、プロンプトの調整を導くリアルタイムのインサイト。
プロンプトエンジニアリングは現在盛んに探求されている領域であり、手動での介入と自動化のバランスをとることを目指し、AIを活用したコミュニケーションの未来を形作っています。
LLMの進歩に関する最新情報のキャッチアップ方法
大規模言語モデル(LLM)の絶え間ない進歩について最新情報を把握しておくことは、データサイエンティストやMLエンジニアにとって不可欠です。
AIやNLPコミュニティの多くの専門家は、新しい研究、モデルのリリース、LLM分野でのブレークスルーに関するリアルタイムの情報にアクセスするための貴重なプラットフォームとしてTwitterを活用しています。Twitterで影響力のある研究者や実務者をフォローすることで、この分野の最新トレンドやアップデートについて素早く知ることができます。さらに、専門家たちは同僚とのインタラクションを通じても情報を得ています。チーム内では、Llama-2のようなLLMのリリースやSageMakerなどのプラットフォームとの統合といった重要なニュースが共有され、協力的な学習環境が形成されています。研究論文を読むことに集中するデータサイエンティストやMLエンジニアもいれば、実用的なユースケースを優先するエンジニアもいます。後者は、新しい開発が自身の業務にどのように直接影響を与え、現実世界のシナリオでLLMのアプリケーションをどのように改善できるかを探求することに、より強い関心を持っています。TrueMLシリーズの過去のブログを読む
TrueMLのYouTubeシリーズの視聴と、TrueMLブログシリーズの定期チェックをぜひ続けてください。
TrueFoundryは、Kubernetes上で動作するMLデプロイPaaSです。開発者のワークフローを高速化しながら、モデルのテストとデプロイにおける完全な柔軟性を提供し、インフラチームには完全なセキュリティとコントロールを保証します。当社のプラットフォームを通じて、機械学習チームは100%の信頼性、拡張性、数秒でのロールバック機能をもって15分でモデルのデプロイとモニタリングを行えるようになり、コストを削減してモデルを本番環境へより迅速にリリースし、実質的なビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






