True ML Talks #11 - LLMs、LLMops、GenAI(Greenhouse CTO)

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回もLLM、LLMops、Generative AIを深掘りし、Michael Boufford氏とお話しします。
MichaelはGreenhouseのCTOであり、約11年前に最初の従業員として入社しました。そのため、最初のコードを書き、現在の規模に成長するまで会社を築き上げてきました。
📌
Mikeとの対談では、以下のテーマを取り上げます:
- GreenhouseにおけるMLチームの組織構造
- GreenhouseでのLLMおよびGenerative AIモデルの活用方法
- Large Language Modelsの運用・導入
- Prompt Engineeringの理解
- LLMOpsとLLMに不可欠なツール群
全編は以下からご視聴いただけます:
GreenhouseにおけるData ScienceおよびMachine Learningチームの組織構造
Greenhouseのデータサイエンスおよび機械学習チームは、会社の成長とともに進化し、ジェネラリストから専門化された役割へと移行してきました。主な組織構造の特徴は以下の通りです:
- Data Engineering and Platform:専用チームがデータエンジニアリング、データウェアイジング、機械学習機能の開発を管理しています。マーケティング活動を支援し、コードやモデルのデプロイと運用を担当します。
- Product Data Science:革新的なプロジェクト、データ分析、インサイトを通じて製品開発を推進し、プロダクトの意志決定を支援することに焦点を当てています。
- ML Engineering:さまざまなプロダクトのユースケースに合わせて、拡張性と信頼性の高い本番環境対応モデルを構築することを専門とするMLエンジニアリングチームを擁しています。
さらに、Business Analystチームがビジネス関連の課題に対応し、インサイトを提供しています。
インフラ管理は独立したInfrastructureチームが担当し、KubernetesやAWSなどのコンポーネントを管理しています。データストアにも専用の管理チームが存在します。
GreenhouseにおけるLLMおよびGenerative AIモデルの活用方法
Greenhouseの運用において、これらのモデルが活用されている複数のユースケースをご紹介します。
- 求人の類似性とデータ処理: Greenhouseでは、BardやGPT-2を含むLLMを使用して、求人関連データのさまざまな側面を分析・処理してきました。これらのモデルは、異なる求人情報の類似性の判別や、生の履歴書データの解析・処理を支援します。主な焦点は、求人票に関連する効率的なデータ処理とラベリング作業にあります。
- より迅速な回答のためのRAGアーキテクチャ: Greenhouseは最近、革新的なユースケースのためにGPT-4の活用を検証しています。その1つが、ユーザーの質問に迅速に回答するためのRAG(Retrieval-Augmented Generation)アーキテクチャの実装です。生成モデルを活用することで、従来は手動でのレポート作成が必要だった複雑な質問に対する回答をユーザーが得られるようにすることを目指しています。生成モデルはトランスレーターとして機能し、英語での問い合わせをデータストアと対話するクエリ言語に変換し、その応答を人間が理解できる形に再翻訳します。
- レポーティングとビジネスインテリジェンス(BI): 求人票や履歴書という形で大量のテキストデータにアクセスできるGreenhouseは、レポーティングやBI目的でLLMや生成モデルを活用するのに適した位置にいます。Greenhouseはすでに事前構築済みレポート、カスタムレポートビルダー、データレイク製品を提供しています。同社はLLMを活用して、採用チャネルのパフォーマンス、面接プロセス、採用状況、予算分析など、採用に関する幅広いレポーティングの質問に回答することを構想しています。
Large Language Modelsの運用・導入:課題への対処とセルフホスティングの活用
Large Language Modelsにおける課題
GPT-4などのモデルを搭載したChatGPTは印象的な結果を提供しますが、その利用には依然としていくつかの課題と懸念が存在します。ChatGPTで生じる主な課題は以下の通りです:
- 信頼性: GPT-4はまだ比較的新しく、本番インフラへのデプロイにおいて完全に信頼できるとは言えない場合があります。そのため、一貫したパフォーマンスと信頼性が求められるミッションクリティカルなシステムをGPT-4のみに依存することは推奨されない可能性があります。
- 利用規約とデータプライバシー: 他のAIモデルと同様に、データがどのように取り扱われ、トレーニング目的で使用されるかについての懸念があります。特に個人識別情報(PII)のような機密データを扱う場合、データが安全に取り扱われ、漏洩や悪用がされないと信頼することは非常に重要な課題となります。
- セルフホスト型モデル: より小規模なセルフホスト型モデルを使用することで、信頼性、コスト、パフォーマンスの面でメリットが得られます。自社のインフラ内でモデルをホストすることで、入出力パラメーター、モニタリング、セキュリティ設定をより細かく制御できます。このアプローチにより、外部サービスへの依存に伴うリスクを軽減できます。
- 人材とインフラ: 小規模な言語モデルであっても、ホスティングには専門的なスキルとインフラが必要です。これらのモデルを効果的に管理・活用するためには、社内で必要な専門知識とリソースを構築することが不可欠となる場合があります。Azure、Google、Amazonなどのクラウドベンダーは独自のLLMを開発していますが、信頼できない入力のハンドリングやそれに伴う特有の課題に対する広範な経験を必ずしも持っているわけではありません。
- データセキュリティ: 特にPIIを処理する際、機密データの保護は極めて重要です。1つのアプローチとして、生のデータを直接露出させずにモデルをトレーニングする方法があります。例えば、実際のデータの代わりに値のロスレスハッシュを使用することで、意味のある関係性を維持しながらプライバシーを保護できます。さまざまなアプローチを検証し、データセキュリティを確保することが不可欠です。
セルフホスト型モデルのメリット
- モデルパフォーマンスの向上: より小規模なモデルでも、特定の質問応答において向上したパフォーマンスを提供できます。
- コスト削減: サードパーティの追加オーバーヘッドなしに小規模モデルを使用することで、計算コストを低く抑えられます。
- 制御性と説明責任: セルフホスティングモデルは自社のインフラ内で動作するため、より優れた制御性と説明責任が確保されます。
- データセキュリティとプライバシー: セルフホスティングによりデータ漏洩のリスクが軽減され、入出力パラメーターの管理が向上します。
- モニタリングとセキュリティ: セルフホスト型モデルでは、ニーズに応じたモニタリングの強化やセキュリティ設定の構築が可能です。
- エンタープライズSaaSアプリケーションでの優先採用: セルフホスト型モデルで提供可能であり、必要なパフォーマンス基準を満たす機能については、セルフホスティングを選択することが望ましいです。
- GPT-4の実現可能性: GPT-4の信頼性、データセキュリティ、データプライバシーの側面は現在も評価中であり、本番システムへの採用を検討する前により詳細な検証が必要です。
評価と意思決定
セルフホスト型モデルに投資するか、大規模な商用言語モデルに依存するかを検討する際、リーダーは以下の要因を慎重に評価する必要があります:
Prompt Engineeringの理解
Prompt Engineeringは、Large Language Models(LLM)の分野で議論の的となっているトピックです。これには、モデルから望ましい応答を引き出すための効果的なプロンプトを作成することが含まれます。この概念とその影響を理解するための主要なポイントは以下の通りです:
- 独立した職種としてのPrompt Engineering: 専門家がプロンプトを最適化し、ニューラルネットワークを効果的に操作するようになるにつれ、Prompt Engineeringはこの分野における公認の職種や専門職となる可能性があります。
- プロンプトに対するエンジニアリング手法: Prompt Engineeringでは、科学的方法を適用してプロンプトを調整・洗練させ、望ましい結果を得ることで予測可能な出力を生成します。
- カジュアルなプロンプト利用との違い: 深い理解や変更を加えずにプロンプトを単にコピー&ペーストすることは、Prompt Engineeringとは言えません。
- Prompt Engineeringの多面的な性質: Prompt Engineeringには、言語的スキルを超えて、プロンプトがニューラルネットワークにどのように影響を与え、どのような特定の情報を捉えるかについての包括的な理解が必要です。
- 決定論的プログラミングの欠如: LLMはモデル、トレーニングデータ、変化する挙動の多様性により複雑さをもたらすため、Prompt Engineeringを難しくしています。
- 効率性と予測可能性の向上の可能性: LLMに対する理解が深まることで、ニューラルネットワークの構成部分をより効率的に活性化できるようになり、より予測可能で一貫した結果が得られる可能性があります。
- 層状エンコーディングの視覚化: LLMのTransformerアーキテクチャは、CNNが画像を処理するのと同様に、異なる層で情報をエンコードします。プロンプトエンジニアは、生成される出力に影響を与えるために特定の層を活性化する方法を探求できます。
- ツールエコシステムとLLMOps: 開発、デプロイ、管理手法を含むLLMOpsと呼ばれるLLMを取り巻くツール環境に注目が集まっています。この用語は現在も進化を続けています。
LLMOpsとLLMに不可欠なツール群
LLMOpsとLarge Language Models(LLM)を取り巻くツール環境への注目が高まっています。
プロンプト管理、迅速なデータ処理、ラベリングフィードバック、その他の重要なタスクにおいて、LLMの利用拡大に伴い、特定のツールが重要な役割を果たすと予想されています。主な検討事項は以下の通りです:
- ベクトルデータベース: Mineconのような検索可能なデータベースは、ニューラルネットワークにフィードバックするための関連コンテキストを取得する上で極めて重要になります。関連情報にアクセスすることで、Prompt Engineeringと最適化が可能になります。
- プロジェクトフレームワーク: LangChainのようなプロジェクトは、幅広い機能を容易に実装できるコーディングフレームワークを提供し、効率的なLLM利用に貢献します。
- 統合とインフラ: LLMは通常、より広範なプログラムの一部であるため、さまざまなコンポーネントの共有・効果的な統合と管理が必要となります。所望の成果を得るために異なるパーツを連携させることが不可欠であり、これにはインフラやメモリ管理の専門知識が求められる場合があります。
- モニタリングと保守: 回帰のモニタリング、パフォーマンス評価、インフラ容量の評価といった従来の機械学習のプラクティスは、LLMの文脈においても引き続き重要です。最適なパフォーマンスのためには、適切なインフラと容量のサポートを確保することが不可欠です。
- プロンプトストレージ: 将来の使用のためにプロンプトを保存するには、慎重な検討が必要です。データベース、キャッシュ、ファイルストレージなど、テキストやパラメーター化可能なテキストを保存するためのさまざまな選択肢が存在しますが、プロンプトを保存する有意義な方法を設計することは継続的な探索領域となっています。
- メモリ最適化: 大規模モデルのメモリ要件への対処は困難な場合があります。特に、メモリ要件が大幅に増加するモデルのファインチューニング時には、GPU RAMの使用量を管理することが極めて重要になります。特定のGPUタイプやレイテンシ要件に合わせてモデルを最適化するには、専門知識とツールのサポートが必要です。
- インフラ管理ツール: 企業が自社のクラウドインフラ上でLLMを実行する際、インフラの管理において新たな課題が生じます。GPUのオートスケーリング、稼働時間の確保、コストの最適化、特定のビジネス要件に沿った拡張性の高いシステムの構築などのタスクに対して、ツールのサポートが必要です。
- 開発者ワークフロー: LLMを使用する開発者のワークフローを強化するツールが不可欠です。複雑なプロセスをシンプルにし、直感的なインターフェースを提供することで、導入を加速し、より広範なユーザーがLLMを利用できるようにサポートします。
- コミュニティへの啓発: LLM分野がまだ手探りの段階にある中、TrueFoundryのような企業には、利用可能なツール、ベストプラクティス、一般的な課題へのソリューションについてコミュニティを啓発し、ガイドする機会があります。
📌
大規模ドメインモデルの評価
評価における人間の関与の文脈において、「Human in the Loop」アプローチは、LLMを使用した厳密なユースケースで一般的に採用されています。モデルのパフォーマンスを評価し、出力を検証するためには、人間による検証が不可欠です。GPTモデルのファインチューニングプロセスにおいてさえ、人間の関与は重要な役割を果たしました。
ある程度の誤差範囲が許容される重要度の低いユースケースでは、大規模なモデルを使用して小規模モデルの応答を評価する、コスト効率の高いアプローチが存在します。小規模モデルによって生成された複数の応答を大規模モデルで比較・評価し、パフォーマンスを測定するためのメトリクスを確立できます。このアプローチには一定のコストがかかりますが、人間の手作業に完全に依存する場合と比較して、一般的に経済的です。
絶えず変化する世界で最新情報を把握する方法
LLMや機械学習の絶えず進化する世界で最新情報を把握し続けることは容易ではありません。情報収集と知識獲得のための効果的なアプローチをいくつか紹介します:
- AI解説動画: YouTubeなどのプラットフォームでAI解説動画を視聴することは、論文を熟読することなく学術論文の主な発見や結果を把握するための便利な方法です。これらの動画は複雑な概念を要約しており、時間と労力を節約できます。
- オンラインコミュニティ: Hacker Newsや機械学習のSubredditなどのオンラインコミュニティに参加することで、この分野の新たなトレンドや技術に関するインサイト、議論、更新情報を得ることができます。
- 実践的体験: LLMの実用的なアプリケーションに積極的に取り組むことは、その可能性と限界を深く理解するために不可欠です。実験し、機能を調査することで、知識を深めることができます。
- APIのアクセシビリティ: 機械学習において複雑な数学の概念を再学習する必要があった過去とは異なり、現在の状況はよりAPI主導になっています。事前構築されたAPIやライブラリにより、開発者は高度な数学を学び直すことなく、実験やアプリケーション構築を開始できます。
- プログラミングスキル: 特定のライブラリメソッドを学習し、環境問題を解決することは、LLMを効果的に実装する上で貴重なスキルとなります。
True ML Talksシリーズの過去のブログ記事を読む:
TrueMLのYouTubeシリーズの視聴と、TrueMLブログシリーズの購読をぜひお続けください。
TrueFoundryは、Kubernetes上で動作するMLデプロイPaaSであり、インフラチームの完全なセキュリティと制御を確保しながら、モデルのテストとデプロイにおける完全な柔軟性を開発者に提供し、ワークフローを加速させます。当社のプラットフォームを通じて、機械学習チームはモデルのデプロイとモニタリングを15分で完了できます。100%の信頼性、拡張性、数秒でのロールバック機能を備えており、コストを削減しながらモデルの本番リリースを高速化し、リアルなビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






