True ML Talks #23 - GitLabにおけるMLOpsとLLMアプリケーション

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、GitLabにおけるMLOpsとLLMアプリケーションについて深く掘り下げ、Monmayuri Ray氏にお話を伺います。
Monmayuri氏はGitLabでAIリサーチ部門を率いており、過去1年間は特にLLMに注力してきました。それ以前は、GitLabのModelOps部門でエンジニアリングマネージャーを務めており、MicrosoftやeBayなどの企業での勤務経験もお持ちです。
📌
Monmayuri氏との対談では、以下のテーマを取り上げます:
- GitLabにおけるMLとLLMのユースケース
- 大規模言語モデル(LLM)をサポートするためのGitLabのMLインフラストラクチャの進化
- GitLabのLLMへの取り組み:オープンソースからファインチューニングまで
- GitLabにおける大規模言語モデルのトレーニング
- Triton vs PyTorch、GPUアンサンブル、およびLLM推論のためのダイナミックバッチ処理
- GitLabにおけるLLM評価の課題と研究
- GitLabのLLMアーキテクチャとLLMの未来
以下からエピソード全文をご覧いただけます:
GitLabにおけるMLとLLMのユースケース
機械学習(ML)はソフトウェア開発ライフサイクルに変革をもたらしており、GitLabはこのイノベーションの最前線に立っています。GitLabはMLを活用して、イシューの作成からマージリクエスト、アプリのデプロイに至るまで、開発者のすべての工程を支援しています。
GitLabにおけるMLの最もエキサイティングなユースケースの1つが大規模言語モデル(LLM)です。GitLabはLLMとGenAIを活用して、コード補完やイシューの要約など、製品の新しい機能を開発しています。
GitLabユーザーにとってのMLのメリット
- 生産性の向上: MLは、コード補完やイシューの要約などのタスクを自動化することで、開発者の生産性向上を支援します。
- コード品質の向上: MLは、潜在的なエラーを特定し改善策を提案することで、開発者がより質の高いコードを書けるよう支援します。
- 開発時間の短縮: MLは、タスクを自動化し、問題をより迅速に特定・修正できるようにすることで、ソフトウェアの開発にかかる時間を短縮します。
- 開発者体験の向上: MLは、GitLab製品を使いやすくし、サポートやガイダンスを提供することで、開発者体験の向上に寄与します。
大規模言語モデル(LLM)をサポートするためのGitLabのMLインフラストラクチャの進化
GitLabは、開発者を支援するために大規模言語モデル(LLM)を活用する取り組みをリードしてきました。その結果、これらの複雑なモデルをサポートするためにMLインフラストラクチャを進化させる必要がありました。
課題
- 規模と複雑さ: LLMは従来のMLモデルよりもはるかに大きく複雑であるため、トレーニングとデプロイにはより強力なハードウェアとソフトウェアが必要となります。
- 統合: GitLabのプロダクトはRuby on RailsとJavaScriptで書かれています。そのため、GitLabはこれらの技術とMLインフラストラクチャを統合する方法を見つける必要がありました。
- 分散インフラストラクチャ: GitLabのMLインフラストラクチャは、複数の異なるクラウドプロバイダーに分散しています。そのため、GitLabは分散されたMLインフラストラクチャを一貫した効率的な方法で管理する手法を開発する必要がありました。
解決策
上述の課題に対処するため、GitLabはMLインフラストラクチャに多数の変更を加えました。これらの変更は以下の領域に分類できます:
- ハードウェア: GitLabは、LLMのトレーニングとデプロイをサポートするために、GPUやTPUなどの新しいハードウェアに投資しました。
- ソフトウェア: GitLabは、LLM向けの新しいトレーニングおよびデプロイパイプラインを開発しました。また、MLインフラストラクチャをRuby on RailsおよびJavaScriptアプリケーションと連携させるための各種統合ソリューションも開発しました。
- 管理: GitLabは、分散したMLインフラストラクチャの管理を支援するツールやプロセスを多数開発しました。
GitLabのLLMへの取り組み:オープンソースからファインチューニングまで
GitLabは、開発者を支援するための大規模言語モデル(LLM)活用の最前線に立ってきました。初期段階では、Salesforce CodeGenなどのオープンソースLLMの利用から始まりました。しかし、環境が変化しLLMがより強力になるにつれて、GitLabはコード生成などの特定のユースケースに合わせて独自のLLMをファインチューニングする方向へとシフトしました。
LLMのファインチューニングは、モデルが非常に大きく複雑であるため、インフラストラクチャへの大幅な投資が必要となります。GitLabは、LLM用の新しいトレーニングおよびデプロイパイプラインに加えて、分散環境でMLインフラストラクチャを管理するための新しい方法を開発する必要がありました。
GitLabがLLMのファインチューニングにおいて直面した主な課題の1つは、コストとレイテンシの最適なバランスを見つけることでした。LLMはトレーニングやデプロイに多大な費用がかかる可能性があり、結果の生成に時間がかかる場合もあります。GitLabは、ニーズに合った適切なバランスを見つけるために、さまざまなクラスタサイズ、GPU構成、バッチ処理手法を試す必要がありました。
GitLabが直面したもう1つの課題は、LLMの正確性と信頼性を確保することでした。LLMはテキストやコードの膨大なデータセットでトレーニングできますが、これらのデータセットにはエラーやバイアスが含まれる可能性もあります。GitLabは、LLMを評価しバイアスを排除するための新しい手法を開発する必要がありました。
課題はありながらも、GitLabは開発者を支援するためのLLM活用において大幅な進展を遂げてきました。現在、GitLabはLLMを大規模にトレーニングおよびデプロイできるようになっており、ソフトウェア開発プロセスをより効率的で魅力的なものにする新機能やプロダクトの開発にこれらのモデルを活用しています。
GitLabにおける大規模言語モデルのトレーニング
大規模言語モデル(LLM)のトレーニングは、インフラストラクチャとリソースへの多大な投資を必要とする困難なタスクです。GitLabは開発者をサポートするためにLLMを活用する最前線に立ち、その過程で多くのことを学んできました。
以下は、LLMのトレーニングに関するGitLabの経験から得られたインサイトと教訓です:
- スモールスタートで徐々にスケールアップする。 トレーニングに必要なGPUリソースの量を正確に見積もる際は、小規模から始めて段階的にスケールアップするのが最適です。これにより、リソースの無駄遣いを防ぎ、潜在的なボトルネックを早期に特定できます。
- ダイナミックバッチ処理を活用する。 ダイナミックバッチ処理は、類似した入力をまとめてグループ化することでトレーニングプロセスを最適化するのに役立ちます。これにより、特に大規模なデータセットにおいて大幅なパフォーマンス向上が期待できます。
- 最適化すべき適切なパラメータを選択する。 LLMをファインチューニングする際、最適化すべき適切なパラメータの選択に万能なアプローチはありません。最適なパラメータは、特定のLLM、トレーニングデータ、および期待する成果によって異なります。ただし、独自のニーズに合った最適な組み合わせを見つけるために、さまざまなパラメータを試すことが重要です。
- 分散トレーニングの導入を検討する。 分散トレーニングは、複数のGPUやマシンにワークロードを分散させることで、トレーニングプロセスを高速化するのに役立ちます。これは、特に大規模なデータセットで大規模なLLMをトレーニングする場合に有益です。
- Low-Rank Adaptation(LoRA)モードを試す。 Low-Rank Adaptationモードは、より少ないパラメータ数でLLMをファインチューニングするために使用できる手法です。これは、モデル全体をファインチューニングするための十分なリソースがない場合に役立ちます。
上記のインサイトに加えて、GitLabはベースモデルとトレーニングデータをしっかりと理解することの重要性について、いくつかの貴重な教訓も得ました。例えば、GitLabはベースモデルの構造を知り、目的のユースケースに合わせてトレーニングデータをどのようにキュレーションするかを把握することが重要であることを発見しました。
Triton vs PyTorch、GPUアンサンブル、およびLLM推論のためのダイナミックバッチ処理
GitLabはLLM推論にTritonを使用しています。これは、GitLabが受信する高ボリュームのリクエストにスケールするのにより適しているためです。また、TritonはPyTorchサーバーなど他のモデルサーバーに比べてラップ(包含)やスケーリングが容易です。
GitLabが最初にLLM推論パイプラインをデプロイした当時、Hugging FaceのTGIやvLLMモデルサーバーはまだ開発の初期段階であったため、GitLabはこれらをまだテストしていません。
ダイナミックバッチ処理に関して、GitLabの戦略は、特定のユースケース、負荷、クエリレベル、ボリューム、および利用可能なGPUの数に合わせて最適化することです。例えば、7Bモデルに対して500基のGPUがある場合と、より小さなモデルに対して数基のGPUしかない場合では、異なるバッチ処理戦略を使用できます。
GitLabはまた、リクエストを処理するためにGPUのアンサンブルを使用しています。これは、高性能GPUと低性能GPUを組み合わせた多様なタイプのGPUを使用することを意味します。GitLabは、パフォーマンスとコストを最適化するために、GPUアンサンブル全体でリクエストのロードバランシングを行っています。
GPUをアンサンブルし、ロードバランシングを最適化するためのアーキテクチャを設計するためのヒントをいくつか紹介します:
- トラフィックパターンを理解する。ピークトラフィックの時間帯はいつか?最も頻繁に受信するリクエストのタイプは何か?
- A/Bテストを使用して、さまざまなGPU構成やロードバランシング戦略を実験する。
- パフォーマンスとレイテンシを監視し、アーキテクチャがニーズを満たしていることを確認する。
以下は、GitLabがアンサンブルGPUとダイナミックバッチ処理のためにアーキテクチャをどのように最適化したかの具体的な例です:
- GitLabは動的オーケストレーションシステムを使用して、タイプ、パフォーマンス、および利用可能性に基づいてGPUにリクエストを割り当てます。
- GitLabは「GPUウォームアップ」と呼ばれる技術を使用して、必要なときにGPUがリクエストを処理できるように準備を整えています。
- GitLabは精度を損なうことなくモデルのサイズを縮小するために量子化(Quantization)を使用しています。
これらのヒントに従うことで、大容量のLLM推論リクエストを効率的に処理できるアーキテクチャを設計できます。
「ストリーミングも試しました。サードパーティ向けのストリーミングについても検討を進めているところです」— Monmayuri
GitLabにおけるLLM評価の課題と研究
大規模言語モデル(LLM)のパフォーマンス評価は困難なタスクです。GitLabはこの問題に取り組んできましたが、以下のような複数の課題に直面しています:
- ユースケースによって異なるニーズが存在する。 チャット、コード提案、脆弱性の解説など、多様なLLMユースケースにはそれぞれ異なるニーズがあり、異なる評価指標が必要です。
- 特定のクエリに対してどのモデルが最適かを知るのが難しい。 特に本番環境において、特定のクエリに対してどのLLMが最も優れたパフォーマンスを発揮するかを判断することは容易ではありません。
- 精度と受容率(Acceptance Rate)のバランスを取るのが難しい。 LLMの出力結果の精度と、それらの結果がユーザーに受け入れられる割合との間で適切なバランスを見つけることが重要です。
GitLabは以下の取り組みによってこれらの課題に対処しています:
- 各ユースケースに適した優れたデータセットをキュレーションする。 GitLabは、本番環境でユーザーが送信するクエリのタイプを代表するデータセットをLLMのユースケースごとにキュレーションしています。
- 履歴データを分析する。 GitLabは履歴データを分析し、過去に多様なタイプのクエリに対してLLMがどのように機能したかを把握しています。
- 新しい評価指標を開発する。 GitLabは、特定のLLMユースケースに合わせて調整された新しい評価指標を開発しています。
- データに基づく意思決定を行う。 GitLabはデータを活用して、各ユースケースにどのLLMを使用するか、またそれらのLLMのパラメータをどのようにチューニングするかを決定しています。
GitLabの目標は、LLMを評価するための拡張可能でデータ駆動型のアプローチを確立することです。このアプローチにより、GitLabはLLMが本番環境で良好に動作し、ユーザーのニーズを満たしていることを確実にできます。
研究の方向性
GitLabは、LLMを評価するための新しい手法についての研究も行っています。GitLabが探求している研究方向の一部を以下に示します:
- ヒューマンコンピュータインタラクション(HCI)データを活用してLLMを評価する。 HCIデータは、ユーザーがLLMとどのように対話し、その結果をどのように捉えているかについてのインサイトを提供します。このデータは、LLMの新しい評価指標の開発に利用できます。
- 敵対的手法(Adversarial Methods)を活用してLLMを評価する。 敵対的手法を使用して、LLMを誤らせるように設計された入力を生成できます。このデータは、さまざまなタイプのエラーに対するLLMの堅牢性を評価するために使用できます。
- 転移学習(Transfer Learning)を活用してLLMを評価する。 転移学習を使用すると、タスクごとに新しいデータセットを収集することなく、新しいタスクでLLMを評価できます。これは、データの収集が困難または高コストなタスクでLLMを評価するのに役立ちます。
LLM評価に関するGitLabの研究は現在も進行中です。GitLabは、LLMがユーザーのニーズを確実に満たせるよう、新しく革新的な評価手法の開発に取り組んでいます。
GitLabのLLMアーキテクチャとLLMの未来
GitLabのLLMアーキテクチャは、LLMのトレーニング、評価、およびデプロイに対する包括的なアプローチです。このアーキテクチャは柔軟性と拡張性を備えるよう設計されており、GitLabが新しい技術を容易に導入し、ユーザーのニーズに応えられるようになっています。

アーキテクチャは、以下のいくつかの主要コンポーネントで構成されています:
- データ前処理とトークナイズ: GitLabのLLMアーキテクチャは、LLMのトレーニングに使用されるデータの前処理とトークナイズから始まります。このプロセスには、データのクリーニング、ノイズの除去、テキストのLLMが理解できる形式への変換が含まれます。
- サンプリングと短縮: データの前処理とトークナイズが完了すると、GitLabのLLMアーキテクチャはデータをサンプリングして短縮します。これはLLMのトレーニングにかかる計算コストを削減するために行われます。
- GPUスイート: GitLabのLLMアーキテクチャは、LLMのトレーニングにGPUスイートを使用します。GPUはLLMのトレーニングに非常に適した専門的なプロセッサです。
- 評価スイート: GitLabのLLMアーキテクチャには、LLMのパフォーマンスを評価するための評価スイートが含まれています。評価スイートには、正確性、流暢さ、一貫性など、多様な指標が含まれています。
- モデルチェックポイント: GitLabのLLMアーキテクチャは、定期的な間隔でモデルチェックポイントを保存します。これにより、問題が発生した場合でも、以前の時点からトレーニングを再開できます。
- プロンプトライブラリ: GitLabのLLMアーキテクチャにはプロンプトライブラリが含まれており、これはLLMから多様なタイプのテキストを生成するために使用できるプロンプトのコレクションです。
- モデルレジストリ: GitLabのLLMアーキテクチャにはモデルレジストリが含まれており、GitLabのすべてのLLMモデルのセントラルリポジトリとして機能します。
- デプロイエンジン: GitLabのLLMアーキテクチャには、LLMを本番環境にデプロイするデプロイエンジンが含まれています。デプロイエンジンには、LLMの複数インスタンスにトラフィックを分散するためのロードバランサーが含まれています。
GitLabのLLMアーキテクチャは、LLMの大規模なトレーニング、評価、デプロイを可能にする強力なツールです。アーキテクチャは柔軟で拡張可能なように設計されているため、GitLabは新技術を容易に採用し、ユーザーのニーズに応えることができます。
LLMの未来
LLMはまだ比較的新しい技術ですが、多くの産業に革命をもたらす可能性を秘めています。GitLabは、LLMがソフトウェア開発業界に大きな影響を与えると考えています。
GitLabはすでに製品やサービスの向上のためにLLMを活用しています。例えば、GitLabはコード提案の生成、脆弱性の解説、製品のユーザー体験の向上にLLMを使用しています。
GitLabは、他の組織もLLMに投資すべきだと考えています。LLMは多くの業界において生産性、効率性、および品質を向上させる可能性を秘めています。
投資すべき領域
GitLabは、LLM分野で時代の先端を行くために、組織が以下の領域に投資することを推奨しています:
- インフラストラクチャ: LLMにはインフラへの多大な投資が必要です。組織はLLMをサポートするためにGPU、ストレージ、およびネットワークに投資する必要があります。
- ツールとテクノロジー: 組織がLLMをトレーニング、評価、デプロイするのを支援するツールやテクノロジーが数多く存在します。組織はそれぞれのニーズに適したツールやテクノロジーに投資すべきです。
- 人材: LLMは複雑な技術です。組織は、LLMのトレーニング、評価、およびデプロイを行うためのスキルと知識を持つ人材に投資する必要があります。
これらの領域に投資することで、組織はLLMの領域で優位性を保ち、この強力な技術の恩恵を受けることができます。
True ML Talksシリーズの過去のブログもご覧ください:
引き続きTrueMLのYouTubeシリーズの視聴と、TrueMLブログシリーズのおすすめ記事をお楽しみください。
TrueFoundryは、Kubernetes上で動作するMLデプロイ向けPaaSです。インフラチームに完全なセキュリティと制御を保証しながら、開発者がモデルのテストやデプロイを柔軟に行えるようにワークフローを加速します。当社のプラットフォームを通じて、機械学習チームは100%の信頼性、拡張性、数秒でのロールバック機能を備えたモデルのデプロイとモニタリングを15分で実現できます。これにより、コストを削減し、本番環境へのモデルリリースを迅速化して、真のビジネス価値を創出できます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






