ファインチューニング: OpenAIモデル + 社内のConfluenceデータ

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
ChatGPTがiPhoneであるならば、AppStoreはこれから構築される段階であり、それはその上に構築される一連の垂直型(バーティカル)アプリケーション群となるでしょう。あらゆる業界、あらゆる企業、そしてすべての個人が、大小さまざまな形でこれらのアプリケーションを構築しようとしています。ヘルスケアや製造業に特化したChatGPTの構築から、マーケティング向けのドメイン特化型メールの作成、社内ナレッジベースからの企業固有の質問への回答、さらには「ジョンのアドレスは?」や「義理の母の誕生日はいつ?」といった質問に答える個人の検索エンジンの構築に至るまで様々です。これらに関する多くの例を、前回のブログ投稿で執筆しました。
なぜChatGPTだけでは、こうした垂直型アプリケーションに十分ではないのか?
これを理解するには、Clear Web(サーフェスウェブ)とDeep Web(ディープウェブ)の違いを理解することが重要です。
- Clear Web: 検索エンジンによってインデックス化されている、一般にアクセス可能なウェブページ。例:Wikipedia、書籍、SNSの投稿など。
- Deep Web: 認証システムの後ろにあるインターネットの領域。例:電子メールやSaaSプラットフォーム。これはウェブ全体の96%を占めています。
ChatGPTのようなモデルは大規模なデータセットで学習されていますが、それらはすべてClear Web上に存在するものです。そのため、電子メールや非公開ドキュメントなど、Deep Web上の情報に依存する回答を質問することはできません。しかし、Clear Webの大規模データセットから学習するプロセスにおいて、ChatGPTのようなモデルは言語と意味論に関する極めて高い知性を構築するため、特定のタスクに向けた少量のデータから新しい情報を学習することが非常に容易になっています。
ファインチューニングの登場
ファインチューニングは、ChatGPTのような事前学習済みモデルの知識と学習成果を活用し、タスク特有のより小規模なデータセットで訓練することで、新しいタスクにおけるモデルのパフォーマンスを向上させる強力な手法です。例えば、Confluenceに保存されている社内ドキュメント向けの質問回答システムを構築したいとします。Confluenceからすべてのテキストコンテンツを取得し、それらを使ってGPTモデルをファインチューニングすることができます。
シンプルに聞こえますね。では、なぜ全員がこれを実行していないのでしょうか?
OpenAIはファインチューニングAPIによって多くの障害を取り除きましたが、それでもさまざまな観点から相当な検討、計画、作業が必要です。
データ準備
モデルをファインチューニングするために必要なデータは、特定のプロンプトとコンプリーション(応答)のペア形式である必要があります。
{“prompt”: <prompt-text>, “completion”: <ideal generated text>}
考慮すべきいくつかのポイント:
- 会社のConfluenceドキュメントのような任意のドキュメントを取り出し、上記の形式の高品質な例に変換することは容易ではありません。
- 最低でも数百個のプロンプトが必要であり、これには人間の労力と専門知識が必要となります。
- テキスト内に表示されない、プロンプトとコンプリーションの開始と終了を示す慎重な区切り文字。後から入力するプロンプトでも同じ区切り文字を使用するように確認する必要があります。
- 例の数を増やすことで、モデルのパフォーマンスが向上します。
- コンプリーションが始まる前にスペースを追加するだけのような極めてシンプルな工夫でも、パフォーマンスが向上する可能性があります。
モデルの選定
OpenAIにはファインチューニング可能なモデルが複数存在し、それぞれに考慮すべきトレードオフがあります。
- Ada: より小さく高速なモデルで、ファインチューニングが容易であり、分類、言語生成、質問回答などの多くのタスクで適切に機能します。パラメータ数が少ないため、他のモデルよりもパフォーマンスが低く、精度が低下する可能性があります。
- Curie: Adaよりも大きく強力で、汎用性もあります。パラメータ数が多いため、より小さなデータセットでのファインチューニングは難しくなります。
- Babbage: 法律や医学など専門的な知識を必要とするNLPタスク向けに設計されており、非常に優れてファインチューニングが可能です。それほど汎用型ではなく、大規模なデータセットやより複雑なタスクのファインチューニングには適していません。
- Davinci: 最も大きく強力な汎用モデル。非力なハードウェアでのトレーニングは非常に困難であり、複雑なNLPタスクに使用する必要があります。
注: 以前にファインチューニングしたモデルを段階的に追加ファインチューニングすることも可能です。APIの変更に伴うタイムフレームの制限があり、モデルは2022年4月21日以降にファインチューニングされたものである必要があります。
ハイパーパラメータの選定
OpenAIのファインチューニングAPIをデフォルトパラメータで使用してみたところ、一部のタスクでは非常に良好に機能しましたが、ハイパーパラメータを調整することで最大40%の改善を得ることができました。
- Learning Rate Multiplier(学習率倍率): 最終的な batch_size に応じてデフォルトは 0.05、0.1、または 0.2 に設定されます。ファインチューニングの学習率は、事前学習で使用された元の学習率にこの倍率を掛けたものになります。学習率は、トレーニング中にモデルが重みを調整する速度を決定します。学習率が高すぎるとモデルが最適でない解に収束する可能性があり、低すぎると収束が遅すぎたり局所的最適解に陥ったりする可能性があります。OpenAIは、より大きなバッチサイズにはより大きな学習率を使用することを推奨していますが、通常は0.02〜0.2の間で運用します。
- Batch Size(バッチサイズ): トレーニングセット内の例の数の約0.2%がデフォルトで、上限は256です。バッチサイズは、各トレーニングイテレーションで処理される例の数を決定します。バッチサイズを大きくするとトレーニング時間が短縮されますが、モデルが過剰適合(オーバーフィッティング)したり、メモリ使用量が増加したりする可能性があります。過度なメモリ使用を引き起こさない範囲で、可能な限り大きなバッチサイズを使用することが一般的に推奨されます。
- Number of Epochs(エポック数): デフォルトは 4 です。エポック数は、モデルがデータセット全体で何回トレーニングされるかを決定します。エポック数が少なすぎると過小適合(アンダーフィッティング)を引き起こし、多すぎると過剰適合を引き起こす可能性があります。検証セットでモデルのパフォーマンスを監視し、パフォーマンスの向上が止まった時点でトレーニングを停止することが一般的に推奨されます。
- Prompt Loss Weight(プロンプトロス重み): デフォルトは 0.01 です。プロンプトトークンの損失に使用する重みです。これにより、モデルがプロンプトの生成を学習しようとする度合いを制御し(常に1.0の重みを持つコンプリーションと比較して)、コンプリーションが短い場合にトレーニングを安定させる効果を追加できます。短いプロンプトの場合、OpenAIはこの数値を増やすことを推奨し、長いプロンプトの場合は小さな重みが最も効果的です。
- Model(モデル): デフォルトは curie です。上述のモデル選定テーブルもハイパーパラメータの一種ですが、このプロセスにおける出発点として非常に重要であるため、特別に言及する価値があると解釈しました。
コストの考慮
ファインチューニングのコストは、選択するパラメータによって大きく異なるため、確実な理解を持つことが非常に重要です。
📌
100万トークンあたり:
- Ada: $0.4
- Babbage: $0.6
- Curie: $3
- Davinci: $30
- 1トークンはおよそ4文字または0.75単語に相当します。
- DavinciはAdaよりもほぼ100倍高価です。
- CurieはAdaよりも10倍高価であり、デフォルトのモデルです。
- 分かりやすく言うと、Wikipediaにはおよそ50億トークンが存在するため、Curieをファインチューニングすると15,000ドルという巨額の費用がかかります。これらのモデルはすでにWikipediaで事前学習されているため、これは学術的な例えに過ぎません。資金を無駄にしないでください。
- トレーニングトークンの数はトレーニングエポック数にも依存します。基本的に、総トレーニングトークン数 = ファイル内のトークン数 * エポック数 となります。
📌
ファインチューニングされたモデルの使用は、事前学習済みの標準モデルよりも大幅に高価(約5倍)です。
100万トークンあたり、
- Ada: $1.6 (標準 $0.4)
- Babbage: $2.4 (標準 $0.5)
- Curie: $12 (標準 $2)
- DaVinci: $120 (標準 $20)
モデルを使用する際、bestof や n などのパラメータも、単一のプロンプトに対して複数のコンプリーションを生成することになるためコストに影響します。コストを節約するために max_response_length の使用を検討するか、best_of や n パラメータの使用を減らしてください。
ケーススタディ:Confluenceドキュメントによるファインチューニング
独自のConfluenceデータセット用にファインチューニングモデルを構築することは容易ではありませんでした。これには以下の4ステップのプロセスが含まれていました。

データ取得
Confluenceにはテーブル、見出し、小見出しを含むリッチなデータが存在するため、APIを介してすべてのデータを読み取り、使いやすくするために単純なテキストに変換するのに少し苦労しました。また、権限と適切なアクセスレベルの管理も簡単ではありませんでした。最終的に、URL、ユーザー名、API Keyを送信するだけでデータを取得できる非常にシンプルで使いやすいフォームを作成することができました。
データ前処理
これが最も難しい部分でした。ここでは複数のアプローチを試しました:
- 文のランダム分割: プロンプトとコンプリーションの単語数に基づく分割
- 正規表現: and、but、however などの単語に基づいて文を分離
- ChatGPT: ChatGPTにコンテキストを与え、質問を生成させる

最終的に、ほとんどのペアを #3 から選出しつつ、上記 #1 と #2 からのランダムサンプルもいくつか組み込みました。私たちのデータセットでは、プロンプトの平均長が17単語、応答の平均長が133単語で、1ペアあたり合計150単語となる、50,000ペア以上のプロンプトとコンプリーションを生成しました。理想的には、このステップではさらに多くの実験が必要となります。

モデルのファインチューニング
さまざまなモデルとハイパーパラメータを実験した結果、CurieはAdaやBabbageよりも優れている傾向があることが分かりましたが、コストのトレードオフを考えるとAdaで十分であると感じました。Davinciは試していません。学習率を調整して 0.05 に落ち着き、モデルを 6 エポック実行しました。Curieの1回の実行のトレーニングコストは約30ドル、Adaは約4ドルでした。一連の実験全体を通じて、ファインチューニングのためのOpenAIクレジットで合計400ドルほどかかった可能性があります(いくつか失敗した実行もありました)。

テスト
社内データセットに関連する質問において、ファインチューニングされたモデルは元のモデルよりも厳密に優れていることが確認できました。チームで約100個のプロンプトを試し、手動で評価しました。これは厳密に科学的ではありませんが、このシンプルなお試し事例には機能しました。興味深いことに、一般的なクエリに対しては、ファインチューニングされたモデルが元のモデルよりもパフォーマンスが低下するケースがあることに気付きました。ここで何が起きているのか、引き続きデバッグする必要があります。

これは楽しい取り組みであり、今後は他のデータセットでのファインチューニングの実験に取り組む予定です。
📌
特定のデータセットが必要な場合、または独自のConfluence向けにこのアプリを使用してみたい場合は、nikunj@truefoundry.com までご連絡ください。
TrueFoundryは、Kubernetes上のMLデプロイPaaSであり、インフラチームに完全なセキュリティと管理を提供しながら、モデルのテストとデプロイにおける完全な柔軟性を許容し、開発者のワークフローを加速させます。当社のプラットフォームを通じて、機械学習チームが15分でモデルをデプロイおよびモニタリングできるようにし、100%の信頼性、拡張性、数秒でのロールバック機能を備えることで、コストを削減し、モデルをより迅速に本番環境にリリースして、真のビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






