KVキャッシュルーティング:標準のロードバランサーがプレフィックスキャッシュを機能させなくなる理由(とその解決策)

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
プレフィックスキャッシュを使用すると、vLLMやSGLangはモデルが処理済みのトークンの再計算をスキップできます。ただし、これは次のリクエストが同じGPUレプリカに送信された場合に限られます。マルチレプリカ構成において標準のラウンドロビンルーティングを使用すると、キャッシュの局所性(Cache Locality)が著しく低下し、ルーティングをキャッシュ認識型にしない限り、プレフィックスキャッシュのメリットが制限されてしまいます。プレフィックスを認識するスティッキールーティングは、この問題を解決します。本記事では、その仕組み、無視した場合のコスト、そして完成度を高める3つの段階での実装方法について解説します。
推論は、AIコンピューティング需要において成長を続ける主要なシェアを占めています。業界の予測では、生成AIワークロードが成熟するにつれて推論がAIコンピューティング消費の過半数を占めるようになると言われており、その大部分は冗長な作業です。つまり、数秒前に処理したトークンのアテンション状態をモデルが再計算しているのです。その原因はGPUやモデルではなく、推論クラスタの前に配置され、どこに何がキャッシュされているかをまったく意識せずに各リクエストをルーティングしているロードバランサーにあります。
LLM推論エンジンと最適化の手法に関する詳細な概要については、LLM推論:速度、コスト、AIスケールの最適化をご覧ください。
なぜプレフィックスキャッシュが重要なのか
すべてのLLM推論リクエストは、2つの異なるフェーズで実行されます。Prefill(プリフィル)フェーズでは、モデルは入力シーケンス全体を処理し、Key-Value (KV) キャッシュ(トークンごとに1つのエントリを持つ、GPU VRAMに保存されるアテンション状態の行列)を構築します。Decode(デコード)フェーズでは、モデルは入力を再読み込みすることなく、キャッシュされた状態を参照しながら出力トークンを1つずつ生成します。
Prefillは高コストです。その計算コストは入力長に対して二次関数的に増加します。プロンプトを2倍にすると、アテンションの計算量は4倍になります。1時間あたり1,000件のリクエストで1回ずつ処理される2,000トークンのシステムプロンプトの場合、毎時間、毎日、毎時200万トークン分のPrefill作業が発生することになります。
プレフィックスキャッシュは、この作業の冗長な部分を排除します。リクエストBが以前に処理されたリクエストAとプレフィックスを共有している場合、エンジンは共有トークンのキャッシュされたKVブロックを再利用し、新しいサフィックス(接尾辞)のみを計算します。このコスト削減効果は、共通する3つのワークロードパターン全体で増幅されます。
- RAGパイプライン:取得したドキュメントチャンクはクエリ間で重複することが多く、特に多数のユーザーが同じナレッジベースや頻繁に参照されるドキュメントにアクセスする場合に顕著です。
- マルチターンチャット:各追加入力メッセージは、モデルがすでにエンコードした会話履歴に追加されます。
- Few-shotプロンプティング:すべてのリクエストの先頭に追加される固定の例のセットは、N回ではなく1回のPrefill計算コストで済みます。
vLLMは、ハッシュベースのブロックマッチングを介してプレフィックスキャッシュを実装しています。各KVブロックは、それを生成したトークンのハッシュによって識別されます。SGLangは、アクティブなすべてのリクエストの中で最長の一致プレフィックスを見つけ、それらのブロックを直接再利用する基数木であるRadixAttentionを使用します。プレフィックスを多用するワークロードにおいて、SGLangのRadixAttentionは、キャッシュを意識しないサービングと比較してスループットが数倍向上することが報告されており、LMSYSは代表的なベンチマークで最大約5倍の向上を報告しています。自動プレフィックスキャッシュが有効になっているvLLMは、マルチターンワークロードにおける冗長なPrefillの大部分を排除します。
これは、リクエストが安定した共有プレフィックスを持ち、再利用可能なブロックを保持するのに十分なKVキャッシュ容量がある場合、単一のインスタンスで最も効果的に機能します。しかし、マルチレプリカフリートにスケールアウトした瞬間、問題が発生します。
ラウンドロビンルーティングがキャッシュヒット率を損なう理由
標準のKubernetesサービスの背後で8つのvLLMレプリカが動作しているデプロイを考えてみましょう。レプリカ1は2,000トークンのシステムプロンプトを含むリクエストを処理し、KVキャッシュを計算してVRAMに保存します。次に全く同じプロンプトを持つ新しいリクエストが到着します。ラウンドロビンはそれをレプリカ2に送信します。レプリカ2はそのプレフィックスのキャッシュを持っていないため、最初から完全なPrefillを再計算します。3番目のリクエストはレプリカ3に送られ、同様にキャッシュミスが発生します。
有益なプレフィックスキャッシュが1つのレプリカにしか存在しないワークロード(例:増大する会話履歴やテナント固有のコンテキストなど)では、ラウンドロビンルーティングを使用すると、フリートサイズが大きくなるにつれてキャッシュを所有するレプリカに割り当てられる確率が低下します。この現象はキャッシュの局所性を大幅に低下させ、冗長なPrefill計算を増加させる可能性があります。
プレフィックスを多用するワークロードでは、ルーティングがキャッシュを認識しない限り、単純なスケールアウトによってキャッシュの局所性が低下し、冗長なPrefillが増加する可能性があります。
本番環境でのデータは顕著です。Red HatのKubernetesネイティブ分散推論フレームワークであるllm-dプロジェクトは、8ポッド / 16 H100 GPU上でプレフィックスキャッシュ認識ルーティングとラウンドロビンをベンチマーク比較し、同じハードウェアでTime-to-First-Token(TTFT)が57倍高速化し、スループットが2倍になることを測定しました。4× AMD MI300X GPU上のLlama 3.1 70Bにおける個別のベンチマークでは、ルーティング戦略を切り替えた後に出力トークン/秒が3倍向上し、TTFTが2倍削減されました。同じプリミティブの上に構築されたDigitalOceanの推論ゲートウェイでは、同一のハードウェア構成において、ランダムルーティングと比較してキャッシュ認識ルーティングで最大108%のスループット向上が測定されました。
経済的な影響はリクエストボリューム、モデルサイズ、GPUタイプ、ワークロードの特性によって異なりますが、一般にキャッシュヒット率が高くなるとインフラコストが削減され、既存ハードウェアの利用効率が向上します。
課題は、純粋なキャッシュの局所性と純粋なロードバランシングが互いに反対方向に作用することです。そこで問題となるのは、ロードバランシングを犠牲にすることなく、どのようにキャッシュの局所性を維持するかです。
プレフィックス認識ルーティングの3つのレベル
これらのアプローチは、最もシンプルなものから最も精度の高いものへ順番に並んでいます。
レベル 1 — セッションアフィニティ
最も迅速な解決策は、セッションまたはユーザー識別子をハッシュ化し、同じセッションからのリクエストを常に同じレプリカにルーティングするようにロードバランサーを設定することです。これは、ほとんどのロードバランサーでスティッキーセッションまたはコンシスタントハッシュポリシーとしてネイティブに提供されており、カスタムのルーティングロジックは必要ありません。
セッションアフィニティは、同じユーザーが会話履歴を増やしながら一連のリクエストを生成するマルチターンチャットに適しています。ただし、構造的な制限が2つあります。レプリカを追加するとハッシュリングが再構成され、既存のアフィニティが破棄されてフリートが再ウォーミングされるまでキャッシュミスが発生します。
これは、シングルテナントや低並行性のデプロイ、またはより精密なソリューションに投資する前の迅速な改善策として利用できます。
レベル 2 — プレフィックスハッシュルーティング
リクエストの送信元をハッシュ化するのではなく、リクエストに何が含まれているかをハッシュ化します。具体的には、プロンプトの最初のNトークン(ユーザー間で同一の安定したプレフィックス)をハッシュ化し、同じプレフィックスハッシュを持つすべてのリクエストを同じレプリカにルーティングします。
セッションアフィニティとの決定的な違いは、共有システムプロンプトを正確に処理できる点です。ルーティングキーが安定した共有プレフィックスから計算される場合、同じシステムプロンプトを持つユーザーを同じレプリカにルーティングできます。レプリカはプレフィックスのKVキャッシュを一度だけ計算し、それ以降の合致するすべてのリクエストをキャッシュから処理します。
ハッシュ化メカニズム自体よりも、適切なプレフィックスの境界を選択することが重要です。RAGパイプラインの場合、境界はプロンプトの最も安定した部分をカバーする必要があります。これにはシステムプロンプトのみが含まれる場合もあれば、頻繁に再利用される取得コンテキストが含まれる場合もあります。Few-shotプロンプティングの場合、例ブロックの終わりが境界になります。マルチターンチャットの場合、前のターンの終わりになります。境界を短く設定しすぎると、変更される内容がハッシュ領域内に残り、誤ったミスが発生します。長すぎるとリクエストごとに異なる内容が含まれ、ルーティングが非常に多くのレプリカに分散してしまいます。
レベル 3 — KVイベント認識ルーティング
最も精度の高いアプローチです。ルーターは各推論エンジンから発行されるKVブロックの割り当ておよび破棄イベントをサブスクライブし、どのブロック(コンテンツハッシュによって識別される)がどのレプリカに存在するかを示すリアルタイムマップを維持します。着信リクエストごとに、各適格レプリカについて、リクエストのプレフィックスがどれだけキャッシュされているかを評価し、各レプリカの現在の負荷で重み付けを行った上で、最もスコアの高い選択肢にルーティングします。
スコアリング関数は、2つのシグナルのバランスを取ります。キャッシュオーバーラップスコアは、着信リクエストのプレフィックスブロックの何パーセントが特定のレプリカにすでに存在しているかを測定します。負荷スコアは、そのレプリカが現在どれだけ飽和しているかを測定します。ルーターは、ルーティングの決定を行う際に、キャッシュの局所性と現在のレプリカの負荷のバランスを取ります。
これは、リクエストを転送する前にキャッシュ状態と負荷情報を使用してターゲットレプリカを選択するllm-dのEndpoint Pickerコンポーネントで採用されているアーキテクチャとほぼ同様です。ルーティング自体のオーバーヘッドは、それによって得られるPrefillの削減効果と比較すると無視できるほど小さくなります。
プレフィックス認識ルーティングをスキップすべき場合
プレフィックス認識ルーティングがその複雑さに見合う価値を発揮するのは、ワークロードに顕著なプレフィックスの重複が存在する場合のみです。以下の3つのシナリオでは、リターンがないまま、リクエストごとにルーティングの決定とブロック状態の検索を追加することになります。すべてのプロンプトがユニークである場合(ドキュメントの要約、様々な入力によるクリエイティブな生成)、プロンプトが短い場合(およそ200トークン未満で、Prefillコストが無視できる程度である場合)、またはバッチワークロードが構造的な反復なしに完全に異なる入力を処理する場合です。
実践的な診断方法:vLLMのキャッシュイベントメトリクスまたはSGLangのRadixAttention統計から直接キャッシュヒット率を測定します。キャッシュを認識するルーティングを導入した後でもヒット率が低いままの場合は、まずプロンプト構造を確認してください。
TrueFoundryによるKVキャッシュスティッキールーティングの実装方法
TrueFoundryのAI Gatewayとモデルデプロイメント層は、KVキャッシュ最適化のためのスティッキールーティングをネイティブに実装しています。TrueFoundryを介してモデルがデプロイされると、一致するプレフィックスを持つリクエストを同じvLLMまたはSGLangレプリカにルーティングできるため、それらのリクエストは同じPrefillトークンを繰り返し再計算する代わりに、既存のKVキャッシュ状態を再利用できます。
ルーティング層は、キャッシュの局所性の維持と、レプリカ間での健全な負荷分散の維持という2つの競合する目標のバランスを取るように設計されています。レプリカに関連するプレフィックスキャッシュがすでに含まれている場合、ルーティングはそのレプリカを優先して再利用を最大化できます。レプリカが過負荷になった場合、ゲートウェイは代替のレプリカにフォールバックして、キャッシュの局所性がボトルネックになるのを防ぐことができます。
ルーティングがモデルデプロイメントと統合されているため、チームはスティッキーセッション、プレフィックスハッシュ、またはカスタムの負荷分散ポリシーのための個別のインフラストラクチャを構築する必要はありません。モデルを水平スケーリングするために使用されるのと同じデプロイメントワークフローにより、レプリカが追加または削除されても、キャッシュ認識ルーティング動作が維持されます。
長いシステムプロンプト、マルチターンチャットアプリケーション、RAGワークロード、またはFew-shotプロンプティングパイプラインを実行するチームにとって、これにより、繰り返されるプレフィックスが後続のリクエストを処理する可能性が最も高いレプリカ上でウォーム状態に維持される可能性が高まります。その結果、アプリケーションレベルのルーティングロジックを必要とすることなく、キャッシュ利用率が向上し、冗長なPrefill計算が削減され、GPU効率が向上します。
ベストプラクティス
- ルーティングを調整する前にプロンプト構造を改善する。システムプロンプト、Few-shotの例、取得したチャンクなどの静的なコンテンツは、すべてプロンプトの先頭に配置します。動的なコンテンツ(ユーザーメッセージ、リクエストID、タイムスタンプ)は、安定したプレフィックスの後に配置する必要があります。システムプロンプトの前に配置された1つの動的フィールドによって、ルーティング戦略に関係なくキャッシュの再利用性が完全に失われてしまいます。
- 推測ではなく、実際のトークン数に基づいてプレフィックスの境界を設定する。典型的なシステムプロンプトと例のブロックをトークナイズしてトークン数をカウントし、その境界をプレフィックスハッシュに使用します。任意の固定長を使用すると、動的コンテンツの途中で切断されたり、安定した領域全体を見逃したりすることがよくあります。
- レベル2から始め、測定した上で、レベル3に価値があるかを判断する。ラウンドロビンからプレフィックスハッシュルーティングに移行することで、カスタムのルーティングインフラストラクチャを必要とせずに、利用可能な利益の大部分を得ることができます。複数のレプリカを持続的な並行性で運用しており、プレフィックスキャッシュミスが測定可能なボトルネックになっている場合は、レベル3の導入を検討する価値があります。
- ダッシュボードのメトリクスとしてだけでなく、本番環境のアラートとしてキャッシュヒット率を監視する。開発者がシステムプロンプトに動的フィールドを静かに追加すると、ヒット率は即座に急降下します。レイテンシの悪化は、ログを確認する前に現れます。ヒット率が設定したベースラインを下回った場合にアラートを発令するように設定してください。
- 局所性の重みは、グローバルではなくワークロードタイプごとに調整する。マルチターンチャットとRAGパイプラインは、強いキャッシュ局所性選好の恩恵を受けます。多様な入力に対するバッチ推論は、純粋なロードバランシングの恩恵を受けます。ゲートウェイが混在したトラフィックを処理する場合は、両方を妥協させるのではなく、ワークロードクラスごとに個別のルーティング構成を実行してください。
- ヒット率と並行してVRAM利用率を監視する。プレフィックスキャッシュは、Prefillのコスト削減と引き換えにGPUメモリを使用します。高並行性下では、キャッシュされたブロックがアクティブなリクエストとVRAMを争奪し、LRUによる破棄を引き起こしてヒット率を低下させます。正しいルーティングを行っているにもかかわらず負荷下でヒット率が低下する場合は、メモリ不足が原因である可能性が高いため、ルーティングの問題と判断する前に推力エンジンのメモリ利用率の上限を調整してください。
結論
ほとんどのチームにとって、ラウンドロビンからプレフィックスハッシュルーティングへの移行は、最も効果的な最適化です。フリートサイズ、並行性、およびキャッシュの再利用が拡大するにつれて、より高度なキャッシュ認識ルーティングの価値がさらに高まります。
TrueFoundryのAI Gatewayがモデルデプロイメントと共に単一のコントロールプレーンでプレフィックス認識ルーティングをどのように処理するかをご覧ください → truefoundry.com/ai-gateway
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






