AI Gateway におけるロードバランシング: パフォーマンスの最適化
.webp)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
AI Gateway における複数の大規模言語モデル間のロードバランシングとは、単一のモデルがボトルネックや単一障害点(SPOF)にならないように、一連のモデルエンドポイント(異なるプロバイダーや、同じモデルの異なるバージョンなど)にわたって着信推論リクエストをルーティングすることを意味します。Gateway は、分あたりリクエスト数、分あたりトークン数、エラー率などのメトリクスを追跡することにより、各エンドポイントのヘルス状態を継続的にモニタリングします。モデルが設定された利用上限を超えたり、エラーを返したり、レスポンスタイムの遅延が発生したりした場合、そのモデルはヘルス不全(unhealthy)とマークされ、ルーティングから除外されます。重みベースのルーティングを選択して各モデルに固定のトラフィック割合を割り当てることも、レイテンシーベースのルーティングを選択して直近のパフォーマンスデータに基づき最も高速なモデルを動的に優先することも可能です。すべての動作は、グローバルな利用制限、障害許容度、ルーティングルールを指定する YAML 設定ファイルで宣言的に定義されます。このアプローチにより、アプリケーションコードを変更することなく、高可用性、一貫したパフォーマンス、シームレスなフェイルオーバーが確保されます。
本ブログでは、ロードバランシングが何を意味し、なぜ重要なのかを説明し、TrueFoundry AI Gateway が内部でそれをどのように実装しているかを示し、YAML 設定手順を詳しく解説し、一般的なセットアップパターンを確認し、最後に本番デプロイメント向けの実践的なベストプラクティスで締めくくります。
AI Gateway にロードバランシングが必要な理由とは?
企業は、重要なワークフローのために言語モデルへの無中断なアクセスに依存しています。しかし、個々のプロバイダーでサービスの停止や計画メンテナンスが発生し、アプリケーションがオフラインになってしまうことがあります。これが、LLM ロードバランシング が本番システムで使用される優れた AI Gateway の中核機能となっている理由です。
複数のモデルエンドポイントにわたるロードバランシングを設定することで、TrueFoundry は 1 つのプロバイダーのサービスが利用不能になった際に、トラフィックを正常な代替エンドポイントへ自動的にシフトさせます。このシームレスなフェイルオーバーにより、エンドユーザーのダウンタイムを防ぎ、アプリケーションの継続的な利用可能性を維持します。

レイテンシーの変動も別の課題です。レスポンスタイムは、モデルアーキテクチャ、地理的リージョン、プロバイダーのキャパシティによって異なります。静的なルーティング設定では、低速なエンドポイントにトラフィックを送信してしまい、ユーザー体験を損なうリスクがあります。TrueFoundry のレイテンシーベースルーティングは、直近のリクエストにおけるトークンごとのレスポンスタイムを継続的に計測し、各推論呼び出しを最も高速な利用可能モデルに動的にルーティングします。これにより、ネットワーク状態やプロバイダーの負荷が変化しても、一貫して低いレイテンシーが保証されます。

API レート制限は、1分あたりのリクエスト数やトークンスループットに厳しい上限を課します。単一のプロバイダーのクォータが枯渇すると、後続の呼び出しが失敗し、アプリケーションエラーが発生します。TrueFoundry の重みベースルーティングを使用すると、指定した割合に従ってトラフィックを分散させることができるため、単一のエンドポイントが制限を超えることはありません。model_configs セクションのグローバル利用制限と組み合わせることで、Gateway は各モデルを自動的にクォータ内に収め、しきい値に達した際には呼び出しを再ルーティングして、予期せぬ障害を防止します。

本番環境で新しいモデルバージョンのカナリアテストを行うことには、固有のリスクが伴います。不具合のあるアップデートはエラーを引き起こしたりパフォーマンスを低下させたりする可能性があります。TrueFoundry は、重みベースのルールで新しいモデルに小さな重み割合を割り当てることで、カナリアデプロイをシンプルにします。カナリアに 10 パーセント、安定版モデルに 90 パーセントといったようにトラフィックを段階的にルーティングするため、全負荷を移行する前にエラー率やレイテンシーメトリクスを監視できます。問題が発生した場合、Gateway は元のトラフィック比率をそのまま維持し、ユーザー体験を保護します。
これらの機能(自動フェイルオーバー、動的なレイテンシー最適化、レート制限管理、制御されたカナリアロールアウト)が組み合わさることで、ロードバランシングは TrueFoundry AI Gateway 上で堅牢かつ高性能な LLM デプロイメントを実現するための不可欠な手法となります。
TrueFoundry AI Gateway におけるロードバランシングの仕組み
TrueFoundry の AI Gateway は、設定された各モデルエンドポイントの 3 つの中核メトリクス(分あたりリクエスト数、分あたり処理トークン数、分あたり失敗数)を継続的にモニタリングすることで、トラフィック分散を制御します。これらのメトリクスはヘルス評価エンジンに供給され、特定の時点でどのモデルが「正常(healthy)」であるかを判断します。
- ヘルス評価
- 利用制限: モデルが設定されたリクエスト数またはトークンスループットの制限(model_configs の下で定義)を超えると、ヘルス不全とマークされます。
- 障害許容度: allowed_failures_per_minute に基づいて許容範囲を超えるエラーが発生し、特定の HTTP ステータスコードによってスコープ定義されたモデルは、クールダウン期間中同様にルーティングから除外されます。
- 利用制限: モデルが設定されたリクエスト数またはトークンスループットの制限(model_configs の下で定義)を超えると、ヘルス不全とマークされます。
- ルールの評価
Gateway は、YAML 設定ファイル内に記述された順序でルーティングルールを評価します。各ルールの when ブロックは、モデル名、ユーザーやチームのサブジェクト、またはカスタムメタデータによって着信リクエストをフィルタリングします。最初に一致したルールのみが適用されるため、確定的なルーティング動作が保証されます。 - 重みベースのルーティング
重みベースのルールでは、合計が 100 になる整数値の重みとともにターゲットモデルのリストを指定します。たとえば、トラフィックの 90 パーセントを azure/gpt-4o に、10 パーセントを openai/gpt-4o にルーティングするように設定できます。Gateway は、現在正常なターゲット間で、これらの重みの比率に応じて各リクエストをランダムに分散します。また、override_params を含めて、モデルごとに temperature や max tokens などの設定を個別に微調整することも可能です。 - レイテンシーベースのルーティング
レイテンシーベースのルールを使用する場合、手動での重み付けは不要です。Gateway は、最近のトラフィックにおける過去 20 分間のリクエストまたは直近 100 回の呼び出しのいずれか少ない方を基準として、各モデルのトークンあたり平均レイテンシーを算出します。データポイントが 3 つ未満のモデルは、より多くの統計情報を収集するために「高速」として扱われます。レイテンシーが最も高速なモデルの 1.2 倍以内に収まるエンドポイントはすべて同等に選択可能とみなされ、わずかなパフォーマンス変動による急激な切り替えを防止します。その後、着信リクエストは最も高速かつ正常なモデルへと転送されます。
すべてのルーティング決定は、Gateway 内でリアルタイムに行われます。不健全なモデルは自動的に排除され、トラフィックは利用可能な最良のエンドポイントにスムーズに流れます。これらはすべてアプリケーションコードの変更を一切必要とせずに行われます。
TrueFoundry でロードバランシングを設定する方法
TrueFoundry の AI Gateway は、YAML を介してロードバランシング設定を適用するための 2 つの主な方法をサポートしています。Gateway UI から直接設定する方法と、GitOps および tfy CLI を使用してプログラムで設定する方法です。
Gateway UI でロードバランシングを更新するには、プロジェクトの AI Gateway に移動し、「Load Balancing」の下にある Config タブを選択します。YAML エディターには、name や type などのトップレベルフィールド、レート制限用のオプションの model_configs、およびルーティング戦略のための中核となる rules 配列を含む、現在の gateway-load-balancing-config マニフェストが表示されます。

YAML をインラインで編集し、モデル識別子の変更、usage_limits や failure_tolerance の調整、重みやレイテンシー戦略を指定した load_balance_targets の再定義を行うだけで、ダウンタイムなしで即座に検証およびデプロイできます。バックグラウンドでは、TrueFoundry が構文を検証し、新しいルールを順に適用して、更新されたポリシーに従ってトラフィックを即座にルーティングします。
あるいは、GitOps を実践しているチームの場合は、ロードバランシングマニフェスト(例: loadbalancer-config.yaml)をインフラストラクチャコードとともにバージョン管理されたリポジトリに保存します。変更をコミットしてプッシュした後、TrueFoundry CLI を実行します。
- pip install truefoundry および tfy login --host https://app.truefoundry.com を実行して認証
- tfy apply -f loadbalancer-config.yaml を実行して YAML を Gateway に適用
このワークフローにより、ポリシー変更が本番環境に到達する前に、プルリクエストのレビュー、CI/CD での検証、および完全な監査可能性が強制されます。迅速な反復のための直接的な UI 編集を好む場合でも、堅牢なガバナンスのための GitOps を好む場合でも、TrueFoundry の宣言型 YAML アプローチにより、アプリケーションコードに触れることなくロードバランシングポリシーが透明化され、バージョン管理され、一貫して適用されます。
TrueFoundry の Load Balancing Config について理解する
TrueFoundry のロードバランシング設定は、主に model_configs と rules の 2 つのセクションで構成される宣言型 YAML マニフェスト内で完全に定義されます。トップレベルでは、ロギングに使用される人間が読みやすい識別子である name と、プラットフォームがこのファイルをロードバランシング仕様として認識できるように gateway-load-balancing-config に設定する必要がある type を指定します。
オプションの model_configs ブロックを使用すると、各モデルエンドポイントに対してグローバルな制約を適用できます。含める各エントリーに対して以下を設定します:
model:the gateway identifier (for example, azure/gpt4)usage_limits:caps on tokens_per_minute and requests_per_minute to prevent any model from exceeding its allocated throughputfailure_tolerance:parameters that dictate when a model is deemed unhealthy, including allowed_failures_per_minute, cooldown_period_minutes, and a list of HTTP status codes that count as failures
モデルがいずれかの利用または障害のしきい値に違反すると、Gateway は指定されたクールダウン期間中そのモデルをヘルス不全とマークし、回復するまでルーティングから除外します。
設定の中核となるのは rules 配列です。各ルールは以下を宣言する必要があります:
id:a unique name used for metrics and logstype:either weight-based-routing or latency-based-routingwhen:conditions that scope the rule to specific requests by models and optionally by subjects or metadata
ルールは記述された順序で評価され、最初に一致したルールのみが有効になります。これにより、予測可能で確実なトラフィックルーティングが保証されます。
load_balance_targets の下には、1 つ以上のターゲットモデルをリストします。重みベースのルーティングの場合、各ターゲットには合計が 100 になる 0 から 100 までの整数の重みが必要です。レイテンシーベースのルーティングの場合、重みは不要です。Gateway は直近のトークン単位のレイテンシーを計測し、各リクエストを最も高速で正常なモデルにルーティングします。どちらの戦略もターゲットごとのオプションの override_params をサポートしており、temperature や max_tokens などのランタイムパラメータをカスタマイズできます。
トラフィック分散ポリシーを単一の YAML ファイルに集約することで、TrueFoundry はアプリケーションコードを変更することなく、バージョン管理、プルリクエストのレビュー、およびロードバランシング戦略の迅速な反復を可能にします。
よく使われるロードバランシング設定
企業は、さまざまな運用目標を達成するために異なるロードバランシングパターンを採用することがよくあります。以下は、特定のユースケースに合わせた TrueFoundry AI Gateway 上での 4 つの代表的なセットアップです。
1. カナリアデプロイメント
段階的なロールアウトにより、チームは新しいモデルバージョンを安全に導入できます。トラフィックのわずかな割合をカナリアモデルに割り当て、残りを安定バージョンに割り当てます。カナリアモデルでのエラー率とレイテンシーをモニタリングすることで、完全な切り替え前にリグレッションを検知できます。
name: loadbalancing-config
type: gateway-load-balancing-config
rules:
- id: "gpt4-canary"
type: "weight-based-routing"
when:
models:
- "gpt-4"
load_balance_targets:
- target: "azure/gpt4-v1"
weight: 90
- target: "azure/gpt4-v2"
weight: 10
2. ヘルス状態を認識する重みベースルーティング
プレミアムユーザーや優先度の高いワークフローを、最高のパフォーマンスを発揮するモデルに誘導できます。model_configs で障害許容度を定義することで、エラーしきい値を超えたモデルは回復するまで自動的に除外されます。その後、トラフィックの割合は残りの正常なエンドポイント間で維持されます。
name: loadbalancing-config
type: gateway-load-balancing-config
model_configs:
- model: "azure/gpt4"
failure_tolerance:
allowed_failures_per_minute: 3
cooldown_period_minutes: 5
failure_status_codes: [429, 500, 502, 503, 504]
- model: "openai/gpt4"
failure_tolerance:
allowed_failures_per_minute: 5
cooldown_period_minutes: 10
failure_status_codes: [429, 500, 502, 503, 504]
rules:
- id: "premium-users"
type: "weight-based-routing"
when:
subjects:
- "virtualaccount:premium"
models:
- "gpt-4"
load_balance_targets:
- target: "azure/gpt4"
weight: 80
override_params:
temperature: 0.7
- target: "openai/gpt4"
weight: 20
3. トークン制限を意識したレイテンシーベースルーティング
コストとパフォーマンスのバランスを取るために、1 つのモデルのトークン使用量に上限を設定しつつ、別のエンドポイントがオーバーフローを処理できるように設定できます。その後、レイテンシーベースのルーティングにより、クォータ範囲内に収まっているモデルの中から最も高速なモデルへ各リクエストが確実に送信されます。
name: loadbalancing-config
type: gateway-load-balancing-config
model_configs:
- model: "azure/gpt4"
usage_limits:
tokens_per_minute: 50000
requests_per_minute: 100
rules:
- id: "cost-effective"
type: "latency-based-routing"
when:
models:
- "gpt-4"
load_balance_targets:
- target: "azure/gpt4"
override_params:
max_tokens: 500
- target: "openai/gpt4"
override_params:
max_tokens: 1000
4. 環境ベースのルーティング
開発、ステージング、本番などの異なる環境では、多くの場合、異なるルーティングポリシーが必要となります。環境メタデータを使用すると、リクエストコンテキストに応じて重みベースまたはレイテンシーベースのルールを適用できます。
name: loadbalancing-config
type: gateway-load-balancing-config
rules:
- id: "dev-environment"
type: "weight-based-routing"
when:
models:
- "gpt-4"
metadata:
environment: "development"
load_balance_targets:
- target: "openai/gpt4"
weight: 100
override_params:
temperature: 0.8
- id: "prod-environment"
type: "latency-based-routing"
when:
models:
- "gpt-4"
metadata:
environment: "production"
load_balance_targets:
- target: "azure/gpt4"
- target: "openai/gpt4"
これらの設定例は、TrueFoundry の宣言型 YAML を使用することで、アプリケーションコードに一切手を加えることなく、段階的なロールアウト、ヘルス状態を意識したトラフィック分割、コストに配慮したパフォーマンス最適化、または環境駆動型ポリシーといった高度なルーティングロジックをチームがいかに迅速に実装できるかを示しています。
まとめ
ロードバランシングは、AI Gateway を単なるルーターからインテリジェントなトラフィックマネージャーへと変化させ、複数の LLM エンドポイントにわたって高可用性、一貫したパフォーマンス、シームレスなフェイルオーバーを実現します。グローバルな利用制限と障害許容度を定義することで、過負荷やエラーが発生しやすいモデルによるサービスの中断を防ぐことができます。重みベースのルーティングを使用するとトラフィック割合を精密に制御でき、カナリアリリースやプレミアムワークフローに最適です。一方、レイテンシーベースのルーティングは最も高速で正常なモデルへリクエストを動的に転送します。宣言型の YAML 設定により、これらのポリシーは透明化され、バージョン管理が容易になり、レビューも円滑に行えます。TrueFoundry のロードバランシング機能を使用することで、トラフィック分散がリアルタイムの状況に自動適応するため、アプリケーションコードを変更することなく自信を持って LLM をデプロイできます。
よくある質問(FAQ)
AI Gateway におけるロードバランシングとは何ですか?
AI Gateway システムにおけるロードバランシングとは、ボトルネックを防ぐために推論リクエストを多様なモデルエンドポイントに分散することを意味します。単一のプロバイダーやモデルインスタンスが過負荷にならないようにし、システム全体の利用可能性を維持します。リクエスト数やエラー率などのヘルス度メトリクスを監視することで、Gateway はスムーズで信頼性の高いユーザー体験を保証します。
AI Gateway は複数の LLM プロバイダーにわたりどのようにロードバランシングを行いますか?
Gateway は、リアルタイムのプロバイダーのパフォーマンスに基づいてトラフィックをルーティングする専用のアルゴリズムを使用します。重みベースルーティングなどの手法では固定のトラフィック分割が可能であり、レイテンシーベースの戦略では最も高速で正常なエンドポイントを動的に選択します。プロバイダーがレート制限に達したり障害が発生したりした場合、Gateway は自動的に正常な代替先へトラフィックをリダイレクトします。
AI Gateway でのロードバランシングは、API Gateway と比べてどのように異なりますか?
API Gateway が CPU 負荷などのネットワークレベルのメトリクスに焦点を当てるのに対し、AI Gateway アーキテクチャのロードバランシングはセマンティック(意味)を認識します。分あたりトークン数やモデル固有のエラーコードなど、AI 特有のデータを追跡します。これにより、異なる LLM の独自の機能制限や処理動作を考慮した、より精密なトラフィック管理が可能になります。
マルチモデルの AI デプロイメントにおいて、ロードバランシングは必要ですか?
はい、本番環境の AI アプリケーションで高い可用性を維持し、効果的にスケーリングするためには不可欠です。ロードバランシングがない場合、システムは個々のプロバイダーの障害やパフォーマンスの遅延に対して脆弱なままになります。複数のモデルにリクエストを分散することで、すべてのエンドユーザーに対して一貫したレスポンスタイムを確保しながら、大規模なトラフィックに対応するために必要な冗長性が提供されます。
TrueFoundry は AI Gateway のロードバランシングにどのように役立ちますか?
TrueFoundry は、宣言的な YAML ベースの設定を通じて AI Gateway 管理におけるロードバランシングをシンプルにします。自動ヘルスチェック、レイテンシーベースルーティング、シームレスなフェイルオーバーを提供し、ミッションクリティカルな信頼性を確保します。自社の VPC 内にこのインフラストラクチャをホストすることにより、データの安全性を損なうことなくパフォーマンスとコストを最適化できます。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






