SGLang vs vLLM vs TensorRT-LLM: 推論エンジンの選定ガイド
.png)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
エンジンの選定が重要である理由
推論エンジンは、GPUがトークンをどれだけ効率的に配信するかを決定します。同じハードウェア上の同じモデルであっても、エンジンやそのバッチ処理・キャッシュのチューニング方法によって、スループット、レイテンシー、コストが大きく異なる可能性があります。
万能な勝者は存在しません。vLLM、SGLang、TensorRT-LLMはいずれも活発に開発されており、連続バッチ処理、Paged KV cache、プレフィックスキャッシュ、量化(Quantization)など、多くの技術において共通化が進んでいます。最適な選択肢は、モデル、GPU、シーケンス長、バッチサイズ、そして並列数(Concurrency)によって決まります。
vLLM: 高スループットなデフォルト選択肢
vLLMはPagedAttentionを中心に構築されています。これは、オペレーティングシステムが仮想メモリを管理するのと同様に、AttentionのKey-Valueキャッシュを非連続なページで管理する技術です。これによりメモリの断片化が減少し、サーバーは単一のGPU上により多くの並列シーケンスをパッキングできるようになります。
連続バッチ処理、広範なモデルサポート、簡単なOpenAI互換サーバーを備え、高スループットなサービングを実現する強力な汎用選択肢です。コンパイルステップなしで、幅広いモデル対応と堅牢なスループットが必要な場合に選択してください。詳細については、弊社のvLLM解説記事をご覧ください。
SGLang: プレフィックスの再利用と構造化出力のために構築
SGLangはRadixAttentionを中心に構築されています。これは、Radix Treeを使用して、プレフィックスを共有するリクエスト間でKVキャッシュを再利用する技術です。Few-shotプロンプト、長く共有されたシステムプロンプト、エージェントによるマルチターン会話、Tree of Thoughtなど、プロンプトの共有度が高いワークロードに大きな効果をもたらします。
また、JSON、正規表現、文法制約デコーディングなどの高速で信頼性の高い構造化出力を標準で提供し、複雑なプロンプトエンジニアリングやツール呼び出しのパイプラインをサポートします。トラフィックにおいてプレフィックスの再利用や制約付き生成が大きな割合を占める場合は、SGLangの導入を検討してください。
TensorRT-LLM: NVIDIA GPUにおける最大限の最適化
TensorRT-LLMは、融合カーネル(Fused Kernels)、最適化されたAttention、サポート対象ハードウェアにおける量子化、Tritonを通じたインフライトバッチ処理を使用して、モデルを特定GPUターゲット用の最適化エンジンにコンパイルするNVIDIAのライブラリです。
明示的なビルドステップが必要であり、作成されたエンジンがその構築に使用された正確なGPUタイプと枚数に固定されるという制約と引き換えに、通常、NVIDIA GPU上での最小レイテンシーと最高のGPUあたり効率を目指します。ドキュメントに記載されている通り、TRT-LLMはターゲットとするGPUのタイプと枚数に合わせてモデルを最適化するため、デプロイ時にはGPUのタイプと枚数が一致していることが重要です。
概要比較
| エンジン | コアコンセプト | 最適なユースケース | トレードオフ |
| --- | --- | --- | --- |
| vLLM | PagedAttention KV cache | 汎用的な高スループット、幅広いモデルサポート | 優れたデフォルトだが、常に最安・最小レイテンシーとは限らない |
| SGLang | RadixAttention プレフィックス再利用 | 共有プロンプト、エージェント、構造化出力 | プレフィックスの再利用がないと最大のメリットが得られない |
| TensorRT-LLM | コンパイル済みNVIDIAエンジン | NVIDIA GPU上での最小レイテンシー | ビルドステップが必要、エンジンが特定GPUに固定される |
パフォーマンスの数値はワークロードによって異なります。本番環境に導入する前に、実際のトラフィックでベンチマークを行ってください。TrueFoundryは3つすべてのエンジンをサポートしているため、ワークロードに合わせて最適を選択できます。
TrueFoundryへのvLLMおよびSGLangのデプロイ
vLLMおよびSGLangの場合、モデルカタログを利用するのが手軽なルートです。ドキュメントにあるように、TrueFoundryは最も最適なデプロイ方法を自動的に判別し、適切なGPUセットを構成することで、LLMのデプロイプロセスを簡素化します。
LLMカタログからモデルを選択するか、Hugging FaceのモデルURLを貼り付けるだけで完了します。TrueFoundryはモデルのタグとファイルを分析してデプロイフレームワークを理解し、デプロイマニフェストを生成します。最も最適なモデルサーバーを自由に選択できる柔軟性が維持されるため、より高速な推論が保証されます。また、プラットフォームはイメージストリーミングとキャッシュを使用するため、vLLMおよびSGLangイメージのダウンロード時間が3倍高速化されます。

TrueFoundryへのTensorRT-LLMのデプロイ
TensorRT-LLMは、ターゲットGPU向けにエンジンをコンパイルする必要があるため、ワンクリックの切り替えとはいきません。専用ガイドでは、ビルド後にサービングを行うフローを使用します。
- ゲート付きモデル用にHugging Faceトークンをシークレットとして追加し、ML Repoおよびそれへのアクセス権を持つワークスペースを作成します。ML Repoはコンパイルされたエンジンを保存し、バージョン管理します。
- TrueFoundryエンジンビルダーイメージを使用してエンジンビルダージョブをデプロイし、モデルID、dtype、最大バッチサイズ、最大入力長などのパラメーターを設定します。完了すると、エンジンはModelsに、トークナイザーはArtifactsの下に表示されます。
- エンジンとトークナイザーのFQNを指し示し、Tritonサーバーイメージを使用してNVIDIA Tritonでデプロイします。GPUのタイプと枚数はビルダージョブと一致している必要があります。
- OpenAI互換エンドポイントに対して推論を実行します。エンドポイントはOpenAI互換であるため、AI Gatewayに追加するか、OpenAI SDKで直接使用できます。

TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
Is vLLM or TensorRT-LLM faster?
It depends on the model, GPU, and workload. TensorRT-LLM often reaches lower latency on NVIDIA GPUs because it compiles a model specific engine, while vLLM offers excellent throughput and broader model coverage with no build step. Benchmark both on your own traffic.
When should I use SGLang instead of vLLM?
Choose SGLang when your prompts share long prefixes, such as shared system prompts or agentic multi turn flows, or when you need fast, reliable structured outputs like JSON or grammar constrained decoding. Its RadixAttention is designed for prefix reuse.
Can I run all three on TrueFoundry?
Yes. TrueFoundry supports vLLM, SGLang, and TRT-LLM as model servers. vLLM and SGLang are selectable in the catalogue flow, and TensorRT-LLM has a dedicated build and serve guide. Any OpenAI compatible endpoint can be added to the AI Gateway.
Why is the TensorRT-LLM GPU locked?
Because TensorRT-LLM compiles the engine for a specific GPU type and count, the serving deployment must use the same GPU type and count as the builder job. This is what lets it reach its latency and efficiency targets.










.png)
.png)
.png)








.png)

.png)


.png)

.png)






