Blank white background with no objects or features visible.

EMEAの皆様へ。TrueFoundryは、ヨーロッパ、中東、アフリカ全域で事業を拡大しています。詳細はこちら →

SGLang vs vLLM vs TensorRT-LLM: 推論エンジンの選定ガイド

By アシシュ・ドゥベイ

Updated: 11月 3, 2026

Published: 10月 8, 2026

⚡ 要約 (TL;DR)
  • vLLMは、強力な汎用デフォルトオプションです。PagedAttentionの設計により、ビルドステップなしで連続バッチ処理と広範なモデルサポートを備えた高スループットを実現します。
  • SGLangは、プロンプトが長いプレフィックスを共有する場合や、高速で信頼性の高い構造化出力が必要な場合に真価を発揮します。RadixAttentionにより、プレフィックスを共有するリクエスト間でKVキャッシュを再利用します。
  • TensorRT-LLMは、モデルを特定のNVIDIA GPU向けに最適化されたエンジンにコンパイルし、ビルドステップの手間と引き換えに、最も低いレイテンシーと最高のGPUあたりの効率を目指します。
  • TrueFoundry上では、これら3つのいずれもデプロイ可能です。vLLMとSGLangはモデルカタログフロー内で選択でき、TensorRT-LLMには専用のビルドおよびサービングガイドが用意されています。

エンジンの選定が重要である理由

推論エンジンは、GPUがトークンをどれだけ効率的に配信するかを決定します。同じハードウェア上の同じモデルであっても、エンジンやそのバッチ処理・キャッシュのチューニング方法によって、スループット、レイテンシー、コストが大きく異なる可能性があります。

万能な勝者は存在しません。vLLM、SGLang、TensorRT-LLMはいずれも活発に開発されており、連続バッチ処理、Paged KV cache、プレフィックスキャッシュ、量化(Quantization)など、多くの技術において共通化が進んでいます。最適な選択肢は、モデル、GPU、シーケンス長、バッチサイズ、そして並列数(Concurrency)によって決まります。

vLLM: 高スループットなデフォルト選択肢

vLLMはPagedAttentionを中心に構築されています。これは、オペレーティングシステムが仮想メモリを管理するのと同様に、AttentionのKey-Valueキャッシュを非連続なページで管理する技術です。これによりメモリの断片化が減少し、サーバーは単一のGPU上により多くの並列シーケンスをパッキングできるようになります。

連続バッチ処理、広範なモデルサポート、簡単なOpenAI互換サーバーを備え、高スループットなサービングを実現する強力な汎用選択肢です。コンパイルステップなしで、幅広いモデル対応と堅牢なスループットが必要な場合に選択してください。詳細については、弊社のvLLM解説記事をご覧ください。

SGLang: プレフィックスの再利用と構造化出力のために構築

SGLangはRadixAttentionを中心に構築されています。これは、Radix Treeを使用して、プレフィックスを共有するリクエスト間でKVキャッシュを再利用する技術です。Few-shotプロンプト、長く共有されたシステムプロンプト、エージェントによるマルチターン会話、Tree of Thoughtなど、プロンプトの共有度が高いワークロードに大きな効果をもたらします。

また、JSON、正規表現、文法制約デコーディングなどの高速で信頼性の高い構造化出力を標準で提供し、複雑なプロンプトエンジニアリングやツール呼び出しのパイプラインをサポートします。トラフィックにおいてプレフィックスの再利用や制約付き生成が大きな割合を占める場合は、SGLangの導入を検討してください。

ワークロードに適したエンジンがわからない場合
ご使用のモデルとGPUでvLLM、SGLang、TensorRT-LLMをベンチマークし、最も優秀なエンジンを1つのゲートウェイの背後に配置します。

TensorRT-LLM: NVIDIA GPUにおける最大限の最適化

TensorRT-LLMは、融合カーネル(Fused Kernels)、最適化されたAttention、サポート対象ハードウェアにおける量子化、Tritonを通じたインフライトバッチ処理を使用して、モデルを特定GPUターゲット用の最適化エンジンにコンパイルするNVIDIAのライブラリです。

明示的なビルドステップが必要であり、作成されたエンジンがその構築に使用された正確なGPUタイプと枚数に固定されるという制約と引き換えに、通常、NVIDIA GPU上での最小レイテンシーと最高のGPUあたり効率を目指します。ドキュメントに記載されている通り、TRT-LLMはターゲットとするGPUのタイプと枚数に合わせてモデルを最適化するため、デプロイ時にはGPUのタイプと枚数が一致していることが重要です。

概要比較

| エンジン | コアコンセプト | 最適なユースケース | トレードオフ |

| --- | --- | --- | --- |

| vLLM | PagedAttention KV cache | 汎用的な高スループット、幅広いモデルサポート | 優れたデフォルトだが、常に最安・最小レイテンシーとは限らない |

| SGLang | RadixAttention プレフィックス再利用 | 共有プロンプト、エージェント、構造化出力 | プレフィックスの再利用がないと最大のメリットが得られない |

| TensorRT-LLM | コンパイル済みNVIDIAエンジン | NVIDIA GPU上での最小レイテンシー | ビルドステップが必要、エンジンが特定GPUに固定される |

パフォーマンスの数値はワークロードによって異なります。本番環境に導入する前に、実際のトラフィックでベンチマークを行ってください。TrueFoundryは3つすべてのエンジンをサポートしているため、ワークロードに合わせて最適を選択できます。

TrueFoundryへのvLLMおよびSGLangのデプロイ

vLLMおよびSGLangの場合、モデルカタログを利用するのが手軽なルートです。ドキュメントにあるように、TrueFoundryは最も最適なデプロイ方法を自動的に判別し、適切なGPUセットを構成することで、LLMのデプロイプロセスを簡素化します。

LLMカタログからモデルを選択するか、Hugging FaceのモデルURLを貼り付けるだけで完了します。TrueFoundryはモデルのタグとファイルを分析してデプロイフレームワークを理解し、デプロイマニフェストを生成します。最も最適なモデルサーバーを自由に選択できる柔軟性が維持されるため、より高速な推論が保証されます。また、プラットフォームはイメージストリーミングとキャッシュを使用するため、vLLMおよびSGLangイメージのダウンロード時間が3倍高速化されます。

ゲート付きモデルの場合は、シークレットピッカーでHugging Faceトークンを保存済みシークレットとしてアタッチします。

TrueFoundryへのTensorRT-LLMのデプロイ

TensorRT-LLMは、ターゲットGPU向けにエンジンをコンパイルする必要があるため、ワンクリックの切り替えとはいきません。専用ガイドでは、ビルド後にサービングを行うフローを使用します。

‍

  • ゲート付きモデル用にHugging Faceトークンをシークレットとして追加し、ML Repoおよびそれへのアクセス権を持つワークスペースを作成します。ML Repoはコンパイルされたエンジンを保存し、バージョン管理します。
  • TrueFoundryエンジンビルダーイメージを使用してエンジンビルダージョブをデプロイし、モデルID、dtype、最大バッチサイズ、最大入力長などのパラメーターを設定します。完了すると、エンジンはModelsに、トークナイザーはArtifactsの下に表示されます。
  • エンジンとトークナイザーのFQNを指し示し、Tritonサーバーイメージを使用してNVIDIA Tritonでデプロイします。GPUのタイプと枚数はビルダージョブと一致している必要があります。
  • OpenAI互換エンドポイントに対して推論を実行します。エンドポイントはOpenAI互換であるため、AI Gatewayに追加するか、OpenAI SDKで直接使用できます。
OpenAI互換エンドポイントを介して、デプロイされたTensorRT-LLMエンジンに対して推論を実行する様子。
あらゆるエンジンとあらゆるモデルに対応する1つのゲートウェイ
vLLM、SGLang、TensorRT-LLM、クラウドAPIを単一のAPIの下で統合し、ルーティング、ガードレール、可観測性を提供します。

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
11月 21, 2026
|
5 min read

Microsoft Entra Agent IDによるAI AgentのID管理: エージェントIDの発行と統制

No items found.
11月 21, 2026
|
5 min read

エージェントアイデンティティと代理(OBO)委任:誰が実際にツールを呼び出しているのか?

No items found.
11月 21, 2026
|
5 min read

agentgateway vs Vercel AI Gateway: セルフホスト型エージェントゲートウェイか、マネージド型モデルルーターか?

No items found.
11月 21, 2026
|
5 min read

Linear MCPにおけるAgent Skills:正解率が62%から90%へ向上したベンチマーク

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Frequently asked questions

Is vLLM or TensorRT-LLM faster?

It depends on the model, GPU, and workload. TensorRT-LLM often reaches lower latency on NVIDIA GPUs because it compiles a model specific engine, while vLLM offers excellent throughput and broader model coverage with no build step. Benchmark both on your own traffic.

When should I use SGLang instead of vLLM?

Choose SGLang when your prompts share long prefixes, such as shared system prompts or agentic multi turn flows, or when you need fast, reliable structured outputs like JSON or grammar constrained decoding. Its RadixAttention is designed for prefix reuse.

Can I run all three on TrueFoundry?

Yes. TrueFoundry supports vLLM, SGLang, and TRT-LLM as model servers. vLLM and SGLang are selectable in the catalogue flow, and TensorRT-LLM has a dedicated build and serve guide. Any OpenAI compatible endpoint can be added to the AI Gateway.

Why is the TensorRT-LLM GPU locked?

Because TensorRT-LLM compiles the engine for a specific GPU type and count, the serving deployment must use the same GPU type and count as the builder job. This is what lets it reach its latency and efficiency targets.

Take a quick product tour
Start Product Tour
Product Tour