Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

SGLang vs vLLM vs TensorRT-LLM: Escolhendo um Motor de Inferência

By Ashish Dubey

Updated: novembro 3, 2026

Published: outubro 8, 2026

⚡ Resumo Prático
  • vLLM é a opção padrão robusta para uso geral. Seu design de PagedAttention oferece alto throughput com continuous batching e ampla cobertura de modelos, sem necessidade de etapa de compilação.
  • SGLang se destaca quando os prompts compartilham prefixos longos ou quando você precisa de saídas estruturadas rápidas e confiáveis. Seu RadixAttention reutiliza o KV cache em requisições que compartilham um prefixo.
  • TensorRT-LLM compila um modelo em um motor otimizado para uma GPU NVIDIA específica, visando a menor latência e a melhor eficiência por GPU, ao custo de uma etapa de build.
  • Na TrueFoundry, você pode implantar qualquer um dos três. vLLM e SGLang podem ser selecionados no fluxo do catálogo de modelos, e o TensorRT-LLM possui um guia dedicado de build e serve.

Por que a escolha do motor é importante

O motor de inferência decide com que eficiência sua GPU serve os tokens. O mesmo modelo no mesmo hardware pode entregar throughput, latência e custos muito diferentes, dependendo do motor e de como seu batching e caching são ajustados.

Não existe um vencedor universal. vLLM, SGLang e TensorRT-LLM estão todos em desenvolvimento ativo e convergem em muitas técnicas, incluindo continuous batching, paged KV cache, prefix caching e quantização. A escolha certa depende do seu modelo, GPU, comprimentos de sequência, tamanho de batch e concorrência.

vLLM: o padrão de alto throughput

O vLLM é construído em torno da PagedAttention, que gerencia o attention key value cache em páginas não contíguas da mesma forma que um sistema operacional gerencia a memória virtual. Isso reduz a fragmentação de memória e permite que o servidor aloque mais sequências concorrentes em uma única GPU.

É uma escolha forte e de uso geral para serving de alto throughput com continuous batching, ampla cobertura de modelos e um servidor simples compatível com a API da OpenAI. Escolha-o quando desejar um amplo suporte a modelos e throughput sólido sem uma etapa de compilação. Para uma análise mais aprofundada, veja nosso explicativo sobre vLLM.

SGLang: desenvolvido para reuso de prefixo e saídas estruturadas

O SGLang é construído em torno da RadixAttention, que reutiliza o KV cache entre requisições que compartilham um prefixo usando uma árvore radix. Isso beneficia cargas de trabalho com alto compartilhamento de prompts, como few shot prompts, prompts de sistema compartilhados longos, conversas multi-turn de agentes e tree of thought.

Ele também oferece saídas estruturadas rápidas e confiáveis, incluindo decodificação restrita por JSON, regex e gramática, o que auxilia pipelines complexos de prompting e tool calling. Opte pelo SGLang quando o reuso de prefixos e a geração restrita dominarem seu tráfego.

Não tem certeza de qual motor se adapta à sua carga de trabalho?
Realizaremos benchmarks do vLLM, SGLang e TensorRT-LLM no seu modelo e GPU, e colocaremos o vencedor atrás de um único gateway.

TensorRT-LLM: otimização máxima em GPUs NVIDIA

O TensorRT-LLM é a biblioteca da NVIDIA que compila modelos em motores otimizados para um alvo de GPU específico, usando fused kernels, attention otimizado, quantização em hardware compatível e in flight batching através do Triton.

Ele normalmente busca a menor latência e a melhor eficiência por GPU em GPUs NVIDIA, ao custo de uma etapa de build explícita e motores vinculados ao tipo e à quantidade exatos de GPU para os quais foram construídos. Como destaca a documentação, dado que o TRT-LLM otimiza o modelo para o tipo e a quantidade de GPU alvo, é fundamental que o tipo e a quantidade de GPU correspondam durante a implantação.

Visão geral

| Motor | Conceito central | Ideal para | Compromisso (Tradeoff) |

| --- | --- | --- | --- |

| vLLM | PagedAttention KV cache | Alto throughput geral, amplo suporte a modelos | Excelente padrão, nem sempre a menor latência |

| SGLang | Reuso de prefixo com RadixAttention | Prompts compartilhados, agentes, saídas estruturadas | Os maiores ganhos exigem reuso de prefixo |

| TensorRT-LLM | Motores NVIDIA compilados | Menor latência em GPUs NVIDIA | Etapa de build, motor vinculado à GPU |

Quaisquer números de desempenho dependem da carga de trabalho específica. Faça benchmarks com seu próprio tráfego antes de decidir. A TrueFoundry suporta todos os três para que o motor possa ser ajustado à carga de trabalho.

Implantando vLLM ou SGLang na TrueFoundry

Para vLLM e SGLang, o caminho é o catálogo de modelos. Como afirma a documentação, a TrueFoundry simplifica o processo de implantação de um LLM descobrindo automaticamente a maneira mais otimizada de implantá-lo e configurando o conjunto correto de GPUs.

Você pode escolher um dos modelos no catálogo de LLM ou colar uma URL de modelo do Hugging Face. A TrueFoundry analisa as tags e os arquivos do modelo para entender o framework de implantação e gera os manifestos de implantação. Você mantém total flexibilidade para escolher o servidor de modelo mais otimizado, o que garante uma inferência mais rápida. A plataforma também utiliza streaming de imagem e caching, proporcionando tempos de download 3 vezes mais rápidos para imagens do vLLM e do SGLang.

Para modelos com acesso restrito (gated), anexe seu token do Hugging Face como um secret armazenado no seletor de secrets.

Implantando TensorRT-LLM na TrueFoundry

O TensorRT-LLM não é uma opção de clique único, porque os motores precisam ser compilados para a GPU alvo. O guia dedicado utiliza um fluxo de build e depois serve.

‍

  • Adicione seu token do Hugging Face como um Secret para modelos restritos, depois crie um ML Repo e um workspace com acesso a ele. O ML Repo armazena e versiona os motores compilados.
  • Implante o job builder de motores usando a imagem do builder de motores da TrueFoundry, definindo parâmetros como model id, dtype, max batch size e max input length. Quando concluído, o motor aparecerá em Models e o tokenizer em Artifacts.
  • Implante com NVIDIA Triton usando a imagem do servidor Triton, apontando para os FQNs do motor e do tokenizer. O tipo e a quantidade de GPU devem ser idênticos aos do job builder.
  • Execute inferências em um endpoint compatível com a API da OpenAI. Como o endpoint é compatível com a OpenAI, você pode adicioná-lo ao AI Gateway ou usá-lo diretamente com o SDK da OpenAI.
Executando inferência em um motor TensorRT-LLM implantado por meio do endpoint compatível com a OpenAI.
Um único gateway para cada motor e cada modelo
Combine vLLM, SGLang, TensorRT-LLM e APIs de nuvem sob uma única API, com roteamento, guardrails e observabilidade.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 21, 2026
|
5 min read

Identidade de Agente de IA com Microsoft Entra Agent ID: Emissão e Governança de Identidades de Agentes

No items found.
novembro 21, 2026
|
5 min read

Identidade do Agente e Delegação On-Behalf-Of (OBO): Quem Está Realmente Chamando Suas Ferramentas?

No items found.
novembro 21, 2026
|
5 min read

Agent Skills para Linear MCP: Benchmark de Precisão de 62% → 90%

No items found.
novembro 21, 2026
|
5 min read

agentgateway vs Vercel AI Gateway: gateway de agentes self-hosted ou roteador de modelos gerenciado?

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Frequently asked questions

Is vLLM or TensorRT-LLM faster?

It depends on the model, GPU, and workload. TensorRT-LLM often reaches lower latency on NVIDIA GPUs because it compiles a model specific engine, while vLLM offers excellent throughput and broader model coverage with no build step. Benchmark both on your own traffic.

When should I use SGLang instead of vLLM?

Choose SGLang when your prompts share long prefixes, such as shared system prompts or agentic multi turn flows, or when you need fast, reliable structured outputs like JSON or grammar constrained decoding. Its RadixAttention is designed for prefix reuse.

Can I run all three on TrueFoundry?

Yes. TrueFoundry supports vLLM, SGLang, and TRT-LLM as model servers. vLLM and SGLang are selectable in the catalogue flow, and TensorRT-LLM has a dedicated build and serve guide. Any OpenAI compatible endpoint can be added to the AI Gateway.

Why is the TensorRT-LLM GPU locked?

Because TensorRT-LLM compiles the engine for a specific GPU type and count, the serving deployment must use the same GPU type and count as the builder job. This is what lets it reach its latency and efficiency targets.

Take a quick product tour
Start Product Tour
Product Tour