SGLang vs vLLM vs TensorRT-LLM: Escolhendo um Motor de Inferência
.png)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Por que a escolha do motor é importante
O motor de inferência decide com que eficiência sua GPU serve os tokens. O mesmo modelo no mesmo hardware pode entregar throughput, latência e custos muito diferentes, dependendo do motor e de como seu batching e caching são ajustados.
Não existe um vencedor universal. vLLM, SGLang e TensorRT-LLM estão todos em desenvolvimento ativo e convergem em muitas técnicas, incluindo continuous batching, paged KV cache, prefix caching e quantização. A escolha certa depende do seu modelo, GPU, comprimentos de sequência, tamanho de batch e concorrência.
vLLM: o padrão de alto throughput
O vLLM é construído em torno da PagedAttention, que gerencia o attention key value cache em páginas não contíguas da mesma forma que um sistema operacional gerencia a memória virtual. Isso reduz a fragmentação de memória e permite que o servidor aloque mais sequências concorrentes em uma única GPU.
É uma escolha forte e de uso geral para serving de alto throughput com continuous batching, ampla cobertura de modelos e um servidor simples compatível com a API da OpenAI. Escolha-o quando desejar um amplo suporte a modelos e throughput sólido sem uma etapa de compilação. Para uma análise mais aprofundada, veja nosso explicativo sobre vLLM.
SGLang: desenvolvido para reuso de prefixo e saídas estruturadas
O SGLang é construído em torno da RadixAttention, que reutiliza o KV cache entre requisições que compartilham um prefixo usando uma árvore radix. Isso beneficia cargas de trabalho com alto compartilhamento de prompts, como few shot prompts, prompts de sistema compartilhados longos, conversas multi-turn de agentes e tree of thought.
Ele também oferece saídas estruturadas rápidas e confiáveis, incluindo decodificação restrita por JSON, regex e gramática, o que auxilia pipelines complexos de prompting e tool calling. Opte pelo SGLang quando o reuso de prefixos e a geração restrita dominarem seu tráfego.
TensorRT-LLM: otimização máxima em GPUs NVIDIA
O TensorRT-LLM é a biblioteca da NVIDIA que compila modelos em motores otimizados para um alvo de GPU específico, usando fused kernels, attention otimizado, quantização em hardware compatível e in flight batching através do Triton.
Ele normalmente busca a menor latência e a melhor eficiência por GPU em GPUs NVIDIA, ao custo de uma etapa de build explícita e motores vinculados ao tipo e à quantidade exatos de GPU para os quais foram construídos. Como destaca a documentação, dado que o TRT-LLM otimiza o modelo para o tipo e a quantidade de GPU alvo, é fundamental que o tipo e a quantidade de GPU correspondam durante a implantação.
Visão geral
| Motor | Conceito central | Ideal para | Compromisso (Tradeoff) |
| --- | --- | --- | --- |
| vLLM | PagedAttention KV cache | Alto throughput geral, amplo suporte a modelos | Excelente padrão, nem sempre a menor latência |
| SGLang | Reuso de prefixo com RadixAttention | Prompts compartilhados, agentes, saídas estruturadas | Os maiores ganhos exigem reuso de prefixo |
| TensorRT-LLM | Motores NVIDIA compilados | Menor latência em GPUs NVIDIA | Etapa de build, motor vinculado à GPU |
Quaisquer números de desempenho dependem da carga de trabalho específica. Faça benchmarks com seu próprio tráfego antes de decidir. A TrueFoundry suporta todos os três para que o motor possa ser ajustado à carga de trabalho.
Implantando vLLM ou SGLang na TrueFoundry
Para vLLM e SGLang, o caminho é o catálogo de modelos. Como afirma a documentação, a TrueFoundry simplifica o processo de implantação de um LLM descobrindo automaticamente a maneira mais otimizada de implantá-lo e configurando o conjunto correto de GPUs.
Você pode escolher um dos modelos no catálogo de LLM ou colar uma URL de modelo do Hugging Face. A TrueFoundry analisa as tags e os arquivos do modelo para entender o framework de implantação e gera os manifestos de implantação. Você mantém total flexibilidade para escolher o servidor de modelo mais otimizado, o que garante uma inferência mais rápida. A plataforma também utiliza streaming de imagem e caching, proporcionando tempos de download 3 vezes mais rápidos para imagens do vLLM e do SGLang.

Implantando TensorRT-LLM na TrueFoundry
O TensorRT-LLM não é uma opção de clique único, porque os motores precisam ser compilados para a GPU alvo. O guia dedicado utiliza um fluxo de build e depois serve.
- Adicione seu token do Hugging Face como um Secret para modelos restritos, depois crie um ML Repo e um workspace com acesso a ele. O ML Repo armazena e versiona os motores compilados.
- Implante o job builder de motores usando a imagem do builder de motores da TrueFoundry, definindo parâmetros como model id, dtype, max batch size e max input length. Quando concluído, o motor aparecerá em Models e o tokenizer em Artifacts.
- Implante com NVIDIA Triton usando a imagem do servidor Triton, apontando para os FQNs do motor e do tokenizer. O tipo e a quantidade de GPU devem ser idênticos aos do job builder.
- Execute inferências em um endpoint compatível com a API da OpenAI. Como o endpoint é compatível com a OpenAI, você pode adicioná-lo ao AI Gateway ou usá-lo diretamente com o SDK da OpenAI.

TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
Is vLLM or TensorRT-LLM faster?
It depends on the model, GPU, and workload. TensorRT-LLM often reaches lower latency on NVIDIA GPUs because it compiles a model specific engine, while vLLM offers excellent throughput and broader model coverage with no build step. Benchmark both on your own traffic.
When should I use SGLang instead of vLLM?
Choose SGLang when your prompts share long prefixes, such as shared system prompts or agentic multi turn flows, or when you need fast, reliable structured outputs like JSON or grammar constrained decoding. Its RadixAttention is designed for prefix reuse.
Can I run all three on TrueFoundry?
Yes. TrueFoundry supports vLLM, SGLang, and TRT-LLM as model servers. vLLM and SGLang are selectable in the catalogue flow, and TensorRT-LLM has a dedicated build and serve guide. Any OpenAI compatible endpoint can be added to the AI Gateway.
Why is the TensorRT-LLM GPU locked?
Because TensorRT-LLM compiles the engine for a specific GPU type and count, the serving deployment must use the same GPU type and count as the builder job. This is what lets it reach its latency and efficiency targets.










.png)
.png)

.png)






.png)

.png)


.png)

.png)
.png)






