SGLang vs. vLLM vs. TensorRT-LLM: selección de un motor de inferencia
.png)
Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Por qué importa la elección del motor
El motor de inferencia decide con qué eficiencia su GPU sirve los tokens. El mismo modelo en el mismo hardware puede ofrecer un rendimiento, una latencia y un coste muy diferentes en función del motor y de cómo estén ajustados su batching y su almacenamiento en cache.
No existe un ganador universal. vLLM, SGLang y TensorRT-LLM están en desarrollo activo y convergen en muchas técnicas, como continuous batching, cache KV paginada, prefix caching y cuantización. La elección adecuada depende de su modelo, GPU, longitudes de secuencia, tamaño de lote (batch size) y concurrencia.
vLLM: la opción por defecto de alto rendimiento
vLLM está desarrollado en torno a PagedAttention, que gestiona la cache key-value de la atención en páginas no contiguas, de forma similar a como un sistema operativo gestiona la memoria virtual. Esto reduce la fragmentación de la memoria y permite que el servidor agrupe más secuencias concurrentes en una sola GPU.
Es una excelente opción de uso general para un servicio de alto rendimiento con continuous batching, amplia cobertura de modelos y un servidor compatible con OpenAI fácil de usar. Elija esta opción cuando busque un amplio soporte de modelos y un rendimiento sólido sin necesidad de un paso de compilación. Para obtener una visión más detallada, consulte nuestra explicación sobre vLLM.
SGLang: diseñado para la reutilización de prefijos y salidas estructuradas
SGLang se basa en RadixAttention, que reutiliza la cache KV entre solicitudes que comparten un prefijo mediante un árbol radix. Esto beneficia a las cargas de trabajo con un alto grado de uso compartido de prompts, como los prompts few-shot, los prompts de sistema compartidos largos, las conversaciones multiturno basadas en agentes y la técnica tree-of-thought.
También ofrece salidas estructuradas rápidas y fiables, incluida la decodificación restringida por JSON, regex y gramática, lo que resulta de gran ayuda en pipelines complejos de prompting y tool calling. Recurra a SGLang cuando la reutilización de prefijos y la generación restringida predominen en su tráfico.
TensorRT-LLM: máxima optimización en GPU de NVIDIA
TensorRT-LLM es la librería de NVIDIA que compila modelos en motores optimizados para un objetivo de GPU específico, utilizando kernels fusionados, atención optimizada, cuantización en hardware compatible y batching en marcha (in-flight batching) a través de Triton.
Suele tener como objetivo la menor latencia y la mejor eficiencia por GPU en GPU de NVIDIA, a costa de requerir un paso de compilación explícito y de generar motores vinculados al tipo y cantidad exactos de GPU para los que fueron creados. Como señala la documentación, dado que TRT-LLM optimiza el modelo para el tipo y número de GPU objetivo, es importante que el tipo y el número de GPU coincidan durante el despliegue.
De un vistazo
| Motor | Idea central | Ideal para | Compromiso (tradeoff) |
| --- | --- | --- | --- |
| vLLM | Cache KV PagedAttention | Alto rendimiento general, amplio soporte de modelos | Excelente opción por defecto, no siempre la latencia más baja |
| SGLang | Reutilización de prefijos RadixAttention | Prompts compartidos, agentes, salidas estructuradas | Las mayores ventajas requieren reutilización de prefijos |
| TensorRT-LLM | Motores compilados de NVIDIA | Menor latencia en GPU de NVIDIA | Paso de compilación, motor vinculado a la GPU |
Cualquier cifra de rendimiento es específica de cada carga de trabajo. Realice pruebas de rendimiento en su propio tráfico antes de tomar una decisión. TrueFoundry es compatible con los tres motores, por lo que el motor se puede adaptar a la carga de trabajo.
Despliegue de vLLM o SGLang en TrueFoundry
Para vLLM y SGLang, la vía es el catálogo de modelos. Tal como indica la documentación, TrueFoundry simplifica el proceso de despliegue de un LLM al determinar automáticamente la forma más óptima de desplegarlo y configurar el conjunto correcto de GPU.
Puede elegir uno de los modelos del catálogo de LLM o pegar una URL de un modelo de Hugging Face. TrueFoundry analiza las etiquetas y los archivos del modelo para comprender el framework de despliegue y genera los manifiestos de despliegue. Usted conserva total flexibilidad para elegir el servidor de modelos más óptimo, lo que garantiza una inferencia más rápida. La plataforma también utiliza streaming y almacenamiento en cache de imágenes, lo que proporciona tiempos de descarga 3 veces más rápidos para las imágenes de vLLM y SGLang.

Despliegue de TensorRT-LLM en TrueFoundry
TensorRT-LLM no se activa con un solo clic, ya que los motores deben compilarse para la GPU objetivo. La guía dedicada utiliza un flujo de compilación y posterior servicio.
- Añada su token de Hugging Face como Secret para modelos restringidos, y luego cree un ML Repo y un workspace con acceso a él. El ML Repo almacena y gestiona las versiones de los motores compilados.
- Despliegue el trabajo del compilador del motor (engine builder job) utilizando la imagen TrueFoundry engine builder, configurando parámetros como model id, dtype, max batch size y max input length. Cuando finaliza, el motor aparece en Models y el tokenizer en Artifacts.
- Despliegue con NVIDIA Triton utilizando la imagen del servidor Triton, apuntando a los FQN del motor y del tokenizer. El tipo y la cantidad de GPU deben coincidir con los del trabajo de compilación.
- Ejecute inferencias contra un endpoint compatible con OpenAI. Dado que el endpoint es compatible con OpenAI, puede añadirlo a la AI Gateway o utilizarlo directamente con el SDK de OpenAI.

TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.



Controle, implemente y rastree la IA en su propia infraestructura
Blogs recientes
Preguntas frecuentes
Is vLLM or TensorRT-LLM faster?
It depends on the model, GPU, and workload. TensorRT-LLM often reaches lower latency on NVIDIA GPUs because it compiles a model specific engine, while vLLM offers excellent throughput and broader model coverage with no build step. Benchmark both on your own traffic.
When should I use SGLang instead of vLLM?
Choose SGLang when your prompts share long prefixes, such as shared system prompts or agentic multi turn flows, or when you need fast, reliable structured outputs like JSON or grammar constrained decoding. Its RadixAttention is designed for prefix reuse.
Can I run all three on TrueFoundry?
Yes. TrueFoundry supports vLLM, SGLang, and TRT-LLM as model servers. vLLM and SGLang are selectable in the catalogue flow, and TensorRT-LLM has a dedicated build and serve guide. Any OpenAI compatible endpoint can be added to the AI Gateway.
Why is the TensorRT-LLM GPU locked?
Because TensorRT-LLM compiles the engine for a specific GPU type and count, the serving deployment must use the same GPU type and count as the builder job. This is what lets it reach its latency and efficiency targets.









.png)
.png)
.png)








.png)

.png)


.png)

.png)






