Blank white background with no objects or features visible.

¡Hola, EMEA! TrueFoundry está ampliando su presencia en Europa, Oriente Medio y África. Leer más →

SGLang vs. vLLM vs. TensorRT-LLM: selección de un motor de inferencia

Por Ashish Dubey

Actualizado: noviembre 3, 2026

Published: octubre 8, 2026

⚡ Resumen rápido (TL;DR)
  • vLLM es la opción por defecto sólida y de uso general. Su diseño PagedAttention ofrece un alto rendimiento (throughput) con continuous batching y una amplia cobertura de modelos, sin necesidad de una etapa de compilación.
  • SGLang destaca cuando los prompts comparten prefijos largos o cuando se necesitan salidas estructuradas rápidas y fiables. Su RadixAttention reutiliza la cache KV entre solicitudes que comparten un prefijo.
  • TensorRT-LLM compila un modelo en un motor optimizado para una GPU de NVIDIA específica, buscando la latencia más baja y la mejor eficiencia por GPU, a costa de requerir un paso de compilación.
  • En TrueFoundry puede desplegar cualquiera de los tres. vLLM y SGLang se pueden seleccionar en el flujo del catálogo de modelos, y TensorRT-LLM cuenta con una guía dedicada de compilación y despliegue.

Por qué importa la elección del motor

El motor de inferencia decide con qué eficiencia su GPU sirve los tokens. El mismo modelo en el mismo hardware puede ofrecer un rendimiento, una latencia y un coste muy diferentes en función del motor y de cómo estén ajustados su batching y su almacenamiento en cache.

No existe un ganador universal. vLLM, SGLang y TensorRT-LLM están en desarrollo activo y convergen en muchas técnicas, como continuous batching, cache KV paginada, prefix caching y cuantización. La elección adecuada depende de su modelo, GPU, longitudes de secuencia, tamaño de lote (batch size) y concurrencia.

vLLM: la opción por defecto de alto rendimiento

vLLM está desarrollado en torno a PagedAttention, que gestiona la cache key-value de la atención en páginas no contiguas, de forma similar a como un sistema operativo gestiona la memoria virtual. Esto reduce la fragmentación de la memoria y permite que el servidor agrupe más secuencias concurrentes en una sola GPU.

Es una excelente opción de uso general para un servicio de alto rendimiento con continuous batching, amplia cobertura de modelos y un servidor compatible con OpenAI fácil de usar. Elija esta opción cuando busque un amplio soporte de modelos y un rendimiento sólido sin necesidad de un paso de compilación. Para obtener una visión más detallada, consulte nuestra explicación sobre vLLM.

SGLang: diseñado para la reutilización de prefijos y salidas estructuradas

SGLang se basa en RadixAttention, que reutiliza la cache KV entre solicitudes que comparten un prefijo mediante un árbol radix. Esto beneficia a las cargas de trabajo con un alto grado de uso compartido de prompts, como los prompts few-shot, los prompts de sistema compartidos largos, las conversaciones multiturno basadas en agentes y la técnica tree-of-thought.

También ofrece salidas estructuradas rápidas y fiables, incluida la decodificación restringida por JSON, regex y gramática, lo que resulta de gran ayuda en pipelines complejos de prompting y tool calling. Recurra a SGLang cuando la reutilización de prefijos y la generación restringida predominen en su tráfico.

¿No está seguro de qué motor se adapta a su carga de trabajo?
Realizaremos pruebas de rendimiento (benchmarking) de vLLM, SGLang y TensorRT-LLM en su modelo y GPU, y colocaremos el ganador tras una única gateway.

TensorRT-LLM: máxima optimización en GPU de NVIDIA

TensorRT-LLM es la librería de NVIDIA que compila modelos en motores optimizados para un objetivo de GPU específico, utilizando kernels fusionados, atención optimizada, cuantización en hardware compatible y batching en marcha (in-flight batching) a través de Triton.

Suele tener como objetivo la menor latencia y la mejor eficiencia por GPU en GPU de NVIDIA, a costa de requerir un paso de compilación explícito y de generar motores vinculados al tipo y cantidad exactos de GPU para los que fueron creados. Como señala la documentación, dado que TRT-LLM optimiza el modelo para el tipo y número de GPU objetivo, es importante que el tipo y el número de GPU coincidan durante el despliegue.

De un vistazo

| Motor | Idea central | Ideal para | Compromiso (tradeoff) |

| --- | --- | --- | --- |

| vLLM | Cache KV PagedAttention | Alto rendimiento general, amplio soporte de modelos | Excelente opción por defecto, no siempre la latencia más baja |

| SGLang | Reutilización de prefijos RadixAttention | Prompts compartidos, agentes, salidas estructuradas | Las mayores ventajas requieren reutilización de prefijos |

| TensorRT-LLM | Motores compilados de NVIDIA | Menor latencia en GPU de NVIDIA | Paso de compilación, motor vinculado a la GPU |

Cualquier cifra de rendimiento es específica de cada carga de trabajo. Realice pruebas de rendimiento en su propio tráfico antes de tomar una decisión. TrueFoundry es compatible con los tres motores, por lo que el motor se puede adaptar a la carga de trabajo.

Despliegue de vLLM o SGLang en TrueFoundry

Para vLLM y SGLang, la vía es el catálogo de modelos. Tal como indica la documentación, TrueFoundry simplifica el proceso de despliegue de un LLM al determinar automáticamente la forma más óptima de desplegarlo y configurar el conjunto correcto de GPU.

Puede elegir uno de los modelos del catálogo de LLM o pegar una URL de un modelo de Hugging Face. TrueFoundry analiza las etiquetas y los archivos del modelo para comprender el framework de despliegue y genera los manifiestos de despliegue. Usted conserva total flexibilidad para elegir el servidor de modelos más óptimo, lo que garantiza una inferencia más rápida. La plataforma también utiliza streaming y almacenamiento en cache de imágenes, lo que proporciona tiempos de descarga 3 veces más rápidos para las imágenes de vLLM y SGLang.

Para modelos con acceso restringido (gated models), adjunte su token de Hugging Face como un secret guardado en el selector de secrets.

Despliegue de TensorRT-LLM en TrueFoundry

TensorRT-LLM no se activa con un solo clic, ya que los motores deben compilarse para la GPU objetivo. La guía dedicada utiliza un flujo de compilación y posterior servicio.

‍

  • Añada su token de Hugging Face como Secret para modelos restringidos, y luego cree un ML Repo y un workspace con acceso a él. El ML Repo almacena y gestiona las versiones de los motores compilados.
  • Despliegue el trabajo del compilador del motor (engine builder job) utilizando la imagen TrueFoundry engine builder, configurando parámetros como model id, dtype, max batch size y max input length. Cuando finaliza, el motor aparece en Models y el tokenizer en Artifacts.
  • Despliegue con NVIDIA Triton utilizando la imagen del servidor Triton, apuntando a los FQN del motor y del tokenizer. El tipo y la cantidad de GPU deben coincidir con los del trabajo de compilación.
  • Ejecute inferencias contra un endpoint compatible con OpenAI. Dado que el endpoint es compatible con OpenAI, puede añadirlo a la AI Gateway o utilizarlo directamente con el SDK de OpenAI.
Ejecución de inferencia contra un motor TensorRT-LLM desplegado a través del endpoint compatible con OpenAI.
Una sola gateway para cada motor y cada modelo
Combine vLLM, SGLang, TensorRT-LLM y API en la nube bajo una misma API, con enrutamiento, guardrails y observabilidad.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Inscríbase
Tabla de contenido

Controle, implemente y rastree la IA en su propia infraestructura

Reserva 30 minutos con nuestro Experto en IA

Reserve una demostración

La forma más rápida de crear, gobernar y escalar su IA

Demo del libro
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Descubra más

No se ha encontrado ningún artículo.
noviembre 21, 2026
|
5 minutos de lectura

Identidad de agente de IA con Microsoft Entra Agent ID: emisión y gobernanza de identidades de agentes

No se ha encontrado ningún artículo.
noviembre 21, 2026
|
5 minutos de lectura

agentgateway frente a Vercel AI Gateway: ¿gateway para agentes autohospedado o enrutador de modelos gestionado?

No se ha encontrado ningún artículo.
noviembre 21, 2026
|
5 minutos de lectura

Identidad del agente y delegación On-Behalf-Of (OBO): ¿Quién está llamando realmente a tus herramientas?

No se ha encontrado ningún artículo.
noviembre 21, 2026
|
5 minutos de lectura

Habilidades de agentes para Linear MCP: benchmark de precisión del 62 % al 90 %

No se ha encontrado ningún artículo.
No se ha encontrado ningún artículo.

Blogs recientes

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Preguntas frecuentes

Is vLLM or TensorRT-LLM faster?

It depends on the model, GPU, and workload. TensorRT-LLM often reaches lower latency on NVIDIA GPUs because it compiles a model specific engine, while vLLM offers excellent throughput and broader model coverage with no build step. Benchmark both on your own traffic.

When should I use SGLang instead of vLLM?

Choose SGLang when your prompts share long prefixes, such as shared system prompts or agentic multi turn flows, or when you need fast, reliable structured outputs like JSON or grammar constrained decoding. Its RadixAttention is designed for prefix reuse.

Can I run all three on TrueFoundry?

Yes. TrueFoundry supports vLLM, SGLang, and TRT-LLM as model servers. vLLM and SGLang are selectable in the catalogue flow, and TensorRT-LLM has a dedicated build and serve guide. Any OpenAI compatible endpoint can be added to the AI Gateway.

Why is the TensorRT-LLM GPU locked?

Because TensorRT-LLM compiles the engine for a specific GPU type and count, the serving deployment must use the same GPU type and count as the builder job. This is what lets it reach its latency and efficiency targets.

Realice un recorrido rápido por el producto
Comience el recorrido por el producto
Visita guiada por el producto