SGLang vs vLLM vs TensorRT-LLM: Een inference engine kiezen

Waarom de keuze van de engine van belang is

De inference engine bepaalt hoe efficiënt uw GPU tokens serveert. Hetzelfde model op dezelfde hardware kan heel verschillende throughput, latency en kosten opleveren, afhankelijk van de engine en de manier waarop batching en caching zijn afgesteld.

Er is geen universele winnaar. vLLM, SGLang en TensorRT-LLM worden allemaal actief ontwikkeld en komen samen op veel technieken, waaronder continuous batching, paged KV cache, prefix caching en quantisatie. De juiste keuze hangt af van uw model, GPU, sequentielengtes, batchgrootte en concurrency.

vLLM: de standaard voor hoge throughput

vLLM is gebouwd rond PagedAttention, dat de attention key-value cache beheert in niet-aaneengesloten pagina's op dezelfde manier waarop een besturingssysteem virtueel geheugen beheert. Dat vermindert geheugenfragmentatie en stelt de server in staat om meer gelijktijdige sequenties op een enkele GPU te plaatsen.

Het is een sterke, algemene keuze voor uitrol met een hoge throughput dankzij continuous batching, brede modeldekking en een eenvoudige OpenAI-compatibele server. Kies ervoor wanneer u een brede ondersteuning voor modellen en een solide throughput wilt zonder een compilatiestap. Voor een diepgaandere blik bekijkt u onze vLLM explainer.

SGLang: gebouwd voor prefix-hergebruik en gestructureerde outputs

SGLang is gebouwd rond RadixAttention, dat de KV cache hergebruikt voor requests die een prefix delen met behulp van een radix tree. Dat is voordelig voor workloads met veel gedeelde prompts, zoals few-shot prompts, lange gedeelde systeemprompts, agentic multi-turn gesprekken en tree of thought.

Het levert ook snelle, betrouwbare gestructureerde outputs, waaronder JSON, regex en grammar-constrained decoding, wat helpt bij complexe prompting- en tool calling-pipelines. Kies voor SGLang wanneer prefix-hergebruik en beperkte generatie uw verkeer domineren.

Weet u niet zeker welke engine bij uw workload past?

We benchmarken vLLM, SGLang en TensorRT-LLM op uw model en GPU, en plaatsen de winnaar vervolgens achter één gateway.

Boek een demo

TensorRT-LLM: maximale optimalisatie op NVIDIA GPU's

TensorRT-LLM is de bibliotheek van NVIDIA die modellen compileert tot geoptimaliseerde engines voor een specifiek GPU-doel, met gebruikmaking van gefuseerde kernels, geoptimaliseerde attention, quantisatie op ondersteunde hardware en in-flight batching via Triton.

Het streeft doorgaans naar de laagste latency en de beste efficiëntie per GPU op NVIDIA GPU's, ten koste van een expliciete buildstap en engines die gekoppeld zijn aan het exacte GPU-type en het aantal waarvoor ze zijn gebouwd. Zoals de documentatie opmerkt: aangezien TRT-LLM het model optimaliseert voor het GPU-doeltype en de aantallen, is het belangrijk dat het GPU-type en het aantal overeenkomen tijdens de implementatie.

In één oogopslag

| Engine | Kernconcept | Het beste voor | Trade-off |

| --- | --- | --- | --- |

| vLLM | PagedAttention KV cache | Algemene hoge throughput, brede modelondersteuning | Geweldige standaard, niet altijd de laagste latency |

| SGLang | RadixAttention prefix-hergebruik | Gedeelde prompts, agentic, gestructureerde outputs | Grootste winst vereist prefix-hergebruik |

| TensorRT-LLM | Gecompileerde NVIDIA-engines | Laagste latency op NVIDIA GPU's | Buildstap, engine gekoppeld aan GPU |

Prestatiecijfers zijn afhankelijk van de specifieke workload. Voer een benchmark uit op uw eigen verkeer voordat u een definitieve keuze maakt. TrueFoundry ondersteunt ze alle drie, zodat de engine kan worden afgestemd op de workload.

vLLM of SGLang implementeren op TrueFoundry

Voor vLLM en SGLang is de modelcatalogus de route. Zoals de documentatie vermeldt, vereenvoudigt TrueFoundry het proces van het implementeren van een LLM door automatisch de meest optimale manier van implementatie te bepalen en de juiste set GPU's te configureren.

U kunt een van de modellen in de LLM-catalogus kiezen of een Hugging Face model-URL plakken. TrueFoundry analyseert de modeltags en -bestanden om het deployment-framework te begrijpen en genereert de deployment-manifesten. U behoudt volledige flexibiliteit bij het kiezen van de meest optimale modelserver, wat zorgt voor snellere inference. Het platform maakt ook gebruik van image streaming en caching, wat zorgt voor 3X snellere downloadtijden voor vLLM- en SGLang-images.

TensorRT-LLM implementeren op TrueFoundry

TensorRT-LLM is geen simpele knop met één klik, omdat engines moeten worden gecompileerd voor de GPU waarop wordt gemikt. De specifieke handleiding maakt gebruik van een build-en-serve workflow.

‍

• Voeg uw Hugging Face-token toe als een Secret voor beveiligde modellen, maak vervolgens een ML Repo aan en een workspace met toegang daartoe. De ML Repo slaat de gecompileerde engines op en beheert de versies ervan.
  

• Implementeer de engine builder job met behulp van het TrueFoundry engine builder image, en stel parameters in zoals model id, dtype, max batch size en max input length. Wanneer dit voltooid is, verschijnt de engine onder Models en de tokenizer onder Artifacts.
  

• Implementeer met NVIDIA Triton met behulp van het Triton server image, waarbij u verwijst naar de FQN's van de engine en tokenizer. Het GPU-type en het aantal moeten overeenkomen met de builder job.
  

• Voer inferences uit via een OpenAI-compatibel endpoint. Omdat het endpoint OpenAI-compatibel is, kunt u het toevoegen aan de AI Gateway of het rechtstreeks gebruiken met de OpenAI SDK.

Één gateway voor elke engine en elk model

Combineer vLLM, SGLang, TensorRT-LLM en cloud-API's onder één API, met routing, guardrails en observabiliteit.

Praat met een expert