Blank white background with no objects or features visible.

Hallo EMEA! TrueFoundry baut seine Präsenz in Europa, dem Nahen Osten und Afrika weiter aus. Mehr erfahren. →

SGLang vs. vLLM vs. TensorRT-LLM: Wahl der Inference Engine

von Ashish Dubey

Aktualisiert: November 20, 2026

Published: Oktober 8, 2026

⚡ TL;DR
  • vLLM ist der stärkste Allround-Standard. Das PagedAttention-Design bietet hohen Durchsatz mit Continuous Batching und breiter Modellabdeckung, ganz ohne Compilierungs-Schritt.
  • SGLang glänzt, wenn Prompts lange Präfixe teilen oder Sie schnelle, zuverlässige strukturierte Ausgaben benötigen. RadixAttention wiederverwendet den KV Cache über Requests hinweg, die sich ein Präfix teilen.
  • TensorRT-LLM compiliert ein Modell in eine optimierte Engine für eine spezifische NVIDIA-GPU mit dem Ziel niedrigster Latenz und bester Effizienz pro GPU – auf Kosten eines Build-Schritts.
  • Auf TrueFoundry können Sie alle drei deployen. vLLM und SGLang lassen sich direkt im Modellkatalog-Ablauf auswählen, und für TensorRT-LLM gibt es eine dedizierte Build-und-Serve-Anleitung.

Warum die Wahl der Engine entscheidend ist

Die Inference Engine entscheidet darüber, wie effizient Ihre GPU Tokens ausgibt. Dasselbe Modell auf derselben Hardware kann je nach Engine und der Abstimmung von Batching und Caching sehr unterschiedliche Durchsätze, Latenzen und Kosten liefern.

Es gibt keinen universellen Gewinner. vLLM, SGLang und TensorRT-LLM werden alle aktiv weiterentwickelt und konvergieren bei vielen Techniken, darunter Continuous Batching, Paged KV Cache, Prefix Caching und Quantisierung. Die richtige Wahl hängt von Ihrem Modell, der GPU, den Sequenzlängen, der Batch Size und der Concurrency ab.

vLLM: der High-Throughput-Standard

vLLM basiert auf PagedAttention, das den Attention Key-Value Cache in nicht zusammenhängenden Seiten verwaltet, ähnlich wie ein Betriebssystem den virtuellen Speicher steuert. Das reduziert die Speicherfragmentierung und ermöglicht es dem Server, mehr parallele Sequenzen auf einer einzelnen GPU unterzubringen.

Es ist eine starke Allround-Wahl für High-Throughput-Serving mit Continuous Batching, breiter Modellabdeckung und einem einfach zu nutzenden OpenAI-kompatiblen Server. Wählen Sie vLLM, wenn Sie eine breite Modellunterstützung und soliden Durchsatz ohne Compilierungs-Schritt suchen. Für genauere Einblicke lesen Sie unseren vLLM Explainer.

SGLang: entwickelt für Prefix Reuse und strukturierte Ausgaben

SGLang basiert auf RadixAttention, das den KV Cache über Requests hinweg, die ein Präfix teilen, mithilfe eines Radix-Baums wiederverwendet. Das kommt Workloads mit starkem Prompt-Sharing zugute, etwa Few-Shot Prompts, langen gemeinsamen System-Prompts, agentischen Multi-Turn-Unterhaltungen und Tree-of-Thought.

Zudem liefert es schnelle, zuverlässige strukturierte Ausgaben, einschließlich JSON-, Regex- und Grammatik-beschränktem Decoding, was komplexen Prompting- und Tool-Calling-Pipelines hilft. Greifen Sie zu SGLang, wenn Prefix Reuse und constrained Generation Ihren Traffic dominieren.

Unsicher, welche Engine zu Ihrem Workload passt?
Wir benchmarken vLLM, SGLang und TensorRT-LLM mit Ihrem Modell und Ihrer GPU und schalten den Gewinner hinter ein zentrales Gateway.

TensorRT-LLM: maximale Optimierung auf NVIDIA-GPUs

TensorRT-LLM ist die NVIDIA-Bibliothek, die Modelle in optimierte Engines für ein spezifisches GPU-Ziel compiliert. Dazu nutzt sie Fused Kernels, optimierte Attention, Quantisierung auf unterstützter Hardware und In-Flight Batching über Triton.

Es zielt typischerweise auf die niedrigste Latenz und beste Effizienz pro GPU auf NVIDIA-GPUs ab – erkauft durch einen expliziten Build-Schritt und Engines, die exakt an den GPU-Typ und die GPU-Anzahl gebunden sind, für die sie gebaut wurden. Wie in der Dokumentation angemerkt: Da TRT-LLM das Modell für den Ziel-GPU-Typ und die Anzahl optimiert, ist es wichtig, dass GPU-Typ und -Anzahl beim Deployment übereinstimmen.

Auf einen Blick

| Engine | Kernidee | Ideal für | Tradeoff |

| --- | --- | --- | --- |

| vLLM | PagedAttention KV Cache | Allgemeiner hoher Durchsatz, breite Modellunterstützung | Hervorragender Standard, nicht immer die niedrigste Latenz |

| SGLang | RadixAttention Prefix Reuse | Gemeinsame Prompts, Agenten, strukturierte Ausgaben | Größte Vorteile erfordern Prefix Reuse |

| TensorRT-LLM | Compilierte NVIDIA-Engines | Niedrigste Latenz auf NVIDIA-GPUs | Build-Schritt, Engine an GPU gebunden |

Alle Leistungszahlen sind workload-spezifisch. Benchmarken Sie mit Ihrem eigenen Traffic, bevor Sie sich festlegen. TrueFoundry unterstützt alle drei, sodass die Engine optimal an den Workload angepasst werden kann.

Deployen von vLLM oder SGLang auf TrueFoundry

Für vLLM und SGLang führt der Weg über den Modellkatalog. Wie in den Docs beschrieben, vereinfacht TrueFoundry das Deployment eines LLM, indem es automatisch den optimalen Weg für das Deployment ermittelt und die richtige Zusammenstellung von GPUs konfiguriert.

Sie können entweder eines der Modelle im LLM-Katalog auswählen oder eine Hugging Face Modell-URL einfügen. TrueFoundry analysiert die Modell-Tags und -Dateien, um das Deployment-Framework zu verstehen, und generiert die Deployment-Manifeste. Sie behalten die volle Flexibilität bei der Wahl des optimalen Modellservers, was eine schnellere Inference garantiert. Die Plattform nutzt außerdem Image-Streaming und -Caching, was 3-mal schnellere Download-Zeiten für vLLM- und SGLang-Images ermöglicht.

Binden Sie für geschützte Modelle Ihr Hugging Face Token als gespeichertes Secret im Secret Picker ein.

Deployen von TensorRT-LLM auf TrueFoundry

TensorRT-LLM ist kein Ein-Klick-Schalter, da Engines für die Ziel-GPU compiliert werden müssen. Die dedizierte Anleitung nutzt einen Build-then-Serve-Ablauf.

‍

  • Fügen Sie Ihr Hugging Face Token als Secret hinzu für geschützte Modelle, und erstellen Sie ein ML Repo sowie einen Workspace mit Zugriff darauf. Das ML Repo speichert und versioniert die compilierten Engines.
  • Deployen Sie den Engine Builder Job unter Verwendung des TrueFoundry Engine Builder Images und stellen Sie Parameter wie Model ID, Dtype, Max Batch Size und Max Input Length ein. Nach Abschluss erscheint die Engine unter Models und der Tokenizer unter Artifacts.
  • Deployen Sie mit NVIDIA Triton unter Verwendung des Triton Server Images, gerichtet auf die FQNs von Engine und Tokenizer. GPU-Typ und -Anzahl müssen mit dem Builder Job übereinstimmen.
  • Führen Sie Inferences aus gegen einen OpenAI-kompatiblen Endpunkt. Da der Endpunkt OpenAI-kompatibel ist, können Sie ihn zum AI Gateway hinzufügen oder direkt mit dem OpenAI SDK nutzen.
Ausführen von Inferences gegen eine deployte TensorRT-LLM-Engine über den OpenAI-kompatiblen Endpunkt.
Ein Gateway für jede Engine und jedes Modell
Kombinieren Sie vLLM, SGLang, TensorRT-LLM und Cloud-APIs unter einer einzigen API – mit Routing, Guardrails und Observability.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Melde dich an
Inhaltsverzeichniss

Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur

Buchen Sie eine 30-minütige Fahrt mit unserem KI-Experte

Eine Demo buchen

Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren

Demo buchen
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Entdecke mehr

Keine Artikel gefunden.
November 21, 2026
|
Lesedauer: 5 Minuten

KI-Agenten-Identität mit Microsoft Entra Agent ID: Ausstellung und Governance von Agenten-Identitäten

Keine Artikel gefunden.
November 21, 2026
|
Lesedauer: 5 Minuten

Agenten-Identität und On-Behalf-Of (OBO) Delegation: Wer ruft Ihre Tools wirklich auf?

Keine Artikel gefunden.
November 21, 2026
|
Lesedauer: 5 Minuten

agentgateway vs Vercel AI Gateway: Self-Hosted Agent Gateway oder Managed Model Router?

Keine Artikel gefunden.
November 21, 2026
|
Lesedauer: 5 Minuten

Agent Skills für Linear MCP: 62 % → 90 % Genauigkeits-Benchmark

Keine Artikel gefunden.
Keine Artikel gefunden.

Aktuelle Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Häufig gestellte Fragen

Is vLLM or TensorRT-LLM faster?

It depends on the model, GPU, and workload. TensorRT-LLM often reaches lower latency on NVIDIA GPUs because it compiles a model specific engine, while vLLM offers excellent throughput and broader model coverage with no build step. Benchmark both on your own traffic.

When should I use SGLang instead of vLLM?

Choose SGLang when your prompts share long prefixes, such as shared system prompts or agentic multi turn flows, or when you need fast, reliable structured outputs like JSON or grammar constrained decoding. Its RadixAttention is designed for prefix reuse.

Can I run all three on TrueFoundry?

Yes. TrueFoundry supports vLLM, SGLang, and TRT-LLM as model servers. vLLM and SGLang are selectable in the catalogue flow, and TensorRT-LLM has a dedicated build and serve guide. Any OpenAI compatible endpoint can be added to the AI Gateway.

Why is the TensorRT-LLM GPU locked?

Because TensorRT-LLM compiles the engine for a specific GPU type and count, the serving deployment must use the same GPU type and count as the builder job. This is what lets it reach its latency and efficiency targets.

Machen Sie eine kurze Produkttour
Produkttour starten
Produkttour