Blank white background with no objects or features visible.

Wir stellen Ihnen den vollständigen Gartner Hype Cycle für KI-Governance 2026 kostenlos zur Verfügung. Hier Exemplar sichern →

DeepSeek V4-Pro ist GA: Was ein MIT-lizensiertes Frontier-Modell tatsächlich verändert

von Ashish Dubey

Aktualisiert: November 3, 2026

Published: September 22, 2026

⚡ TL;DR
  • Was veröffentlicht wurde. DeepSeek hat DeepSeek-V4-Pro-0813 am 13. August 2026 veröffentlicht und löst damit die V4-Pro Preview ab, die am 24. April 2026 gestartet ist (DeepSeek API-Dokumentation, Äderungsprotokoll). Es handelt sich um ein Mixture-of-Experts-Modell mit 1M-Kontext, dessen Gewichte auf Hugging Face unter der MIT-Lizenz veröffentlicht wurden.
  • Was sich geändert hat. Die GA-Version behält die Modellstruktur der Preview bei und fügt ein DSpark-Modul für spekulatives Dekodieren sowie einen neu trainierten Agenten-Stack hinzu. Die Sprünge bei den Agenten-Benchmarks sind die Hauptnachricht: Terminal Bench 2.1 stieg von 72,1 auf 87,9, DeepSWE von 12,8 auf 62,7 (Modellkarte).
  • Für wen das wichtig ist. Teams, die selbst hosten können, und Teams, die eine zweite Option der Frontier-Klasse hinter einer einzigen API nutzen möchten. Wenn Sie ein MoE-Modell mit 1,7 Billionen Parametern nicht selbst betreiben können, sind die Open-Weights eher eine Portabilitätsgarantie als eine unmittelbare Kostenersparnis.
  • Was es kostet. Ab 16:00 UTC am 16. August 2026: $ 0,66 pro Million Input-Token außerhalb der Spitzenzeiten und $ 1,32 zu Spitzenzeiten, $ 1,98 pro Million Output-Token außerhalb der Spitzenzeiten und $ 3,96 zu Spitzenzeiten (Preise).
  • Alle nachfolgenden Zahlen entsprechen dem Stand von September 2026 und stammen aus DeepSeeks eigener Dokumentation, der Modellkarte oder der Preisseite. Wenn eine Zahl nicht aus einer Primärquelle stammt, ist sie entsprechend gekennzeichnet.

Was DeepSeek veröffentlicht hat

DeepSeek-V4-Pro ging am 24. April 2026 in die Preview und wurde am 13. August 2026 allgemein verfügbar (GA) — nach knapp vier Monaten. Der API-Modellname hat sich nie geändert: Sie rufen weiterhin deepseek-v4-pro auf, und die GA-Version hat einfach die Preview dahinter ersetzt.

Die Spezifikationen gemäß der DeepSeek-Seite Models & Pricing und der GA-Modellkarte (Stand: September 2026):

Eigenschaft DeepSeek-V4-Pro-0813
Kontextlänge 1M Token
Max. Output 384K Token
Parameter 1,7 Billionen insgesamt (Preview: 1,6 Billionen insgesamt / 49 Milliarden aktiviert)
Präzision FP4 + FP8 gemischt
Lizenz MIT, Repository und Gewichte
Reasoning-Aufwand low / high / max
API-Formate OpenAI Chat Completions, OpenAI Responses, Anthropic
Vision Nicht unterstützt auf V4-Pro
Limit für gleichzeitige Anfragen 500

Zwei Details sind wichtiger als die Parameteranzahl.

Erstens: Die Gewichte sind wirklich offen. Der GA-Checkpoint ist unter deepseek-ai/DeepSeek-V4-Pro-0813 unter der MIT-Lizenz veröffentlich — keine maßgeschneiderte Community-Lizenz mit einer Umsatzgrenze oder Nutzungsbereichsbeschränkungen. MIT ist so freizügig wie nur möglich. Das ist die eine Tatsache, die den Rest dieses Beitrags überhaupt erst schreibenswert macht.

Zweitens: Die Effizienzarbeit ist die eigentliche Architektur-Story. Die Preview-Modellkarte beschreibt ein hybrides Attention-Design, das Compressed Sparse Attention und Heavily Compressed Attention kombiniert, und berichtet, dass V4-Pro bei einem Kontext von 1M Token nur etwa 27 % der Single-Token-Inferenz-FLOPs und 10 % des KV-Caches von DeepSeek-V3.2 benötigt. Langer Kontext lässt sich hier auf eine Weise günstig bereitstellen, wie es in der V3-Generation nicht möglich war, was die Self-Hosting-Kalkulation genau deshalb so interessant macht.

[SCREENSHOT: DeepSeek chat — the Expert Mode selector that routes to V4-Pro on app and web]

Was sich gegenüber der Preview geändert hat

DeepSeek drückt sich hier ungewöhnlich direkt aus. Die GA-Modellkarte gibt an, dass V4-Pro-0813 „auf der Modellstruktur von DeepSeek-V4-Pro (Preview) aufbaut, an die ein DSpark-Modul für spekulatives Dekodieren angehängt wurde“ — das Basismodell ist dasselbe; das Post-Training und der Dekodierungspfad sind es nicht.

Die veröffentlichten Abweichungen von der Preview zur GA-Version:

Benchmark V4-Pro Preview V4-Pro-0813
Terminal Bench 2.1 72,1 87,9
DeepSWE 12,8 62,7
NL2Repo 38,5 61,5
Cybergym 52,7 83,3
Toolathlon-Verified 55,9 74,1
AutomationBench (Öffentlich) 12,8 31,8
HLE (ohne / mit Tools) 37,7 / 48,2 42,7 / 60,0

Quelle: DeepSeek-V4-Pro-0813 Modellkarte, September 2026.

Ein Wort der Warnung beim Lesen dieser Zahlen. DeepSeek weist darauf hin, dass die Ergebnisse der Code-Agenten mit dem eigenen DeepSeek Harness im Minimalmodus bei maximalem Reasoning-Aufwand (reasoning_effort = max), Temperature = 1,0, top_p = 0,95 erzielt wurden. Ein fast fünffacher Sprung bei DeepSWE ist ein Post-Training-Ergebnis, das unter dem eigenen Harness des Anbieters gemessen wurde, keine unabhängige Reproduktion. Die Tendenz ist eindeutig real; das Ausmaß verdient jedoch Ihre eigene Evaluierung.

Neben dem Modell brachte die GA-Version native Unterstützung für die OpenAI Responses API mit einer Ein-Klick-Codex-Konfiguration sowie die dreistufige Steuerung des reasoning_effort, die den binären Thinking-Schalter ersetzt.

Die Benchmarks, ehrlich gelesen

Die GA-Modellkarte enthält eine Vergleichstabelle mit offenen und geschlossenen Konkurrenten. Hier ist der Teil, den jeder zitiert, und anschließend der Teil, den die meisten Beiträge weglassen.

Benchmark V4-Pro-0813 Opus-4.8 Fable-5 (mit Fallback) Kimi K3 GLM-5.2
Terminal Bench 2.1 87,9 85,0 88,0 88,3 81,0
DeepSWE 62,7 58,0 70,0 67,5 46,2
Cybergym 83,3 78,3 83,1 80,0 —
AutomationBench (Öffentlich) 31,8 27,2 29,1 30,8 12,9
NL2Repo 61,5 69,7 — — 48,9
DSBench-Hard 67,2 71,7 68,3 63,0 54,5
Toolathlon-Verified 74,1 76,2 77,9 76,5 59,9
HLE (ohne Tools) 42,7 49,8 53,3 43,5 40,5

Quelle: DeepSeek-V4-Pro-0813 Modellkarte, September 2026.

Wo V4-Pro führt. Terminal-basierte Agenten-Aufgaben und sicherheitsrelevantes Coding. Es schlägt Opus-4.8 bei Terminal Bench 2.1, DeepSWE, Cybergym und AutomationBench. Für ein Modell, das man herunterladen kann, ist das ein echtes Ergebnis.

Wo die proprietären Modelle weiterhin gewinnen. Reines Wissen und die komplexeren Repository-Aufgaben. Opus-4.8 liegt bei NL2Repo um mehr als acht Punkte vorne, ebenso bei DSBench-Hard, Toolathlon-Verified und HLE ohne Tools. Fable-5 mit Fallback führt bei den meisten derselben Disziplinen. Wenn Ihre Arbeitslast von komplexen Änderungen an mehreren Repository-Dateien oder von der Wissensbreite dominiert wird, bleiben die proprietären Frontier-Modelle die bessere Antwort — daran ändert auch noch so viel Lizenz-Enthusiasmus nichts.

Wo die anderen Open-Source-Modelle stehen. Kimi K3 liegt bei Terminal Bench 2.1 und DeepSWE knapp vor V4-Pro. Der Titel „Bestes Open-Weight-Modell“ ist umkämpft und nicht entschieden. Der interessante Anspruch ist spezieller und nachhaltiger: Ein herunterladbares Modell ist jetzt nah genug an der Leistungsgrenze (Frontier), dass sich die Frage nach dem eigenen Deployment konkret stellt.

Wie die Preisgestaltung von DeepSeek V4 tatsächlich aussieht

DeepSeek hat mit der GA-Version eine getrennte Abrechnung nach Spitzenzeiten (Peak) und Nebenzeiten (Off-Peak) eingeführt, die am 16. August 2026 um 16:00 UTC in Kraft getreten ist. Die Off-Peak-Tarife betragen genau die Hälfte der Peak-Tarife. Spitzenzeiten sind Montag bis Freitag von 01:00-04:00 und 06:00-10:00 UTC, ausgenommen chinesische Feiertage; alle anderen Zeiten, einschließlich der Wochenenden, gelten als Off-Peak.

Pro 1M Token Off-peak Peak
Input, Cache-Hit $ 0,022 $ 0,044
Input, Cache-Miss $ 0,66 $ 1,32
Output $ 1,98 $ 3,96

Quelle: DeepSeek Models & Pricing, September 2026.

Drei Dinge sind hierbei zu beachten: Der Preis für einen Cache-Hit ist 30-mal niedriger als für einen Cache-Miss, daher ist die Prompt-Struktur bei allen Anfragen mit einem stabilen System-Prompt enorm wichtig. Die Aufteilung in Peak und Off-Peak ist ein Instrument zur Laststeuerung, kein Rabatt — wer Batch-Aufgaben in die Off-Peak-Zeiten verlegt, halbiert seine Rechnung. Zudem hat DeepSeek die Preise bei der GA-Freigabe gegenüber der Preview erhöht, wobei die veröffentlichten Tarife der Preview [VERIFY] sind — sie stehen nicht mehr auf der Preisseite und wir werden sie nicht aus Sekundärquellen beziehen.

Ein betrieblicher Hinweis: Das Limit für gleichzeitige API-Anfragen (Concurrency Limit) für deepseek-v4-pro liegt bei 500. DeepSeek hat am 10. September 2026 außerdem bestätigt, dass die V4 Pro API auch über den 14. September 2026 hinaus mit unveränderter Abrechnung bereitgestellt wird (Änderungsprotokoll).

[SCREENSHOT: DeepSeek Platform — usage dashboard showing peak vs off-peak token spend]

Wo Teams auf Probleme stoßen

Bei Open-Weight-Frontier-Modellen treten immer wieder vier Fehlermuster auf — und V4-Pro weist sie alle vier auf.

Die Self-Hosting-Rechnung betrifft einen Node, nicht eine GPU. DeepSeeks Referenz-Befehl zur Bereitstellung in der Modellkarte zielt auf eine Konfiguration mit einem einzelnen 4-Node-GB300-System über vLLM ab, wobei FP8-KV-Cache, Expert Parallelism und DSpark für spekulatives Dekodieren aktiviert sind. Ein MoE mit 1,7 Billionen Parametern fährt man nicht mal eben auf einer ungenutzten A100 hoch. Die Open-Weights geben Ihnen die Option zum Self-Hosting; ob die Rechnung gegenüber $ 1,98 pro Million Output-Token aufgeht, hängt vollständig von Ihrer Auslastung ab. Unterhalb einer recht hohen, gleichmäßigen Grundlast gewinnt die API.

Es gibt kein Chat-Template. Die GA-Version wird ohne Jinja-Chat-Template ausgeliefert. DeepSeek stellt stattdessen einen Ordner mit Python-Skripten zur Kodierung bereit, um Nachrichten im OpenAI-Format in Modell-Inputs umzuwandeln und die Ausgabe zurückzuparsen. Jeder Teil Ihres Stacks, der tokenizer.apply_chat_template voraussetzt, muss angepasst werden.

V4-Pro hat keine Vision-Unterstützung. Multimodale Verarbeitungsfähigkeiten sind der Flash-Reihe vorbehalten, nicht Pro. Eine Einzel-Modell-Strategie, die Multimodalität voraussetzt, greift hier nicht — was bedeutet, dass Sie Anfragen über mindestens zwei Modelle routen müssen, ob Sie das geplant hatten oder nicht.

Datenresidenz und API sind jetzt zwei getrennte Entscheidungen. Das Senden von Prompts an api.deepseek.com ist eine andere Datenflussfrage als das Ausführen derselben Gewichte in Ihrer eigenen VPC. Teams verwechseln häufig „Wir können DeepSeek V4 nutzen“ mit „Wir können die DeepSeek-API aufrufen“ — und beide Fragen erhalten bei derselben Sicherheitsüberprüfung unterschiedliche Antworten. Ihre eigene Rechtsabteilung entscheidet, was zulässig ist; der Punkt ist lediglich, dass die Open-Weights technisch beide Wege ermöglichen.

Betreiben Sie offene und proprietäre Modelle hinter einem einzigen Endpunkt.
Das AI Gateway von TrueFoundry routet über ein einziges OpenAI-kompatibles API über 1.000+ LLMs, fügt nur etwa 3-4 ms Latenz hinzu und verarbeitet 350+ RPS auf 1 vCPU.

Wo TrueFoundry ins Spiel kommt

Ein Open-Weight-Frontier-Modell ändert Ihre Wirtschaftlichkeit nur dann, wenn Sie es auch tatsächlich irgendwo einsetzen können. Das ist genau der Teil, den TrueFoundry übernimmt.

Hosten Sie es selbst in Ihrer eigenen VPC. Das AI Gateway registriert selbstgehostete Open-Weight-Modelle neben gehosteten Anbietern: Sie deployen V4-Pro auf Ihrem eigenen Kubernetes mit vLLM oder SGLang, verweisen das Gateway auf den Endpunkt, und es erscheint im Modellkatalog mit demselben Routing, Rate Limiting, Cost Tracking und derselben Observability wie jedes API-Modell (Dokumentation zu selbstgehosteten Modellen). Da sowohl vLLM als auch SGLang standardmäßig ein OpenAI-kompatibles API bereitstellen, benötigt das Gateway keinen DeepSeek-spezifischen Adapter.

Adding a self-hosted model to the TrueFoundry AI Gateway model catalogue
Hinzufügen eines selbstgehosteten Modells zum Modellkatalog des TrueFoundry AI Gateway

Oder rufen Sie die API auf und halten Sie sich die Option offen. Wenn Sie noch nicht bereit für Self-Hosting sind, routen Sie über das Gateway zur API von DeepSeek und nutzen Sie denselben Aufrufpfad, den Sie später für ein selbstgehostetes Deployment verwenden würden. Der Wechsel vom gehosteten Endpunkt zu Ihrem eigenen Cluster wird so zu einer bloßen Konfigurationsänderung statt zu einem Umschreiben der Anwendung.

Routing configuration in the TrueFoundry AI Gateway
Routing-Konfiguration im TrueFoundry AI Gateway

Routen Sie nach Komplexität, nicht nach Gewohnheit. Die Benchmark-Tabelle oben ist ein Argument für eine gemischte Flotte, nicht für eine Migration — und kosten- und qualitätsbewusstes Routing ist der Weg, eine solche zu betreiben. Komplexe Repository-Arbeiten gehen an Opus-4.8, Terminal-basierte Agentenläufe an V4-Pro, Klassifizierung und Extraktion an ein günstigeres Modell. Im eigenen Auto-Routing-Benchmark von TrueFoundry über 550 Prompts hinweg senkte die Staffelung von Anfragen die Kosten um 69 % bei Erhalt von 98 % der Baseline-Qualität, während die durchschnittliche Latenz von 7,6 s auf 4,0 s sank; bei produktionsnahem Datenverkehr erreichte die Einsparung 80 %.

Complexity-based routing tiers and their model targets
Komplexitätsbasierte Routing-Stufen und ihre Modell-Ziele

Wenden Sie in beiden Fällen dieselben Guardrails an. Ein selbstgehostetes Modell erbt nicht automatisch den Sicherheits-Stack eines Anbieters. Guardrails auf Gateway-Ebene greifen im Request- und Response-Pfad — unabhängig davon, ob es sich beim Modell um den Endpunkt von DeepSeek oder Ihren eigenen Pod handelt.

Guardrails applied on the request and response path through the AI Gateway
Guardrails, die auf dem Request- und Response-Pfad durch das AI Gateway angewendet werden

Messen Sie, bevor Sie sich festlegen. Die Kosten und Latenzzeiten pro Anfrage und Team sind der einzige Weg, um herauszufinden, ob die Off-Peak-Preise von V4-Pro oder ein selbstgehosteter Node Ihre aktuellen Betriebskosten tatsächlich unterbieten.

Per-model cost, token and latency metrics in TrueFoundry
Kosten-, Token- und Latenz-Metriken pro Modell in TrueFoundry
Platzieren Sie DeepSeek V4-Pro neben Ihren proprietären Modellen und vergleichen Sie sie anhand Ihres eigenen Datenverkehrs.
Ein Endpunkt, Cost Attribution pro Team und die Freiheit, das Modell später in Ihren eigenen Cluster zu verlagern.

So führen Sie DeepSeek V4-Pro über das Gateway aus

Die Kurzfassung (Stand: September 2026):

  1. Entscheiden Sie sich zwischen gehostet und selbstgehostet. Gehostet bedeutet api.deepseek.com im OpenAI- oder Anthropic-Format. Selbstgehostet bedeutet vLLM oder SGLang auf Ihrem eigenen Kubernetes; DeepSeek veröffentlicht Startbefehle für beides, und das spekulative Dekodieren mit DSpark ist ein einzelnes Flag (--speculative-config mit method: dspark bei vLLM, --speculative-algorithm DSPARK bei SGLang).
  2. Registrieren Sie das Modell. Für ein selbstgehostetes Deployment fügen Sie es unter AI Gateway > Models > Self Hosted Models mit der Endpunkt-URL, Modell-ID, dem Server-Typ und der Authentifizierung hinzu (Dokumentation). Für die gehostete API fügen Sie DeepSeek als Provider-Account hinzu.
  3. Setzen Sie den Reasoning-Aufwand gezielt ein. low für einfache Aufrufe, high für die tägliche Agentenarbeit, max für die schwierigen Fälle. Dies ist der größte einzelne Kostenhebel des Modells, da max sowohl die Spitzen-Benchmarks als auch die höchsten Token-Rechnungen erzeugt. DeepSeek empfiehlt bei high und max eine maximale Output-Länge von 384K.
  4. Routen Sie, statt zu migrieren. Leiten Sie einen Teil des realen Datenverkehrs um, vergleichen Sie die Ergebnisse bei Ihren eigenen Aufgaben mit Ihrem bisherigen Modell und weiten Sie die Nutzung nur dort aus, wo es gewinnt.
Model routing configuration across providers
Modell-Routing-Konfiguration über verschiedene Anbieter hinweg

Verwandte Artikel

Fazit

Die GA-Veröffentlichung von DeepSeek V4-Pro ist keine reine Benchmark-Erfolgsgeschichte. Nach den von DeepSeek selbst veröffentlichten Zahlen schlägt es Opus-4.8 bei einigen Agenten-Aufgaben, unterliegt ihm jedoch bei komplexeren Repository-Arbeiten sowie beim Allgemeinwissen, und Kimi K3 macht ihm die Führung unter den Open-Source-Modellen streitig. Als bloßer Ranglisteneintrag betrachtet ist es ein gutes Modell mit einem gemischten Leistungsprofil.

Betrachtet man es jedoch als Lizenzmodell, ergibt sich ein anderes Bild. Ein Modell mit 1M-Kontext, das nah genug an der Leistungsgrenze liegt, um eine echte Option darzustellen, und unter der MIT-Lizenz veröffentlicht wurde, bedeutet: Die Frage nach dem Deployment ist nicht mehr rein theoretischer Natur. Sie können es in Ihrer eigenen VPC ausführen, Prompts auf der von Ihnen kontrollierten Infrastruktur halten und für Compute statt für Token bezahlen — vorausgesetzt, Ihre Auslastung rechtfertigt einen leistungsstarken Node und Sie sind bereit, den Serving-Stack selbst zu betreiben. Für die meisten Teams wird das heute noch nicht der Fall sein, weshalb der richtige Schritt darin besteht, Anfragen an die API zu routen und sich gleichzeitig den Pfad zum Self-Hosting offenzuhalten.

Das ist das ehrliche Fazit: Es läuft darauf hinaus, was Sie selbst verwalten möchten. Wenn Sie möchten, dass jemand anderes das Modell betreibt, ist die proprietäre Frontier weiterhin der schnellste Weg und liefert bei den schwersten Aufgaben nach wie vor die besten Ergebnisse. Wenn Sie sich die Option offenhalten wollen, das Modell ohne Anpassungen an der Anwendung in Ihre eigene Umgebung zu verlagern, ist ein Open-Weight-Modell hinter einem Gateway der Weg, sich diese Option kostengünstig zu sichern — und Sie sollten sie sich sichern, bevor Sie sie dringend benötigen.

Routen Sie DeepSeek V4-Pro parallel zu Ihren bestehenden Modellen

Try now.

One gateway for all your models, MCP servers, and agents.
No credit card needed.

Melde dich an
Inhaltsverzeichniss

Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur

Buchen Sie eine 30-minütige Fahrt mit unserem KI-Experte

Eine Demo buchen

Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren

Demo buchen
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Entdecke mehr

Keine Artikel gefunden.
November 6, 2026
|
Lesedauer: 5 Minuten

Guardrails for Claude: PII Redaction and Prompt-Injection Defense

Keine Artikel gefunden.
November 6, 2026
|
Lesedauer: 5 Minuten

Claude Prompt Caching: Die wahre Kostenrechnung

Keine Artikel gefunden.
November 6, 2026
|
Lesedauer: 5 Minuten

Claude vs. ChatGPT für Unternehmen: Sicherheit, Kosten und Kontrolle

Keine Artikel gefunden.
November 6, 2026
|
Lesedauer: 5 Minuten

Claude API Pricing: A Model-by-Model Cost Breakdown

Keine Artikel gefunden.
Keine Artikel gefunden.

Aktuelle Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.

Häufig gestellte Fragen

Was ist DeepSeek V4 und wann wurde es veröffentlicht?

DeepSeek V4 ist die Mixture-of-Experts-Modellfamilie von DeepSeek. Die V4-Preview mit V4-Pro und V4-Flash erschien am 24. April 2026. DeepSeek-V4-Pro erreichte am 13. August 2026 als DeepSeek-V4-Pro-0813 die allgemeine Verfügbarkeit.

Ist DeepSeek V4-Pro Open Source?

Die Gewichte und das Repository sind unter der MIT-Lizenz auf Hugging Face unter deepseek-ai/DeepSeek-V4-Pro-0813 veröffentlicht. Das umfasst Gewichte und Code, nicht die Trainingsdaten; „Open Weight“ ist daher der präzisere Begriff als „Open Source“.

Was kostet die DeepSeek-V4-API?

Stand September 2026: 0,66 $ pro Million Input-Tokens außerhalb der Spitzenzeiten und 1,32 $ zu Spitzenzeiten bei einem Cache-Miss, 0,022 $ und 0,044 $ bei einem Cache-Hit sowie 1,98 $ und 3,96 $ pro Million Output-Tokens. Spitzenzeiten sind werktags von 01:00 bis 04:00 und von 06:00 bis 10:00 UTC.

Kann ich DeepSeek V4-Pro selbst hosten?

Ja, und DeepSeek veröffentlicht Serving-Rezepte für vLLM und SGLang. Seien Sie realistisch, was die Größenordnung angeht: Es ist ein Modell mit 1,7 Billionen Parametern, und die Referenzkonfiguration in der Model Card ist ein GB300-Knoten mit mehreren GPUs.

Fügt ein AI Gateway nennenswerte Latenz hinzu?

Das AI Gateway von TrueFoundry fügt etwa 3–4 ms hinzu und bewältigt mehr als 350 RPS auf 1 vCPU – unerheblich im Vergleich zu Generierungszeiten von mehreren Sekunden.

Muss ich mich für ein einziges Modell entscheiden?

Nein, und die oben gezeigte Streuung der Benchmarks ist das Argument dagegen. Nach Aufgabentyp über offene und geschlossene Modelle hinweg zu routen, ist meist günstiger und besser, als sich auf eines festzulegen.

Machen Sie eine kurze Produkttour
Produkttour starten
Produkttour