Streamable HTTP, drei Ären und der aktuelle Wire Contract

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Der Remote-HTTP-Transport von MCP hat in etwa zwei Jahren drei verschiedene Wire-Ären durchlaufen. Der HTTP+SSE-Transport vom 05.11.2024 nutzte zwei Endpunkte und einen langlebigen Stream; er ist seit dem 26.03.2025 veraltet (deprecated) und kann in Zukunft entfernt werden. Streamable HTTP ersetzte ihn am 26.03.2025 durch einen einzelnen Endpunkt — doch diese erste Form enthielt noch Sitzungen auf Protokollebene, einen eigenständigen GET-Stream, vom Server initiierte Anfragen über SSE sowie fortsetzbare Streams. Die Überarbeitung vom 28.07.2026 hat diese Mechanismen entfernt. Was bleibt, ist außergewöhnlich aufgeräumt: Jede JSON-RPC-Nachricht des Clients wird als eigener POST gesendet, Antworten auf Anfragen bestehen entweder aus einem einzelnen JSON-Objekt oder einem auf diese Anfrage beschränkten SSE-Stream, und ausgewählte Anfrage-Metadaten werden in Header gespiegelt, damit Zwischeninstanzen (Intermediaries) den Datenverkehr routen und prüfen können, ohne den Body zu parsen. Genau diese letzte Designentscheidung lohnt einer genauen Betrachtung.
Ein Load Balancer routet basierend auf einem Header, während der Server basierend auf dem Body ausführt – und beide stimmen nicht überein. Das ist in dieser Spezifikation kein hypothetisches Szenario — es ist der ausdrückliche Grund, warum eine komplette Validierungsregel existiert. Der Transport vom 28.07.2026 berücksichtigt explizit Zwischeninstanzen zwischen Client und Server, und ein Großteil des neuen Header-Contracts ergibt erst Sinn, wenn man ihn aus dieser Perspektive liest.
1. Drei Ären
05.11.2024 — HTTP+SSE. Zwei Endpunkte. Der Client initiierte ein GET, das einen SSE-Stream öffnete, dessen erstes Ereignis ein endpoint-Ereignis war, das dem Client mitteilte, wohin er POST-Anfragen senden sollte. Alles vom Server Initiierte traf über den langlebigen Stream ein. Seit dem 26.03.2025 unter der Feature-Lifecycle-Richtlinie veraltet (deprecated); von neuen Implementierungen wird abgeraten.
26.03.2025 bis 25.11.2025 — Streamable HTTP, erste Form. Ein einzelner MCP-Endpunkt, was die wesentliche Vereinfachung darstellte. Doch vier Mechanismen hielten ihn zustandsbehaftet: Server konnten eine Sitzung über einen Mcp-Session-Id-Header zuweisen, die mit einem HTTP DELETE beendet wurde; Clients konnten mit GET einen eigenständigen SSE-Stream öffnen, um vom Server initiierte Nachrichten zu empfangen; Server konnten JSON-RPC-Anfragen auf SSE-Streams senden; und Streams waren über Last-Event-ID fortsetzbar.
28.07.2026 — die aktuelle Form. Keiner dieser vier Mechanismen ist geblieben. Die Überarbeitungsnotizen listen die Entfernungen klar auf: Der GET-Stream-Endpunkt und Sitzungen auf Protokollebene sind verschwunden, und die folgenden Abschnitte ergänzen, dass Streams nicht fortsetzbar sind und Server keine unabhängigen Anfragen auf einem Stream senden dürfen.
Ein Server, der nur die aktuelle Überarbeitung implementiert, verarbeitet älteren Datenverkehr mit definiertem Verhalten: GET oder DELETE an den MCP-Endpunkt erhält 405 Method Not Allowed; ein Mcp-Session-Id-Header wird ignoriert und es wird keine Sitzungskennung generiert oder zurückgesendet; ein Last-Event-ID-Header wird ignoriert.
2. Das Wire-Protokoll
Der Server stellt einen einzelnen HTTP-Endpunktpfad bereit — den MCP-Endpunkt —, der POST unterstützt. Die Sicherheitsbasis des Transports ist vor jeglicher Wire-Optimierung von Bedeutung: Server müssen den Origin-Header bei eingehenden Verbindungen validieren und 403 zurückgeben, wenn ein vorhandener Origin ungültig ist; lokal ausgeführte Server sollten an localhost statt an alle Schnittstellen binden; und Server sollten Verbindungen authentifizieren. Diese Anforderungen existieren, um das Risiko von DNS-Rebinding und unbefugtem Zugriff zu verringern.
Senden. Jede JSON-RPC-Nachricht des Clients ist ein eigener POST. Der Client muss einen Accept-Header einfügen, der sowohl application/json als auch text/event-stream listet, und der Body muss eine einzelne JSON-RPC-Anfrage oder -Benachrichtigung sein. Clients dürfen keine JSON-RPC-Antworten senden. Eine Feinheit ist für Entwickler wichtig: Obwohl der Transport definiert, wie sich ein Benachrichtigungs-POST verhält, definiert das Kernprotokoll vom 28.07.2026 keine Client-zu-Server-Benachrichtigungen über Streamable HTTP und legt keine Metadaten-Header-Anforderungen für Benachrichtigungs-POSTs fest.
Benachrichtigungen. Akzeptiert der Server eine Benachrichtigung, gibt er 202 Accepted ohne Body zurück; kann er sie nicht akzeptieren, folgt ein HTTP-Fehlerstatus, der optional eine JSON-RPC-Fehlermeldung ohne id enthalten kann.
Anfragen. Der Server gibt entweder Content-Type: application/json mit einem einzelnen JSON-Objekt oder Content-Type: text/event-stream mit einem auf diese Anfrage beschränkten SSE-Stream zurück. Der Client muss beides unterstützen — ein Server entscheidet pro Anfrage, sodass ein Client, der nur eine Variante verarbeitet, unvorhersehbar fehlschlägt.
Was auf einem Antwort-Stream übertragen wird. Der Server kann vor der finalen Antwort Benachrichtigungen im Zusammenhang mit der ursprünglichen Anfrage senden — etwa Fortschritts- und Protokollmeldungen —, und die finale Antwort sollte den Stream beenden. Der Server darf keine unabhängigen JSON-RPC-Anfragen darauf senden. Dies ist der explizite Bruch mit früheren Überarbeitungen.
Abbruch. Das Schließen des SSE-Antwort-Streams muss vom Server als Abbruch dieser Anfrage behandelt werden, und da jede Anfrage ihren eigenen Stream hat, ist die Trennung eindeutig. Die Abbruchbenachrichtigung des Kernprotokolls wird nur bei stdio verwendet; bei diesem Transport gibt es keine Abbruchnachricht und es wird auch keine erwartet.
3. Wohin vom Server initiierte Aufgaben verlagert wurden
Zwei Dinge benötigten zuvor einen Kanal vom Server zum Client; sie wurden in unterschiedliche Mechanismen aufgeteilt.
Anfragen an den Client — Sampling, Elicitation, Roots — sind jetzt im Rahmen des Multi Round-Trip Requests-Musters als Eingabeanforderungen in die Ergebnisse eingebettet. Der Server gibt ein InputRequiredResult zurück, das inputRequests enthält; der Client sammelt die angeforderten Informationen und führt den ursprünglichen Aufruf mit passendem inputResponses erneut aus. Es handelt sich um einen zweiten POST, nicht um einen Push.
Langlebige Änderungsbenachrichtigungen — Änderungen der Tool-Liste, Ressourcen-Updates — werden durch Senden einer subscriptions/listen-Anfrage abgerufen, deren Antwort selbst ein SSE-Stream ist, der offen bleibt und nur die Benachrichtigungstypen liefert, für die sich der Client entschieden hat. Anfragespezifische Benachrichtigungen wie der Fortschritt erscheinen dort nicht; sie fließen nur auf dem Stream der Anfrage, zu der sie gehören.
Diese Trennung ist durchdachter, als sie klingt. Der standardisierte, langlebige Benachrichtigungs-Stream existiert, weil der Client ihn angefordert hat, und seine Inhalte werden durch das eigene Abonnement des Clients gefiltert. Multi-Round-Trip-Aufgaben können auf der MCP-Transportebene zustandslos bleiben, da der Server den erforderlichen Kontext in requestState kodieren kann und der Client diesen opaken Wert beim erneuten Versuch zurücksendet.

4. Zwei Details, die hinter einem Proxy Probleme bereiten können
Die Spezifikation enthält zwei betriebliche Hinweise, die existieren, weil SSE und Reverse Proxies eine schwierige Beziehung haben.
Pufferung (Buffering). Beim Initiieren eines SSE-Streams sollten Server X-Accel-Buffering: no einfügen. Dies weist Reverse Proxies wie nginx an, die Antwortpufferung zu deaktivieren. Ohne diese Anweisung kann ein Proxy Nachrichten ansammeln, bevor er sie weiterleitet — was Latenz verursacht und den Zweck des Streamings untergräbt. Wenn gestreamte Fortschritts-Updates gebündelt am Ende eintreffen, ist die Antwortpufferung eines der ersten Merkmale von Zwischeninstanzen, die überprüft werden sollten.
Keep-Alives. Bei langlebigen Streams, insbesondere der subscriptions/listen-Antwort, werden Server ermutigt, regelmäßig eine SSE-Kommentarzeile — eine Zeile, die mit einem Doppelpunkt beginnt — als Keep-Alive zu senden, damit Zwischeninstanzen und Idle-Timeouts eine inaktive Verbindung nicht schließen. Gemäß der SSE-Spezifikation enthält ein Kommentar keine Ereignisdaten, und Clients müssen solche Zeilen ignorieren, anstatt sie als fehlerhaft zu behandeln.
5. Der Header Contract
Dies ist der Teil, der den Transport grundlegend von einer JSON-RPC-over-HTTP-Konvention unterscheidet, und die Spezifikation nennt seinen Zweck direkt: Der Transport spiegelt ausgewählte JSON-RPC-Body-Felder in HTTP-Header wider, damit Zwischeninstanzen — Load Balancer, Gateways, Observability-Tools — Anfragen routen und prüfen können, ohne den Body zu parsen.
MCP-Protocol-Version — bei jedem POST erforderlich, und sein Wert muss mit der Protokollversion übereinstimmen, die im _meta des Bodys enthalten ist. Eine Abweichung wird mit 400 Bad Request und einem HeaderMismatch-Fehler abgelehnt. Eine Version, die der Server nicht implementiert, erhält 400 mit einem Fehler, der die von ihm unterstützten Versionen auflistet. Eine nicht implementierte Methode erhält 404 mit JSON-RPC -32601, was sie von dem 404 eines Legacy-Servers unterscheidet.
Mcp-Method — spiegelt method wider. Erforderlich bei allen JSON-RPC-Anfragen.
Mcp-Name — spiegelt params.name oder params.uri wider. Erforderlich für tools/call, resources/read und prompts/get.
Für JSON-RPC-Anfragen sind diese Standard-Request-Header für die Konformität in den obigen Umfängen erforderlich. Benachrichtigungs-POSTs stellen einen separaten Sonderfall dar: Diese Überarbeitung definiert zwar ihre Transportmechanik, nicht jedoch ihre Metadaten-Header-Anforderungen. Eine minimal konforme tools/call-Anfrage sieht auf der Leitung daher wie folgt aus:
Server können noch weiter gehen und spezifische Tool-Parameter festlegen, die gespiegelt werden sollen, indem sie eine x-mcp-header-Erweiterung im Schema des Parameters verwenden, was zu Headern mit dem Namen Mcp-Param-{Name} führt. Ein Server, der einen Region-Parameter annotiert, erhält Mcp-Param-Region: us-west1 neben dem Body — was genau die Form ist, die ein Router benötigt, um eine Anfrage an das richtige regionale Backend zu senden, ohne die Payload zu lesen.
Die Einschränkungen dieser Erweiterung sind streng und es lohnt sich, sie zu kennen, bevor Sie darauf aufbauend entwickeln. Werte dürfen nicht leer sein, müssen der HTTP-Token-Syntax entsprechen, dürfen keine Steuerzeichen enthalten und müssen innerhalb des Schemas ohne Berücksichtigung von Groß-/Kleinschreibung eindeutig sein. Es sind nur primitive Typen zulässig — String, Boolean und Integer, wobei number explizit ausgeschlossen ist. Und die annotierte Eigenschaft muss vom Schema-Stammverzeichnis statisch über eine Kette erreichbar sein, die ausschließlich aus properties-Schlüsseln besteht: nicht über Array-Schlüsselwörter, nicht über oneOf, anyOf, allOf oder not, nicht über Bedingungen und nicht über $ref. Verschachtelte Objekte sind in Ordnung, solange jeder Schritt ein properties-Schlüssel ist. Eine Annotation an einer anderen Stelle macht die Tool-Definition ungültig, und ein konformer Client muss dieses Tool von tools/list ausschließen und gleichzeitig eine Warnung protokollieren — so deaktiviert eine fehlerhafte Definition nicht die übrigen.
Werte, die nicht sicher als einfaches ASCII dargestellt werden können, werden innerhalb eines Sentinels Base64-kodiert, =?base64?...?=, und dieselbe Kodierung gilt für Mcp-Name. Ein elegantes Detail: Ein einfacher ASCII-Wert, der zufällig wie der Sentinel aussieht, muss ebenfalls kodiert werden, um Zweideutigkeiten zu vermeiden.
6. Warum Abweichungen ein Fehler sind
Server, die den Anfrage-Body verarbeiten, müssen Anfragen ablehnen, bei denen Header-Werte nicht mit den entsprechenden Body-Werten übereinstimmen, und 400 mit dem JSON-RPC-Fehler -32020 zurückgeben. Die Spezifikation nennt den Grund explizit, und es handelt sich um ein Sicherheitsargument und nicht um eines der Ordnungsmäßigkeit: Dies verhindert Schwachstellen, wenn verschiedene Komponenten im Netzwerk sich auf unterschiedliche vertrauenswürdige Quellen stützen — etwa wenn ein Load Balancer basierend auf dem Header-Wert routet, während der MCP-Server basierend auf dem Body-Wert ausführt.
Betrachten Sie dies als Bedrohungsmodell. Wenn eine Zwischeninstanz eine Entscheidung anhand eines Headers trifft und der Server auf Basis eines Bodys agiert, der etwas anderes besagt, kann ein Client, der beide unterschiedlich setzt, einen Zustand gespaltener Vertrauensquellen (Split-Source-of-Truth) herbeiführen — beispielsweise Routing oder Richtlinienauswertung gegen einen Wert, während die Ausführung einen anderen nutzt. Die erforderliche serverseitige Validierung schließt diese Klasse von Abweichungen für die aktuelle Überarbeitung aus, und kodierte Werte müssen vor dem Vergleich dekodiert werden.
7. Was das für ein Gateway bedeutet
Es kommt selten vor, dass ein Protokoll spezifiziert, was die Instanz in der Mitte tun sollte. Da dieses Protokoll es tut, ist die Zuordnung außergewöhnlich direkt.
Routen ohne Parsing. Mcp-Method und Mcp-Name bedeuten, dass ein Proxy einen Tool-Aufruf von einem Ressourcen-Lesevorgang unterscheiden kann — und welches Tool aufgerufen wird —, und zwar allein anhand der Header. Das ist der Unterschied zwischen einer MCP-fähigen Schicht und einer Schicht, die jede Payload deserialisieren muss, um eine Entscheidung zu treffen (MCP-Übersicht).
Tool-Identität für eine Autorisierungsschicht ohne Body-Parsing offenlegen. Eine konforme tools/call-Anfrage führt den Tool-Namen in Mcp-Name mit. Das gibt einer MCP-fähigen Zwischeninstanz eine protokollseitig definierte Eingabe an die Hand, die sie bei der Anwendung werkzeugspezifischer Richtlinien nutzen kann; Authentifizierung und Autorisierung müssen weiterhin vom Gateway/Server durchgesetzt und dürfen nicht aus dem Header selbst abgeleitet werden (MCP-Dokumentation zu Authentifizierung und Sicherheit).
Rate-Limiting nach Tool oder Mandant. Die Spezifikation nennt das Rate-Limiting nach Mandanten als beabsichtigte Nutzung gespiegelter Header durch Zwischeninstanzen, wobei die Versionsprüfung als Sicherheitsbedingung dient (Rate-Limiting).
Observability mit nützlichen Dimensionen. Die Verfügbarkeit von Methode und Tool-Name ohne Body-Parsing ist genau das, was eine werkzeugbezogene Telemetrie benötigt, und es deckt sich mit den Konventionen für Tool-Aufrufe, die sich in den Telemetriestandards etablieren (Dokumentation zu Analytics und Tracing).
Entfernen der MCP-Sitzungsaffinität aus der Transportebene. Da Sitzungen auf Protokollebene entfernt wurden und Antwort-Streams auf einzelne Anfragen beschränkt sind, erfordert der MCP-Transport kein Sticky-Routing oder einen gemeinsamen MCP-Sitzungsspeicher mehr. Anwendungen können weiterhin dauerhaften Zustand hinter expliziten Handles oder gemeinsamen Speichern verwalten; „zustandsloser Transport“ sollte daher nicht als „zustandslose Anwendung“ missverstanden werden. Hintergrundinformationen zur früheren Transportform von 2025 finden Sie in unserem Vergleich von stdio vs. Streamable HTTP; allgemeine Gateway-Verteilungsmuster werden unter Failover und Load Balancing diskutiert.
Eine Verpflichtung gilt in die umgekehrte Richtung und betrifft alles, was sich im Datenpfad befindet. Eine Zwischeninstanz, die einen Mcp-Param-{Name}-Header nicht erkennt, muss ihn weiterleiten und ansonsten ignorieren. Das Entfernen unbekannter Header — ein häufiger Standardwert in gehärteten Proxies — führt bei konformen Servern, die diese erwarten, zu Fehlern.
Wo ein Agent Harness hineinpasst. Der Transport benötigt weiterhin einen Aufrufer, der entscheidet, wann ein Tool aufgerufen werden soll. TrueForge, das Open-Source-Agent-Harness von TrueFoundry, führt diese Ausführungsschleife über Modellaufrufe, entfernte MCP-Tools, Skills, Sandboxing, Genehmigungen, Kontextmanagement und Sitzungszustand hinweg aus. Sein MCP-Konnektor unterstützt Remote-Server mit Header-Authentifizierung oder OAuth, einschließlich einer Autorisierungspause im Chat, wenn ein Benutzer noch keinen Server verbunden hat. Das sorgt für eine klare Trennung: TrueForge orchestriert den Agentenschritt; Streamable HTTP definiert den Client-Server-Wire-Contract; und ein TrueFoundry MCP Gateway kann den Tool-Datenverkehr steuern, der gezielt darüber geroutet wird. Keine dieser Schichten ersetzt die anderen.

8. Eine einsatzbereite Konfiguration
Wenn Sie MCP-Server betreiben, validieren Sie Origin, authentifizieren Sie Verbindungen und binden Sie lokale Server konservativ, bevor Sie sich um das Streaming-Feintuning kümmern. Senden Sie dann X-Accel-Buffering: no bei SSE-Antworten und Keep-Alive-Kommentare bei langlebigen Streams; Pufferung und Idle-Timeouts können sich als Anwendungslatenz oder Streaming-Fehler tarnen. Validieren Sie die Übereinstimmung von Header und Body, anstatt einem von beiden allein zu vertrauen, und dekodieren Sie Sentinel-kodierte Werte vor dem Vergleich. Geben Sie bei Datenverkehr aus früheren Streamable HTTP-Überarbeitungen das spezifizierte Kompatibilitätsverhalten zurück — 405 bei GET und DELETE, und ignorieren Sie Sitzungs- und Event-ID-Header —, damit ältere Clients vorhersehbar fehlschlagen oder sich anpassen.
Wenn Sie eine Zwischeninstanz im Datenpfad betreiben, leiten Sie unbekannte Mcp-Param-*-Header weiter, prüfen Sie die Protokollversion, bevor Sie gespiegelte Header als autoritativ behandeln, und nutzen Sie die Vorteile, für die die Spiegelung entwickelt wurde: Routing, Richtlinieneingaben, Rate-Limiting und Telemetrie basierend auf Methode und Tool-Name, ohne jede Payload zu deserialisieren. Der Header liefert Metadaten; Ihre Identitäts- und Autorisierungsschicht entscheidet weiterhin, ob der Aufrufer die Aktion ausführen darf.
Wenn Sie einen Client schreiben, unterstützen Sie beide Antwort-Content-Types, behandeln Sie SSE-Kommentarzeilen als ignorierbar und folgen Sie der Fallback-Sequenz — versuchen Sie eine moderne Anfrage und prüfen Sie bei einem 400 den Body, bevor Sie Schlüsse ziehen, da moderne Server auch 400 bei nicht unterstützten Versionen und Header-Validierungsfehlern zurückgeben. Ein erkannter moderner Fehler bedeutet erneuten Versuch statt Fallback.
9. Was das Protokoll löst — und was nicht
Der Transport vom 28.07.2026 vereinfacht den Wire-Contract; er entscheidet nicht über die Geschäftslogik des Agenten. Er entfernt die Sitzungsaffinität auf MCP-Ebene, definiert die Funktionsweise von anfragespezifischem Streaming und Wiederholungsversuchen und liefert Zwischeninstanzen validierte Metadaten, die sie für Routing und Richtlinieneingaben nutzen können. Er wählt nicht aus, welches Tool ein Agent aufrufen soll, erteilt dem Aufrufer keine Berechtigung zur Nutzung dieses Tools, definiert keine Genehmigungsrichtlinien, speichert keinen Anwendungskontext und beweist nicht, dass eine nachgelagerte Nebenwirkung vom führenden System autorisiert wurde.
Diese Verantwortlichkeiten liegen bei angrenzenden Schichten. Eine Agent-Runtime wie TrueForge steuert die Ausführungsschleife und kann MCP-Konnektoren, Genehmigungen, Kontext und Sitzungszustand verwalten. Ein TrueFoundry MCP Gateway kann Authentifizierung, Autorisierung, Tool-Zugriff und Observability für den darüber gerouteten Datenverkehr zentralisieren. Der MCP-Server und die nachgelagerte Anwendung behalten weiterhin die Kontrolle über ihre eigene geschäftliche Autorisierung und deren Auswirkungen. Diese Grenzen explizit zu halten ist nützlicher, als einen saubereren Transport als vollständiges Agenten-Sicherheitsmodell zu betrachten.
Schließlich beschreibt dieser Artikel eine Überarbeitung einer sich schnell entwickelnden Spezifikation. Die hier genannten Anforderungsstufen stammen aus dem Text vom 28.07.2026; reale Clients und Server können hinter Überarbeitungen zurückbleiben, und die Spezifikation bleibt gegenüber jeder Zusammenfassung maßgeblich. Dieser Beitrag erhebt auch keinen Anspruch darauf, dass eine bestimmte bereitgestellte TrueFoundry Gateway-Version intern jeden gespiegelten Header vom 28.07.2026 nutzt.
Referenzen
- Model Context Protocol — Streamable HTTP transport specification (2026-07-28), die Quelle für Transportmechanik, Sicherheitsbasis, Anfragemetadaten, Validierung und Kompatibilitätsregeln, die hier beschrieben werden.
- Model Context Protocol — 2026-07-28 changelog und die 2025-11-25 transport revision für die vorherige Form.
- Model Context Protocol — Multi Round-Trip Requests und subscriptions.
- TrueFoundry — stdio vs. Streamable HTTP – früheren Transport-Kontext; MCP-Authentifizierung und Sicherheit; Rate Limiting; Analytics.
- TrueForge – Open-Source Agent Harness und MCP-Server-Einrichtung, mit Dokumentation von Remote-MCP-Connectors mit Header-Auth oder OAuth, In-Chat-Autorisierung, Freigaben, Kontextverwaltung und persistenten Sitzungen.
Mechaniken, Anforderungsebenen, Header-Namen, Fehlercodes, Kompatibilitätsregeln und MRTR-Zustandssicherheitsanforderungen sind aus dem verlinkten Spezifikationstext vom 28.07.2026 paraphrasiert; das Beispiel-Request ist aus der eigenen Illustration der Spezifikation angepasst. Das Remote-HTTP-Wire-Design von MCP hat sich über drei Ären hinweg erheblich verändert, und die Spezifikation ist gegenüber dieser Zusammenfassung maßgeblich. TrueFoundry-Produktbehauptungen beschränken sich auf die auf den verlinkten aktuellen Seiten dokumentierten Funktionen; dieser Beitrag behauptet nicht, dass eine bestimmte bereitgestellte Gateway-Version jeden gespiegelten Header vom 28.07.2026 intern verwendet.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.png)
.png)
.png)







.png)

.png)


.png)

.png)
.png)






