TrueFoundry vs. OpenRouter: Deployment und Architektur – Können Sie es selbst hosten? (2026)
.webp)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
OpenRouter ist ein verwalteter SaaS-Router ohne self-hosted, VPC- oder On-Prem-Edition auf irgendeiner Stufe, und jeder Prompt, den Sie senden, verlässt Ihr Netzwerk. Das ist keine Kritik am Produkt; es ist die Architektur. Es ist jedoch die einzige Tatsache, die die meisten Enterprise-Evaluierungen von OpenRouter beendet, bevor der Funktionsvergleich überhaupt beginnt, und der Grund, warum Plattform- und Sicherheitsteams es am Ende mit einem AI Gateway vergleichen, das sie selbst betreiben können.
Dieser Beitrag richtet sich an alle, die die Frage „Wo läuft es und wohin gehen die Prompts?“ beantworten müssen: Plattform-Ingenieure, die ein Produktions-Deployment dimensionieren, Sicherheitsverantwortliche mit Anforderungen an Datengrenzen und Architekten, die wissen wollen, was eine Control Plane und eine Gateway Plane tatsächlich tun. Wir vergleichen das rein gehostete Modell von OpenRouter mit den vier Deployment-Modi des TrueFoundry AI Gateway (verwaltetes SaaS, SaaS mit eigenem Speicher, Hybrid und vollständig selbst gehostet oder Air-Gapped), gehen die Architektur durch, die diese Modi ermöglicht, und erklären genau, was Sie in jedem Modus betreiben müssten. Jede Aussage stammt aus der öffentlichen Dokumentation der beiden Anbieter.
Wenn Sie bereits wissen, dass Sie ein Gateway innerhalb Ihrer eigenen Grenzen benötigen, können Sie eine TrueFoundry-Demo buchen und direkt zur Vergleichstabelle unten springen.
Auf einen Blick
Warum es auf „OpenRouter self hosted“ keine Antwort gibt
OpenRouter betreibt sowohl seine Control Plane als auch seine Data Plane auf seiner eigenen Infrastruktur. Sie betreiben weder das eine noch das andere, sodass es nichts zu deployen gibt, keine Kubernetes-Einbindung, keine zustandsbehafteten Abhängigkeiten auf Ihrer Seite und keine Upgrades auszuführen sind. Die kundenorientierte Architektur besteht aus einem Endpunkt und einem Schlüssel. Anstelle von Deployment-Modi variiert lediglich der Endpunkt: standardmäßig das globale openrouter.ai/api/v1 und für Enterprise-Kunden mehere regionsspezifische Basis-URLs unter eu.openrouter.ai und us.openrouter.ai, wo Anfragen nur innerhalb dieser Region entschlüsselt und verarbeitet und nur an dort tätige Provider weitergeleitet werden. Private Models (ebenfalls Enterprise) ermöglicht es OpenRouter, einen von Ihnen gehosteten Modell-Endpunkt aufzurufen, der manuell von deren Team eingebunden wird (Models).
Nichts davon ist Self-Hosting. Prompts, Antworten und Metadaten durchlaufen alle OpenRouter und anschließend den jeweiligen Provider, der die Anfrage bedient. OpenRouter dokumentiert drei angrenzende Steuerungsmöglichkeiten, und es lohnt sich, genau zu sein, was jede einzelne tut: In-Region-Routing beschränkt die Jurisdiktion, in der Daten entschlüsselt werden; Routing ohne Datenspeicherung beschränkt Anfragen auf Provider, die keine Prompts oder Antworten speichern; und provider.data_collection: "deny" routet nur an Provider, die keine Benutzerdaten erfassen. Alle drei regeln, wohin die Daten fließen und was aufbewahrt wird. Keines davon ändert etwas daran, ob sie das Netzwerk verlassen. Ein Failover zwischen den beiden regionalen Endpunkten ist nicht dokumentiert.
Die Kehrseite verdient das gleiche Gewicht. Null Infrastruktur bei jeder Skalierung ist ein echter Vorteil, und die operative Arbeit verschwindet nicht, sondern verlagert sich in Ihre Anwendung: Retry- und Timeout-Handling im Client, ein überwachtes Guthaben und die Entscheidung, ob ein direkter Pfad zum Provider als zweiter Route beibehalten werden soll, da ein gehostetes Gateway ein Single Point of Failure im Anfragepfad ist.
Die vier Deployment-Modi von TrueFoundry
Ein selbst gehostetes AI Gateway ist normalerweise ein Fork des Produkts eines Anbieters: ein anderes Binary, ein anderer Funktionsumfang, ein anderer Support-Vertrag. TrueFoundry bietet vier Modi als ein Produkt auf einer Control Plane, was den strukturellen Unterschied bei diesem Thema ausmacht (modes of deployment):
- Vollständig verwaltetes SaaS. Wir hosten alles; null Infrastrukturkosten; ein global verteiltes Gateway.
- SaaS mit kundeneigenem Datenspeicher. Das gleiche verwaltete Gateway, wobei Traces und Logs in Ihrem eigenen Blob-Bucket in der von Ihnen gewählten Region landen.
- Hybrid. Eine selbst gehostete Gateway Plane in Ihrer VPC, sodass der Datenpfad innen bleibt, plus eine von TrueFoundry gehostete Control Plane. Ungefähr 600 $/Monat an Basis-Infrastruktur.
- Vollständig selbst gehostet. Control Plane und Gateway Plane beide in Ihrer VPC oder On-Premises, wobei Air-Gapped-Umgebungen unterstützt werden. Ungefähr 800–1.000 $/Monat an Basis-Infrastruktur.
Die Modi lösen unterschiedliche Probleme, und sie zu vermischen ist der häufigste Fehler, den wir bei Evaluierungen sehen. Modus 2 löst die Datenresidenz, ohne den Egress des Datenpfads zu lösen: Prompts durchlaufen weiterhin unser Gateway. Modus 3 löst den Egress des Datenpfads, da Prompts Ihre VPC nie verlassen, während der Betrieb nahe null bleibt, da die Gateway Plane keinen Zustand hält. Modus 4 löst alles außer einem offengelegten Callback: Login und Lizenzierung laufen über unseren globalen Auth-Server, der Benutzer-E-Mail-Adressen und Anzahl der Anfragen empfängt, aber nichts aus dem Anfragepfad. Wenn Sie bereits Modelle in Ihrer eigenen Umgebung ausführen, erklärt unser Leitfaden für on-premise LLM deployment, wie das Gateway neben diesen platziert wird.
Zwei ehrliche Anmerkungen: Es gibt keine Open-Source-Self-Hosted-Edition; die Stufe „Developer“ für 0 $ ist eine SaaS-Stufe, kein selbst hostbares Binary, und Self-Hosting ist eine Funktion des Enterprise-Tarifs. Der Wechsel zwischen den Modi (Start auf SaaS, Aufstieg zu Hybrid) ist durch die gemeinsame Control Plane impliziert, aber noch nicht als unterstütztes Migrationsverfahren dokumentiert.
LLM-Gateway-Architektur: Was eine zustandslose Gateway Plane bietet
Der Grund, warum die vier Modi ein Produkt sein können, ist die Trennung zwischen Control Plane und Gateway Plane, und der Grund, warum der Hybrid-Modus günstig im Betrieb ist, liegt darin, was die Gateway Plane nicht tut.
Die Gateway Plane ist vollständig zustandslos. Die Konfiguration (Modelle, Schlüssel, Richtlinien, RBAC) wird von der Control Plane über eine NATS-Queue synchronisiert und im Speicher gehalten. Jede Prüfung im Anfragepfad (Authentifizierung, RBAC, Rate Limits, Budgets) wird im Speicher ausgeführt, ohne Datenbankaufruf im Hot Path. Logs und Metriken fließen nach der Antwort asynchron zurück, sodass ein Log-Schreibvorgang niemals eine Anfrage blockiert. Die Control Plane hält den gesamten Zustand: Postgres für Konfiguration und Benutzer, NATS für die Synchronisation, ClickHouse abgesichert durch Blob-Speicher für Logs und Analysen (gateway plane architecture, control plane architecture). Das ist es, was dem Gateway etwa 3–4 ms zusätzliche Latenz und 350+ Anfragen pro Sekunde auf einer einzelnen vCPU verleiht, während es 2.500+ LLMs über einen OpenAI-kompatiblen Endpunkt bereitstellt. Deshalb können mehrere Gateway Planes an einer Control Plane für Multi-VPC- und Multi-Regionen-Deployments hängen.

Zwei Präzisierungspunkte halten diese Aussage zur AI-Gateway-Architektur ehrlich. „Kein externer Aufruf im Anfragepfad“ hat dokumentierte Ausnahmen: Redis auf Routen mit aktiviertem Cache, und jede von TrueFoundry verwaltete Guardrail, die an eine Route angehängt ist, fügt einen Netzwerk-Hop hinzu. Die Trennung ist auch kein reines Hybrid-Feature; das vollständige SaaS nutzt dieselbe Architektur, sodass Hybrid dasselbe Produkt mit einer verlagerten Ebene ist und kein Fork.
Die Trennung beantwortet auch die Frage, die sich jedes Plattformteam stellt: Was passiert, wenn die Control Plane nicht erreichbar ist? Das Gateway bedient Anfragen auf Basis der zuletzt synchronisierten Konfiguration weiter. Was sich verschlechtert, ist die Aktualität der Konfiguration, die Genauigkeit der aggregierten Budgets und die Möglichkeit, neue Pods zu starten. Der schlimmste Fall ist der Ausfall von NATS und dem Control-Plane-Backend, wodurch die Echtzeitsynchronisation stoppt, die Log-Pipeline anhält, aggregierte Zähler einfrieren und Pod-Neustarts fehlschlagen. Wenn NATS läuft und nur das Backend ausfällt, laufen Synchronisation, Aggregation und Logs weiter und nur die Benutzeroberfläche und die API sind betroffen (deployment FAQ). Das Äquivalent bei OpenRouter ist einfacher und härter: Control Plane und Data Plane sind ein gehostetes System ohne vom Kunden betriebenen Fallback. Ein Ausfall dort entfernt also alle Provider auf einmal – genau der Ausfall, zu dessen Vermeidung ein Multi-Provider-Router eingesetzt wird.

Die Gateway Plane ist in Hono auf Node.js geschrieben und wird als das tfy-llm-gateway Helm-Chart für Kubernetes 1.27+ bereitgestellt (EKS, GKE, AKS, OpenShift und On-Premises sind dokumentiert). Es gibt keine CRDs und keinen Operator: Gateway-Objekte befinden sich in der Control Plane und werden über NATS synchronisiert, sodass kubectl die Gateway-Konfiguration niemals berührt. Ein Gehirn, keine Drift pro Cluster, mit einem ehrlichen Preis: Die Gateway-Richtlinie ist nicht per GitOps über Kubernetes-Manifeste steuerbar, und GitOps/IaC ist eine Enterprise-Funktion (deploy gateway plane).

Air-Gapped und Datenresidenz: Die genauen Aussagen
„Air-Gapped“-Aussagen in diesem Markt gibt es in drei Abstufungen, und ein Käufer sollte wissen, welche ihm verkauft wird. Marketing-Air-Gapped ist SaaS mit privater Netzwerkanbindung. Datenpfad-Air-Gapped bedeutet, dass niemals Anfragedaten das Netzwerk verlassen, mit einer offengelegten Ausnahme für den Steuerkanal. Vollständig getrennt (Literally disconnected) bedeutet keinerlei Egress jeglicher Art mit Offline-Lizenzierung.
TrueFoundry ordnet sich fest in die zweite Kategorie ein. Vollständig selbst gehostete Installationen in eingeschränkten Umgebungen sind dokumentiert, mit Image- und Chart-Spiegelung in private Registries und ohne Abhängigkeit vom öffentlichen Internet für die Bereitstellung von Traffic. Die Lizenz ist ein Schlüssel, der als Kubernetes Secret gespeichert und beim Start sowie bei der Synchronisation statt pro Anfrage validiert wird. Laufende Pods bedienen Anfragen ohne Verbindung zum Lizenzserver unbegrenzt weiter, und nur neue Pod-Starts benötigen die Control Plane und NATS. Es gibt keine dateibasierte Offline-Lizenz, was den gemessenen Abstand zur dritten Stufe ausmacht. Eine Grenze muss bei der Air-Gapped-LLM-Aussage immer beachtet werden: Unsere integrierte PII-Guardrail wird von Azure AI Language betrieben und läuft auf von TrueFoundry verwalteter Infrastruktur. Das Aktivieren dieser Guardrail in einem selbst gehosteten Deployment sendet also Anfrageinhalte über die Grenze hinweg. Air-Gapped-Konfigurationen sollten stattdessen selbst gehostete oder benutzerdefinierte Guardrails verwenden (PII guardrail).
OpenRouter ordnet sich nicht auf dieser Skala ein. Speziell zur Datenresidenz von OpenRouter ist die präziseste Erkenntnis in der Dokumentation, dass die Eingabe- und Ausgabeprotokollierung (Input & Output Logging) nicht für Anfragen gilt, die über die EU- oder US-Endpunkte geroutet werden; diese Anfragen werden normal verarbeitet, aber die Protokollierung wird übersprungen. In-Region-Verarbeitung und gespeicherte Prompt-Inhalte schließen sich daher gegenseitig aus. Ein Enterprise-Käufer, der EU-Residenz wünscht, kann also keine Aufzeichnung auf Prompt-Ebene für Debugging oder Audits über die Plattform nutzen. Wo die aufbewahrten Metadaten von OpenRouter liegen und in welcher Region, ist nicht dokumentiert.
Zu Multi-Region: TrueFoundry SaaS führt ein automatisches Failover zum nächstgelegenen gesunden Gateway durch (globally distributed SaaS); selbst gehostetes Multi-Region bedeutet mehrere Gateway Planes unter einer Control Plane (Enterprise), wobei Traffic-Steuerung und Disaster Recovery der Control Plane von Ihnen konzipiert werden müssen.

TrueFoundry vs. OpenRouter: Deployment und Architektur im direkten Vergleich
Die Funktionen von TrueFoundry stammen aus unserer Dokumentation; die Funktionen von OpenRouter spiegeln die zum Zeitpunkt der Erstellung öffentlich dokumentierte Funktionalität wider.
Was Sie betreiben und was es kostet
Die Produktionsbasis von TrueFoundry richtet sich eher nach dem Modus als nach der Skalierung. Im Hybrid-Modus ist es ein Kubernetes-Cluster über zwei Availability Zones, zwei oder mehr zustandslose Gateway-Replikate mit Autoscaling und Anti-Affinity, Ingress mit TLS, Egress zur Control Plane und den Providern sowie Redis nur dann, wenn Sie Caching nutzen oder exakte replikatübergreifende Budgets benötigen. Hohe Verfügbarkeit bedeutet hier wirklich nur Replikate. Der Wechsel zu einer vollständig selbst gehosteten Umgebung vervielfacht Ihre zustandsbehafteten Komponenten von einer optionalen auf vier erforderliche: verwaltetes Multi-AZ-Postgres, ein NATS-Cluster mit drei Knoten, repliziertes ClickHouse und dauerhafter Blob-Speicher – jeweils entweder als verwalteter Dienst oder in Ihrer Verantwortung. Aus diesem Grund liegen die Baselines bei etwa 600 $/Monat für Hybrid und 800–1.000 $/Monat für vollständig selbst gehostete Umgebungen vor der Skalierung. Wir schätzen den Aufwand auf etwa 0,1–0,15 FTE für Hybrid und 0,3–0,5 FTE für eine selbst gehostete Control Plane (unsere Schätzungen, keine veröffentlichten Zahlen).

Die Kosten bei OpenRouter betragen 0 $ und etwa 0,02 FTE für ein kleines Team, was ein echter Vorteil ist. Der Vergleich, den ein Käufer anstellen sollte, lautet nicht „Kostenlos versus 800 $“: Es geht darum, ob die Anforderung, die ihn überhaupt nach einem Enterprise LLM Gateway suchen ließ, von einem gehosteten Produkt erfüllt werden kann. Wenn Prompts innerhalb der eigenen Grenzen bleiben müssen, sind die Infrastrukturkosten der Preis für die Erfüllung dieser Anforderung. Das breitere Feld von Self-Hosted-Optionen behandeln wir in unserem Leitfaden zu OpenRouter alternatives.
Wann Sie was wählen sollten
- Wählen Sie OpenRouter, wenn Sie überhaupt keine Infrastruktur betreiben wollen und Ihre Prompts über einen Drittanbieter laufen dürfen. Planen Sie es als SaaS-API mit clientseitiger Resilienz ein: Retries, ein überwachtes Guthaben und ein direkter Provider-Fallback für kritische Fälle.
- Wählen Sie TrueFoundry SaaS, wenn Sie heute null Infrastruktur wünschen, aber erwarten, innerhalb des nächsten Jahres ein VPC- oder Hybrid-Deployment zu benötigen. Es ist dasselbe Produkt auf derselben Control Plane, sodass der Pfad existiert, auch wenn das Migrationsverfahren noch nicht formell dokumentiert ist.
- Wählen Sie TrueFoundry Hybrid, wenn Prompts in Ihrer VPC bleiben müssen, Sie aber keine zustandsbehaftete Control Plane betreiben möchten. Der Footprint besteht aus zwei oder mehr zustandslosen Replikaten und optionalem Redis – das ist der Modus, in dem sich die Architektur von selbst bezahlt macht.
- Wählen Sie TrueFoundry vollständig selbst gehostet, wenn die Control Plane selbst innerhalb Ihrer Grenzen liegen muss: Air-Gapped, reguliert oder aus Gründen der Datensouveränität. Planen Sie Budget für den zustandsbehafteten Stack aus vier Komponenten und eine dedizierte Knotengruppe ein, nutzen Sie selbst gehostete Guardrails anstelle der integrierten PII-Guardrail und erstellen Sie Ihren eigenen Disaster-Recovery-Plan für die Control Plane.
Weiterführende Artikel
- On-Premise LLM Deployment – Ausführen von Modellen und dem Gateway in Ihrer eigenen Umgebung
- On-Premise AI Platform – Wie ein vollständiger On-Prem-KI-Stack aussieht
- OpenRouter Alternatives – Das breitere Feld von selbst gehosteten und Enterprise-Optionen
- What is an LLM Gateway? – Die architektonische Einführung
- OpenRouter vs AI Gateway – Der Unterschied der Kategorien hinter diesem Vergleich
Fazit
Ein selbst gehostetes OpenRouter existiert als Produkt nicht, und keine noch so detaillierte Konfiguration von regionalem Routing oder Routing ohne Datenspeicherung macht aus einem gehosteten Marktplatz eine Self-Hosted-Lösung. OpenRouter gewinnt beim Punkt Deployment in Bezug auf Einfachheit und verliert bei den Wahlmöglichkeiten: Nichts zu betreiben, aber auch nichts, was Sie in Ihrem Netzwerk behalten können. TrueFoundry gewinnt bei den Wahlmöglichkeiten und zahlt dafür beim Footprint: vier Modi auf einer Control Plane, eine zustandslose Gateway Plane, die bei Ausfällen der Control Plane weiterarbeitet, und eine Self-Hosted-Option, deren Preis ein zustandsbehafteter Stack und die Zeit eines Ingenieurs ist. Für jede Organisation mit Anforderungen an Datengrenzen wird die Entscheidung allein in diesem Punkt getroffen.
Wenn Sie ein AI Gateway für ein VPC-, Hybrid- oder Air-Gapped-Deployment evaluieren, buchen Sie eine Demo, um die Gateway Plane in Ihrem eigenen Cluster laufen zu sehen, oder erkunden Sie das TrueFoundry AI Gateway, um mit verwaltetem SaaS zu starten und die Ebene später zu verlagern.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.webp)
.webp)








