EU-Hosting vs. Self-Hosting bei KI: Wer betreibt Ihre Control Plane?
.webp)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Im Juni 2025 erklärte ein Vorstandsmitglied von Microsoft Frankreich unter Eid vor einem Untersuchungsausschuss des französischen Senats, dass er nicht garantieren könne, dass Daten des französischen öffentlichen Sektors niemals ohne französische Zustimmung an US-Behörden übergeben würden. Seine Worte lauteten: „Nein, das kann ich nicht garantieren.“ Er fügte hinzu, dass dies noch nie vorgekommen sei.
Dieser Wortwechsel ist der Grund, warum „in der EU gehostet“ in Gesprächen über die Beschaffung von KI-Lösungen nicht mehr ausreicht. Jeder Anbieter, der in Europa verkauft, kann das behaupten. Weitaus weniger können sagen, wer das System betreibt, das Ihre Prompts durchlaufen, wer die Schlüssel hält und wer gezwungen werden könnte, Daten herauszugeben.
EU-Hosting sagt Ihnen, wo Ihre Daten liegen. Self-Hosting sagt Ihnen, wer sie kontrolliert. Für ein AI Gateway – die Schicht, die jeder Modellaufruf durchläuft – entscheidet dieser Unterschied über den Großteil eines Lieferanten-Fragebogens.
In diesem Blogbeitrag erfahren Sie, was die Control Plane von der Data Plane unterscheidet, wo Ihre Daten während eines einzelnen KI-Aufrufs verarbeitet werden, ob EU-Hosting Sie vor dem US CLOUD Act schützt, was DORA für Banken und Versicherer ändert und wie Sie ein souveränes AI Gateway bewerten.

Control Plane vs. Data Plane: Die Unterscheidung, die über alles entscheidet
Jedes AI Gateway besteht aus zwei Teilen.
Die Data Plane ist der Bereich, über den Anfragen fließen. Ein Prompt trifft ein, das Gateway authentifiziert den Aufrufer, wendet Richtlinien an, leitet den Aufruf an ein Modell weiter und gibt die Antwort zurück. Sie überträgt die Inhalte und ist daher der sensibelste Teil Ihres KI-Stacks.
Die Control Plane ist der Ort, an dem die Regeln liegen: welche Teams welche Modelle aufrufen können, welche Guardrails gelten, wie Budgets und Rate Limits festgelegt werden. Sie enthält Konfigurationen, Identitäten sowie Richtlinien und überträgt diese an die Data Plane.
Daraus ergeben sich drei klassische Bereitstellungsformen:
- EU-gehostetes SaaS. Der Anbieter betreibt beide Ebenen in einem europäischen Rechenzentrum. Ihre Prompts, Logs und Richtlinien liegen auf dessen Infrastruktur.
- Hybrid. Das Gateway läuft in Ihrem eigenen Cloud-Konto oder Ihrer VPC, sodass der LLM-Traffic auf Ihrer Infrastruktur verbleibt. Der Anbieter hostet die Control Plane, welche die Konfiguration und Richtlinien enthält.
- Self-hosted. Beide Ebenen laufen in Ihrer Umgebung. Der Anbieter liefert die Software und Sie betreiben sie.
Bei allen drei Varianten können sich Ihre Daten in Europa befinden. Aber nur bei der dritten Variante läuft jeder Teil des Pfades auf einer von Ihnen kontrollierten Infrastruktur.

Wo werden meine Daten verarbeitet? Jeder Hop bei einem AI-Gateway-Aufruf
Wenn Sie einen Anbieter fragen, wo Ihre Daten verarbeitet werden, erhalten Sie meist nur eine Antwort: eine Region. Ein einzelner Gateway-Aufruf berührt jedoch mehrere Stellen, und jede hat ihre eigene Antwort.
- Authentifizierung. Wer ruft an und was wird über diese Person aufgezeichnet.
- Input Guardrails. PII-Erkennung und Prüfungen auf Prompt Injection, die manche Gateways an einen separaten Dienst übergeben.
- Semantischer Cache. Eine gespeicherte Kopie von Prompts und Antworten.
- Modell-Routing. Der Hop, den eine Regionseinstellung in der Regel steuert.
- Output Guardrails. Dieselbe Frage wie in Schritt zwei, auf dem Rückweg.
- Logs und Traces. Vollständige Prompts und Vervollständigungen werden hier oft zum Debugging geschrieben, was diesen Bereich zum größten Speicher für sensible KI-Daten in Ihrem Unternehmen machen kann.
- Metering. Nutzungs- und Kostendaten, die für Abrechnung und Analysen weitergeleitet werden.
Bei einem EU-gehosteten Gateway laufen die meisten dieser Schritte auf der Infrastruktur des Anbieters. Bei einem self-hosted Gateway laufen sie auf Ihrer eigenen.
Ein Vorbehalt gilt für jede Option: Ein Gateway ändert nichts daran, wohin das Modell-Routing eine Anfrage sendet. Wenn Sie einen Prompt an ein in den USA gehostetes Modell leiten, geht er in die USA. Was Sie gewinnen, ist die Möglichkeit, die Regel selbst durchzusetzen – wie z. B. nur Modelle aus der EU-Region für bestimmte Teams zuzulassen – und die Logs im Nachhinein zu überprüfen. TrueFoundry wertet Residency-Einschränkungen vor dem Routing aus und wählt nur Modell-Endpunkte aus, die für die zulässige Region des Workloads infrage kommen.

Schützt Sie EU-Hosting vor dem US CLOUD Act?
Für sich genommen: nein.
Der 2018 unterzeichnete CLOUD Act verpflichtet Anbieter unter US-Jurisdiktion zur Herausgabe von Daten, die sich in ihrem „Besitz, Gewahrsam oder unter ihrer Kontrolle“ befinden – unabhängig davon, ob sie innerhalb oder außerhalb der Vereinigten Staaten gespeichert sind. Wenn ein US-Unternehmen Ihr Gateway betreibt, ändert ein Frankfurter Rechenzentrum zwar den Speicherort der Daten, nicht aber die rechtlichen Befugnisse gegenüber dem betreibenden Unternehmen.
Souveräne Clouds europäischer Betreiber verringern dieses Risiko. Ob sie es vollständig aufheben, ist eine Frage für Ihre Rechtsabteilung.
Das strukturelle Argument ist einfacher: Ein Anbieter kann nur zur Herausgabe von dem gezwungen werden, was er besitzt oder kontrolliert. Wenn Ihr Gateway, Ihre Logs und Ihre Schlüssel auf Ihrer eigenen Infrastruktur laufen und der Anbieter keinen dauerhaften Zugriff darauf hat, gibt es weitaus weniger, wozu jemand gezwungen werden kann. Weitaus weniger bedeutet nicht nichts: Ein Anbieter erhält immer noch das, was seine Software zurücksendet. Deshalb wird in der folgenden Checkliste genau abgefragt, was Ihre Umgebung verlässt.

Souveräne KI für europäische Banken: Was sich durch DORA ändert
Seit dem 17. Januar 2025 gilt der Digital Operational Resilience Act (DORA, Verordnung (EU) 2022/2554) für EU-Banken, Versicherer, Wertpapierfirmen, Zahlungsinstitute und andere Finanzunternehmen. Seine Vorschriften für Drittanbieter erfordern ein Register aller IKT-Vereinbarungen, spezifische Vertragsklauseln, eine Bewertung des Konzentrationsrisikos und getestete Ausstiegsstrategien für Anbieter kritischer Funktionen. Das Finanzunternehmen bleibt für das Risiko verantwortlich – unabhängig davon, wer die Dienstleistung erbringt.
Ein AI Gateway schaltet sich vor jeden Modellaufruf, den das Unternehmen tätigt. Wenn ein Drittanbieter es betreibt, befindet sich ein externer Dienstleister im Pfad des gesamten KI-Datenverkehrs und hält die Logs, die eine Aufsichtsbehörde anfordern könnte. Es gehört daher in das Register und in die Bewertung des Konzentrationsrisikos.
Self-Hosting streicht den Anbieter nicht aus dem Register, da Sie weiterhin dessen Software lizenzieren. Es ändert jedoch, was der Ausstiegsplan abdecken muss. Logs und Konfigurationen befinden sich bereits in Ihrem eigenen Bestand, sodass der Wechsel des Anbieters zu einer Software-Migration statt zu einer Datenextraktion wird.

Was ist ein souveränes AI Gateway? Eine Checkliste für Käufer
Ein souveränes AI Gateway zeichnet sich dadurch aus, dass Sie den Anfragepfad betreiben und genau nachweisen können, was Ihre Umgebung verlässt. Nutzen Sie diese Kriterien, um jeden Anbieter zu testen – uns eingeschlossen.

Wie TrueFoundry die einzelnen Bereitstellungsformen handhabt
TrueFoundry bietet alle drei Bereitstellungsformen an. Bei dem verwalteten SaaS-Gateway wird die Control Plane in Irland gehostet. In einem hybriden Setup betreiben Sie die Gateway-Ebene und TrueFoundry hostet die Control Plane. Bei einer Self-Hosted-Installation laufen die Control Plane und das AI Gateway als Helm-Chart in Ihrem eigenen Kubernetes-Cluster, und Air-Gapped-Installationen haben zur Laufzeit keine ausgehenden Netzwerkabhängigkeiten.
Für die oben genannten Fragen zur Souveränität liefern die Optionen Self-Hosted und Air-Gapped vollständige Antworten. Bei einer Self-Hosted-Installation verbleiben Ihre Konfigurationen, Secrets, Prompts, Antworten, Logs und Traces in Ihrer Infrastruktur. Die Software sendet lediglich ausgehende Lizenzierungs- und Analyse-Metadaten an TrueFoundry, wie z. B. Login-E-Mails, stündliche Nutzungs- und Kostenzählungen, Konfigurationszahlen und Versionsinformationen, zusammen mit Absturz- und Fehler-Logs der Control Plane. Benutzer-Logins laufen über den Authentifizierungsserver von TrueFoundry, sofern Sie Ihren Identitätsanbieter nicht direkt anbinden. Die genauen Payloads sind dokumentiert, und Prompt- sowie Antwortinhalte sind niemals enthalten.

Das eigene Betreiben des Gateways kostet Sie keine Geschwindigkeit. Richtlinienprüfungen laufen im Arbeitsspeicher ohne externe Aufrufe im Anfragepfad. In TrueFoundrys veröffentlichtem Benchmark fügte ein Gateway-Pod auf einer einzelnen vCPU bei 250 Anfragen pro Sekunde etwa 3 ms Latenz hinzu und skalierte auf etwa 350 Anfragen pro Sekunde vor der CPU-Sättigung.
Staffbase, eine Plattform für Mitarbeitererfahrung mit Hauptsitz in Chemnitz und New York, bündelt 141 Modell-Deployments über neun Regionen hinweg hinter einem einzigen Endpunkt. Das Unternehmen betreibt separate regionale Gateways für Europa, die USA und Australien, sodass Anfragen aus der richtigen Geografie für Datenresidenz und Latenz bedient werden.
Fazit
„In der EU gehostet“ beantwortet eine Frage der Datenresidenz. Souveränität fragt danach, wer das System betreibt, wer die Schlüssel hält und was Ihre Umgebung verlässt.
Wenn diese Antworten für Ihre Käufer oder Ihre Regulierungsbehörde von Bedeutung sind, fordern Sie sie schriftlich an und testen Sie jeden Anbieter anhand der obigen Checkliste – einschließlich TrueFoundry. Wir legen offen fest, was eine Self-Hosted-Installation zurücksendet, und wir bevorzugen es, wenn Sie dies überprüfen, anstatt uns einfach beim Wort zu nehmen.
Vereinbaren Sie eine Demo, um eine self-hosted TrueFoundry-Installation und deren ausgehenden Datenverkehr selbst zu erleben.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.webp)
.webp)








