Das AI Gateway von TrueFoundry unterstützt Unternehmen bei der Einhaltung globaler Anforderungen an die Datenresidenz

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TrueFoundry, eine Enterprise-KI-Infrastrukturplattform, unterstützt Unternehmen bei der Einhaltung globaler Anforderungen an die Datenresidenz durch sein AI Gateway. Als zentrale Schnittstelle ermöglicht es Unternehmen die Verwaltung von Modellen, Prompts, Guardrails, MCP-Servern und anderen Agenten. Da Gartner prognostiziert, dass bis 2027 35 % der Länder auf regionsspezifische KI-Plattformen setzen werden, sollte die Datenresidenz – also der geografische Ort, an dem KI-Systeme Daten speichern und verarbeiten – ganz oben auf der Prioritätenliste von CIOs stehen.
Mit der zunehmenden Verbreitung und Integration von KI-Systemen wird das Thema Datenresidenz immer komplexer. Während APIs herkömmlicher Systeme deterministisch waren und Protokolle kaum sensible Informationen enthielten, ist die zentrale Protokollierung über Regionen hinweg heute problematisch. Bei KI-Systemen werden Prompt- und Antwort-Traces Teil der Anwendungslogik. Da diese Trace-Daten sensible Kundeninformationen enthalten und Überwachungsdaten somit regulierungspflichtig werden, müssen Unternehmen den gesamten Lebenszyklus einer Anfrage – von der ersten Nutzeranfrage bis zur finalen Antwort – nachverfolgen. Daher können Unternehmen Protokolle nicht mehr ohne Weiteres an externe Monitoring-SaaS-Systeme senden, ohne die regionale Compliance sicherzustellen.
„Die globale Skalierung von KI bedeutet, komplexe regionale, nationale und branchenspezifische Vorschriften wie die EU-DSGVO, HIPAA und PCI DSS zu navigieren – und das bei gleichbleibender Systemleistung und Revisionssicherheit“, sagt Nikunj Bajaj, Mitgründer und CEO von TrueFoundry. „Das AI Gateway von TrueFoundry bietet Unternehmen eine zentrale Steuerungsebene, um die Compliance in jeder Region, in der sie tätig sind, zu verwalten, damit sich ihre Teams auf das Wesentliche konzentrieren können.“
Die zentrale Steuerungsebene des AI Gateways ermöglicht es Unternehmen, Routing-Richtlinien durchzusetzen, Guardrails anzuwenden, den Zugriff auf Anbieter zu kontrollieren und eine konsistente Governance über alle Anwendungen hinweg aufrechtzuerhalten. Die regionalen Gateway-Ebenen führen spezifische Anfragen lokal innerhalb der jeweiligen Region aus und verhindern gleichzeitig, dass Daten die konforme Region verlassen. Diese getrennte Architektur gewährleistet Zuverlässigkeit und vereinfacht gleichzeitig das Richtlinienmanagement.
„Anforderungen an die Datenresidenz sind für unsere Kunden von entscheidender Bedeutung. Das AI Gateway von TrueFoundry gibt uns die Sicherheit, dass sensible Daten dort bleiben, wo sie hingehören, ohne dass wir bei der Leistung oder Skalierbarkeit, die unser Geschäft erfordert, Kompromisse eingehen müssen“, sagt Raghu Sethuraman, Vice President of Engineering bei Automation Anywhere.
Das AI Gateway von TrueFoundry wurde kürzlich als repräsentativer Anbieter im Gartner Market Guide für AI Gateways 2025 aufgeführt. Weitere Informationen finden Sie unter truefoundry.com/ai-gateway.
Ursprünglich veröffentlicht bei Business Wire
Über TrueFoundry:
TrueFoundry bietet ein KI-Gateway auf Unternehmensebene, das ein LLM-Gateway, ein MCP-Gateway und ein Agent-Gateway umfasst. Es ermöglicht Unternehmen, den Zugriff auf Modelle, Tools, Guardrails und Agenten sicher zu verbinden, zu überwachen und zu steuern – alles über eine einzige Steuerungsebene. Das AI Gateway ermöglicht agentenbasierte Workloads, die durch einheitliche und kombinierbare Verbindungen über verschiedene Anbieter hinweg sicher, effizient und zukunftssicher sind.
Über die Gateway-Ebene hinaus ermöglicht TrueFoundry Unternehmen die Bereitstellung und das Training benutzerdefinierter LLMs auf GPUs, das Hosten von MCP-Servern und den Betrieb eigener Agenten – alles über eine Kubernetes-native Schnittstelle. Es unterstützt On-Premise- und VPC-Installationen sowohl für das AI Gateway als auch für Bereitstellungsumgebungen. TrueFoundry gewährleistet Compliance auf Unternehmensebene gemäß SOC 2, HIPAA und ITAR-Standards. Mit integriertem Autoscaling, Caching und Ressourcenoptimierung unterstützt TrueFoundry Unternehmen dabei, KI-Systeme sicher, effizient und auf einem zukunftssicheren Stack aufzubauen, bereitzustellen und zu verwalten. Weitere Informationen finden Sie unter truefoundry.com
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
The fastest way to build, govern and scale your AI












.jpeg)


.jpeg)


.jpeg)
.webp)










