TrueFoundry AI Gateway auf VMware Cloud Foundation

Enterprise AI Governance — auf Ihrer Infrastruktur, unter Ihrer Kontrolle

Die Herausforderung

Künstliche Intelligenz entwickelt sich rasant weiter. Fachbereiche experimentieren mit Large Language Models (LLMs) verschiedener Anbieter, schließen eigenständig Abonnements ab und leiten sensible Unternehmensdaten über APIs von Public-Cloud-Anbietern um — häufig ohne Transparenz, Ausgabenkontrollen oder Audit-Trail. Gleichzeitig können regulierte Branchen keine proprietären Daten nach außerhalb der Unternehmensgrenzen übertragen. IT- und Sicherheitsteams stehen vor der Aufgabe, eine wachsende, ungesteuerte AI-Fläche zu verwalten, ohne dass praktische Möglichkeiten bestehen, Richtlinien durchzusetzen, Kosten zu verfolgen oder Compliance zu gewährleisten. Die Folge: AI-Wildwuchs, Budgetrisiken und inakzeptable Datenexposition.

Die Lösung

TrueFoundry AI Gateway bietet einen zentralen, steuerbaren Zugangspunkt für alle AI-Modellinteraktionen im gesamten Unternehmen. Unabhängig davon, ob ein Team ein On-Premises-Modell für sensible Workloads nutzt oder einen Cloud-Anbieter für allgemeine Produktivitätsaufgaben wählt: Jede Anfrage fließt über einen einheitlichen Endpoint — überwacht, zugeordnet und durch Richtlinien gesteuert.

VMware Cloud Foundation (VCF) bietet die Private-Cloud-Plattform für Unternehmen, die souveräne AI ermöglicht. VCF basiert auf vSphere, vSAN sowie NSX und führt Produktions-Workloads vollständig On-Premises mit der von Unternehmen erwarteten betrieblichen Konsistenz aus. Der Kubernetes-Dienst von VCF (VKS) stellt die Compute-Basis bereit, auf der TrueFoundry AI Gateway bereitgestellt und verwaltet wird.

Zusammen liefern sie eine produktionsbereite, auditierbare AI-Plattform, die jede Modellinteraktion innerhalb der eigenen Infrastruktur des Kunden hält — ohne Abhängigkeit von externen Cloud-Diensten für Governance, Protokollierung oder Durchsetzung von Richtlinien.

Wichtige Funktionen

Alle unten aufgeführten Funktionen wurden auf VMware Cloud Foundation mit vSphere Kubernetes Service validiert.

- Unified Model Access — Ein einziger API-Endpoint leitet Anfragen an eine beliebige Kombination aus On-Premises- und Cloud-AI-Modellen weiter. Teams nutzen eine standardisierte Schnittstelle, unabhängig davon, welches Modell heute oder in Zukunft dahinter geschaltet ist.

- Vollständige Transparenz der Nutzung — Jede Anfrage und Antwort wird vollständig protokolliert, On-Premises gespeichert und ist in Echtzeit abfragbar. AI Monitoring Dashboards zeigen Nutzungstrends, Modellperformance und Kostenaufschlüsselungen nach Team, Projekt oder Einzelperson.

- Budget- und Rate-Controls — Ausgabenobergrenzen pro Team und Modell werden am Gateway durchgesetzt, bevor eine Anfrage ein Modell erreicht. Wenn ein Budgetschwellenwert erreicht wird, wird der Zugriff automatisch gesperrt — kein manuelles Eingreifen erforderlich.

- Content Guardrails — Richtlinienbasierte Filter überprüfen jeden Prompt, bevor er ein Modell erreicht. Regeln können bestimmte Themen, Schlüsselwörter oder Inhaltskategorien blockieren, sodass Compliance- und Rechtsabteilungen die direkte Kontrolle darüber behalten, was die AI-Schicht verarbeitet und was nicht.

- Intelligentes Response Caching — Wiederholte Anfragen werden ohne Token-Kosten aus dem Cache beantwortet. Dies reduziert sowohl die API-Ausgaben als auch die Antwortlatenz um das bis zu 67-Fache im Vergleich zu einem Cold Call des Modells.

Geschäftliche Vorteile

Datensouveränität Der AI-Datenverkehr verlässt niemals die Unternehmensperipherie. Alle Modellinteraktionen, Logs und Governance-Richtlinien laufen innerhalb von VCF. Für Finanzdienstleistungen, das Gesundheitswesen, die Verteidigung und andere regulierte Sektoren ist dies der einzig praktikable Weg zur Einführung von AI im Unternehmen.

Kostenverantwortung Die Token-Nutzung wird auf Ebene der einzelnen Anfragen nachverfolgt und dem Team oder Projekt zugeordnet, das sie verursacht hat. Plattformteams können genaue Chargeback-Berichte über alle Geschäftsbereiche hinweg erstellen — unter Nutzung der eigenen Infrastruktur und ohne Abhängigkeit von Abrechnungs-APIs der Cloud-Anbieter.

Betriebliche Einfachheit TrueFoundry AI Gateway wird auf bestehender VCF-Infrastruktur bereitgestellt, ohne dass neue Cloud-Konten, zusätzliche SaaS-Anbieter oder separate Verwaltungsebenen erforderlich sind. Eine einheitliche Plattform steuert den gesamten AI-Zugriff über ein webbasiertes Dashboard und reduziert so den betrieblichen Aufwand für IT-Teams, die VCF bereits verwalten.

Anwendungsfälle

Warum VCF und TrueFoundry

VMware Cloud Foundation ist das bewährte Fundament für die Private Cloud in Unternehmen — es bietet die Konsistenz der Infrastruktur, Sicherheit und betriebliche Skalierbarkeit, auf die große Unternehmen angewiesen sind. TrueFoundry ergänzt die AI-Governance-Schicht, die der Enterprise-IT bisher gefehlt hat: eine produktionsbereite Plattform zur Steuerung, Überwachung und Zuordnung jeder AI-Interaktion im gesamten Unternehmen.

Diese Kombination schließt die Lücke zwischen AI-Ambition und der Realität in Unternehmen. Organisationen können mit AI schnell agieren — mit Weiterleitung an Cloud-Modelle für Agilität und On-Premises-Modelle für Sensibilität —, während sie gleichzeitig die Datenkontrolle, Kostendisziplin und Audit-Fähigkeiten beibehalten, die regulierte Umgebungen fordern.

Validiert auf VMware Cloud Foundation

Alle in diesem Briefing beschriebenen Funktionen wurden auf VMware Cloud Foundation mit vSphere Kubernetes Service bereitgestellt und validiert. Eine detaillierte technische Referenzarchitektur und ein Bereitstellungsleitfaden werden im Rahmen dieser gemeinsamen Initiative entwickelt.

Erste Schritte

Um mehr über die Bereitstellung des TrueFoundry AI Gateway auf VMware Cloud Foundation zu erfahren, wenden Sie sich an das Broadcom AI Platform Solutions Team oder kontaktieren Sie TrueFoundry direkt unter www.truefoundry.com.

© 2026 Broadcom Inc. Alle Rechte vorbehalten. VMware Cloud Foundation und vSphere sind Marken von Broadcom Inc. TrueFoundry ist eine Marke von TrueFoundry, Inc.