TrueFoundry AI Gateway op VMware Cloud Foundation
.webp)
Gebouwd voor snelheid: ~10ms latentie, zelfs onder belasting
De razendsnelle manier om je modellen te bouwen, volgen en implementeren!
- Verwerkt 350+ RPS op slechts 1 vCPU — geen tuning nodig
- Productieklaar met volledige enterprise-ondersteuning
Enterprise AI Governance — Op uw infrastructuur, onder uw controle
De Uitdaging
Kunstmatige intelligentie ontwikkelt zich snel. Business units experimenteren met large language models (LLMs) van verschillende leveranciers, sluiten zelfstandig abonnementen af en routeren gevoelige bedrijfsgegevens via public cloud-API's — vaak zonder zichtbaarheid, uitgavenlimieten of audit trail. Tegelijkertijd kunnen gereguleerde sectoren geen bedrijfseigen gegevens buiten de bedrijfsperimeter sturen. IT- en beveiligingsteams blijven achter met het beheer van een gedistribueerd, niet-gegoverned AI-oppervlak, zonder praktische manier om beleid af te dwingen, kosten bij te houden en naleving te garanderen. Het resultaat: wildgroei aan AI, budgetrisico's en onacceptabele datablootstelling.
De Oplossing
TrueFoundry AI Gateway biedt één centraal beheerd toegangspunt voor alle AI-modelinteracties binnen de onderneming. Of een team nu een on-premises model gebruikt voor gevoelige workloads of een cloud provider voor algemene productiviteit, elke request stroomt via één geïntegreerd eindpunt — gemonitord, toegewezen en beheerd op basis van beleid.
VMware Cloud Foundation (VCF) levert het enterprise-grade private cloudplatform dat soevereine AI mogelijk maakt. Gebouwd op vSphere, vSAN en NSX, draait VCF productie-workloads volledig on-premises met de operationele consistentie die ondernemingen verwachten. VCF's Kubernetes-service (VKS) biedt de compute-basis waarop TrueFoundry AI Gateway wordt geïmplementeerd en beheerd.
Samen leveren ze een productierijp, auditeerbaar AI-platform dat elke modelinteractie binnen de eigen infrastructuur van de klant houdt — zonder afhankelijkheid van externe cloudservices voor governance, logging of beleidshandhaving.
Belangrijkste Mogelijkheden
Alle hieronder vermelde mogelijkheden zijn gevalideerd op VMware Cloud Foundation met vSphere Kubernetes Service.
- Uniforme Modeltoegang — Eén enkele API-endpoint routeert requests naar elke combinatie van on-premises en cloud AI-modellen. Teams gebruiken één standaard interface, ongeacht welk model er nu of in de toekomst achter is geïmplementeerd.
- Volledige Zichtbaarheid in Gebruik — Elke request en response wordt volledig gelogd, on-premises opgeslagen en is in real-time opvraagbaar. AI Monitoring-dashboards tonen gebruikstrends, modelprestaties en kostenanalyses per team, project of individu.
- Budget- en Snelheidslimieten — Uitgavenlimieten per team en per model worden afgedwongen op de gateway voordat een request een model bereikt. Wanneer een budgetdrempel wordt bereikt, wordt de toegang automatisch geblokkeerd — geen handmatige tussenkomst vereist.
- Content Guardrails — Op beleid gebaseerde filters inspecteren elke prompt voordat deze een model bereikt. Regels kunnen specifieke onderwerpen, trefwoorden of inhoudscategorieën blokkeren, waardoor compliance- en juridische teams directe controle krijgen over wat de AI-laag wel en niet verwerkt.
- Intelligente Response Caching — Herhaalde query's worden beantwoord vanuit de cache tegen nul tokenkosten, wat zowel de API-uitgaven als de responslatentie tot 67 keer vermindert vergeleken met een koude modelaanroep.
Zakelijke Voordelen
Datasoevereiniteit AI-verkeer verlaat nooit de bedrijfsperimeter. Alle modelinteracties, logs en governance-regels draaien binnen VCF. Voor de financiële sector, gezondheidszorg, defensie en andere gereguleerde sectoren is dit de enige haalbare weg naar enterprise-grade AI-adoptie.
Kostenverantwoordelijkheid Tokengebruik wordt bijgehouden op het niveau van individuele requests en toegewezen aan het team of project dat het heeft gegenereerd. Platformteams kunnen nauwkeurige chargeback-rapporten genereren voor elke business unit — met behulp van hun eigen infrastructuur, zonder afhankelijkheid van facturatie-API's van cloudleveranciers.
Operationele Eenvoud TrueFoundry AI Gateway wordt geïmplementeerd op bestaande VCF-infrastructuur zonder nieuwe cloudaccounts, extra SaaS-leveranciers of afzonderlijke beheeromgevingen. Eén geïntegreerd platform beheert alle AI-toegang vanuit een webgebaseerd dashboard, wat de operationele overhead vermindert voor IT-teams die VCF al beheren.
Use Cases
Waarom VCF en TrueFoundry
VMware Cloud Foundation is het bewezen fundament voor enterprise private cloud — met de infrastructuurconsistentie, beveiliging en operationele schaal waarop grote organisaties vertrouwen. TrueFoundry voegt de AI-governancelaag toe die enterprise IT miste: een productierijp platform voor het controleren, observeren en toewijzen van elke AI-interactie binnen de organisatie.
De combinatie overbrugt de kloof tussen AI-ambitie en enterprise-realiteit. Organisaties kunnen snel handelen met AI — routeren naar cloudmodellen voor wendbaarheid en on-premises modellen voor gevoeligheid — terwijl het datacontrole, kostendiscipline en auditmogelijkheden behoudt die gereguleerde omgevingen vereisen.
Gevalideerd op VMware Cloud Foundation
Alle mogelijkheden die in deze brief worden beschreven, zijn geïmplementeerd en gevalideerd op VMware Cloud Foundation met vSphere Kubernetes Service. Een gedetailleerde technische referentiearchitectuur en implementatiegids zijn in ontwikkeling als onderdeel van dit gezamenlijke initiatief.
Aan de Slag
Neem voor meer informatie over het implementeren van TrueFoundry AI Gateway op VMware Cloud Foundation contact op met het Broadcom AI Platform Solutions team of neem rechtstreeks contact op met TrueFoundry via www.truefoundry.com.
© 2026 Broadcom Inc. Alle rechten voorbehouden. VMware Cloud Foundation en vSphere zijn handelsmerken van Broadcom Inc. TrueFoundry is een handelsmerk van TrueFoundry, Inc.
TrueFoundry AI Gateway levert een latentie van ~3–4 ms, verwerkt 350+ RPS op 1 vCPU, schaalt moeiteloos horizontaal en is klaar voor productie, terwijl LiteLLM last heeft van hoge latentie, moeite heeft boven een gemiddeld aantal RPS, geen ingebouwde schaling heeft en het meest geschikt is voor lichte workloads of prototypes.















.png)

.webp)



.webp)








.webp)





