Wat de checklist dekt:
21
Testbare beveiligingscontroles voor LLM-, MCP- en agentverkeer via een gateway
3
Controlegebieden: identiteit en geheimen, runtime-beveiliging, en audit en implementatie
18
Essentiële controles, gemarkeerd zodat u weet wat moet slagen vóór de uitrol
4
Implementatiemodellen vergeleken: VPC, on-premises, hybride en air-gapped
Inhoud van de checklist
Download de checklist en ontvang:
Een werkbaar framework dat uw beveiligings- en platformteams kunnen gebruiken om elke LLM-gateway te evalueren, of om uw eigen gateway aan een beveiligingsbeoordeling te onderwerpen.
Checklist downloaden✓
Het volledige 21-punten beveiligingsframework voor LLM-gateways
Elke controle gegroepeerd per gebied, met de bijbehorende vraag en een prioriteit van 'must-have' of 'should-have'.
✓
Een beveiligingsbeoordelingsplan in drie stappen
Breng toegang in kaart voor apps, modellen, MCP-servers, inloggegevens en dataklassen, handhaaf het beleid en verifieer vervolgens het auditbewijs.
✓
Criteria voor guardrails en misbruikpreventie
Waarop te testen voor PII-redactie, prompt-injectie, contentmoderatie, aangepaste regels, snelheidslimieten en budgetten.
✓
Compliance- en implementatievereisten
De attesten, log-eigenaarschap, tenant-isolatie en implementatieopties die vereist zijn voor SOC 2-, HIPAA-, GDPR- en ITAR-workloads.
Waarom dit belangrijk is
De LLM-gateway is jouw nieuwe beveiligingsgrens
LLM-verkeer bevat nu prompts, antwoorden, tool-aanroepen, geheimen, gebruikerscontext en beleidsbeslissingen die een nieuwe bedrijfsgrens overschrijden. Elke applicatie die een model aanroept, verstuurt potentieel gevoelige gegevens naar een derde partij, en elke agent die een tool aanroept, handelt met een bepaald niveau van bevoegdheid.
Zonder gateway regelt elk team zijn eigen providers. Ruwe API-sleutels belanden in omgevingsvariabelen en code-repositories. Niemand kan zeggen welke gebruiker welke gegevens naar welk model heeft gestuurd. Guardrails worden in de ene app wel toegepast en in de andere niet, en een op hol geslagen script kan in één nacht een maandelijks budget erdoorheen jagen.
Elk verzoek doorloopt dezelfde controles in dezelfde volgorde. De checklist zet elke fase om in controles die je kunt testen.
Een LLM-gateway lost dit op door één beleidshandhavingspunt vóór elk model en elke tool te plaatsen. Maar niet elke gateway is gebouwd met beveiliging als uitgangspunt. Sommige zijn slechts routeringslagen met achteraf toegevoegde authenticatie. Andere draaien alleen als gehoste dienst, waardoor je prompts en logs door de infrastructuur van iemand anders gaan. Beveiligingsbeoordelingen lopen vast wanneer niemand kan aantonen welke controles worden afgedwongen en hoe.
Hoe een veilige LLM-gateway eruitziet
Elk verzoek wordt geverifieerd via SSO, workload-identiteit of een scoped virtuele sleutel, en RBAC beperkt tot welke modellen, tools, omgevingen en logs elke gebruiker, elk team en elke app toegang heeft. Provider-sleutels blijven in de gateway of je secret manager en roteren zonder dat apps opnieuw ingezet hoeven te worden.
PII, prompt-injectie en onveilige inhoud worden inline opgevangen, met aangepaste en externe guardrails voor je eigen beleid. Rate limits en budgetten blokkeren verzoeken voorspelbaar zodra ze zijn uitgeput. Elk verzoek wordt gelogd met identiteit, route, kosten en guardrail-resultaat, opgeslagen in je eigen cloud en geëxporteerd naar je SIEM. Teams zijn van elkaar geïsoleerd en MCP-servers en tools volgen hetzelfde beleidsmodel als de modellen.
Maak de beveiligingsbeoordeling testbaar
"Ondersteunen jullie guardrails?" krijgt van elke leverancier een ja. "Wordt prompt-injectie inline geblokkeerd vóór de tool-laag en wordt het resultaat gelogd?" is daarentegen testbaar. De LLM Gateway Security Checklist vertaalt gateway-beveiliging naar 21 van dergelijke controles, zodat je beoordeling gebaseerd is op bewijs in plaats van op beloftes.
Voorbeeld
De drie controlegebieden in de beveiligingschecklist voor LLM-gateways
Een greep uit de controles per gebied. De volledige checklist bevat alle 21 punten, inclusief prioriteiten en evaluatievragen.
Gebied 1 · 6 controles
Identiteit, toegangsbeheer en bescherming van geheimen
Elk verzoek voor modellen en tools verloopt via SSO, workload-identiteit of scoped gateway-sleutels
RBAC beperkt toegang tot modellen, providers, tools, omgevingen en logs
Provider-sleutels roteren zonder dat apps opnieuw hoeven te worden ingezet
+3 extra controles
Gebied 2 · 7 controles
Runtime-guardrails en misbruikpreventie
PII wordt gedetecteerd en inline geanonimiseerd in prompts en antwoorden
Prompt-injectie wordt geblokkeerd vóór de model- of tool-laag
Budgetten blokkeren verzoeken automatisch wanneer ze zijn uitgeput
+4 extra controles
Gebied 3 · 8 controles
Audit, compliance en eigenaarschap van implementatie
Verzoeklogs leggen identiteit, route, kosten, guardrail-resultaten en fouten vast
Logs blijven in opslag onder controle van de klant
Teams en bedrijfsonderdelen zijn geïsoleerd bij de gateway
+5 extra controles
4,7
★★★★★
Gartner Peer Insights
Beoordeeld met een 4,7 op Gartner Peer Insights
Platform- en beveiligingsteams gebruiken TrueFoundry's AI Gateway voor LLM-, MCP- en agentverkeer in productie, met gecentraliseerde toegangscontrole, beperkte sleutels, guardrails, budgetten, tarieflimieten, verzoeklogging en implementatie onder controle van de klant.
96%
van de beoordelaars beveelt dit waarschijnlijk aan
4,9
gebruiksgemak bij implementatie en beheer
3–4 ms
extra gateway-latentie
