AI Gateway Guardrails, Uitgelegd: Hooks, Handhaving en Fout-semantiek

Gebouwd voor snelheid: ~10ms latentie, zelfs onder belasting
De razendsnelle manier om je modellen te bouwen, volgen en implementeren!
- Verwerkt 350+ RPS op slechts 1 vCPU — geen tuning nodig
- Productieklaar met volledige enterprise-ondersteuning
Een guardrail is niet zomaar één veiligheidsschakelaar. De hook, operationele modus, handhavingsstrategie, reikwijdte, foutgedrag en bewijslast bepalen wat het systeem daadwerkelijk garandeert.
Kader van de bron. Deze uitleg is gebaseerd op TrueFoundry's AI Gateway Guardrails Overview en Configure Guardrail Policies documentatie zoals beoordeeld op 19 september 2026. Het weerspiegelt de gedocumenteerde LLM input/output en MCP pre/post hooks; validate en mutate modi; drie handhavingsstrategieën; unie van overeenkomende beleidsregels; asynchrone LLM-invoervalidatie; synchrone mutatie-, output- en MCP-controles; streamingbeperking voor LLM-output-guardrails; en trace spans. Dreigingsmodellen, uitrol-fases en autorisatiepatronen voor toepassingen zijn aanbevolen engineering practices.
Begin bij de hook, niet bij de detector
“We hebben een PII-detector” zegt weinig over het systeemgedrag. Waar draait deze? Ziet hij de prompt vóór het model, de volledige respons, tool-argumenten of tool-resultaten? Kan hij gegevens herschrijven, alleen blokkeren, of enkel loggen? Wat gebeurt er als de detector een timeout geeft? Geeft streaming content vrij voordat er een volledige respons is?
TrueFoundry AI Gateway biedt vier guardrail hooks: LLM Input, LLM Output, MCP Tool Pre-Invoke en MCP Tool Post-Invoke. Die topologie vormt het fundament. Een invoermutatie kan gegevens anonimiseren voordat ze aan het model worden blootgesteld. Een outputcontrole kan een voltooide respons tegenhouden. Een pre-tool controle kan een operatie stoppen vóór uitvoering. Een post-tool controle kan voorkomen dat een gevoelig resultaat het model bereikt—maar kan een neveneffect dat de tool al heeft uitgevoerd niet ongedaan maken.

Het hook-diagram benadrukt het temporele bereik. Een controle die ná een operatie is geplaatst, kan de openbaarmaking van het resultaat bepalen, maar kan de operatie zelf niet met terugwerkende kracht voorkomen.
Validate en mutate doen verschillende beloftes
In de Validate-modus inspecteert een guardrail gegevens en kan deze blokkeren zonder ze te herschrijven. In de Mutate-modus kan deze de gegevens transformeren én blokkeren. Mutatie-guardrails worden sequentieel uitgevoerd op basis van prioriteit, omdat de output van de ene de input van de volgende wordt.
Volgorde is dus van belang. Een anonimiseringsstap kan bewijsmateriaal verwijderen dat een latere detector nodig heeft, terwijl een normalisatiestap een latere policy betrouwbaarder kan maken. Versioneer en test de volledige geordende keten. Interpreteer “alle guardrails zijn geslaagd” niet zonder te weten welke representatie door elke guardrail is geëvalueerd.
Bij MCP-aanroepen ziet mutatie of validatie vóór de tool (pre-tool) de argumenten voorafgaand aan de operatie. Controles na de tool (post-tool) zien het resultaat na uitvoering. Als een SQL-tool al een database heeft gewijzigd, beschermt het blokkeren van de respons de stroomafwaartse context, maar niet de database. Veiligheid rond neveneffecten vereist autorisatie, beperkte tool-contracten, idempotentie en reconciliatie naast content-guardrails.
Handhavingsstrategie bepaalt fail-open en fail-closed gedrag
TrueFoundry documenteert drie strategieën. Enforce blokkeert bij een overtreding en blokkeert ook wanneer de guardrail zelf een fout geeft. Enforce But Ignore On Error blokkeert gedetecteerde overtredingen, maar laat verkeer door als de guardrail faalt. Audit laat verkeer door en registreert zowel bevindingen als guardrail-fouten.
Deze keuzes moeten per hook en risico worden gemaakt, niet als een universele organisatievoorkeur. Een strikte autorisatiecontrole vóór de tool voor een destructieve productie-operatie kan fail-closed gedrag vereisen. Een secundaire relevantiescore op een interne assistent met een laag risico mag eventueel degraderen. De beslissing moet de schade van een fout-negatief resultaat, de schade van een fout-positief resultaat, de betrouwbaarheid van de detector en de beschikbare terugvaloptie benoemen.

Operationele modus en handhavingsstrategie zijn orthogonaal. Teams hebben beide assen nodig om te weten of gegevens worden herschreven, geblokkeerd, toegestaan bij fouten, of alleen geobserveerd.
Uitvoeringsvolgorde beïnvloedt latency en kosten
TrueFoundry documenteert invoermutatie als synchroon vóór het modelverzoek. Invoervalidatie kan parallel met de modelaanroep draaien. Als de validatie faalt terwijl het model draait, annuleert de gateway dat verzoek. Outputmutatie en -validatie vinden plaats ná de modelrespons, dus hun latency bevindt zich in het retourpad en de modelkosten zijn al gemaakt.
MCP pre- en post-tool guardrails draaien synchroon. Pre-tool latency vertraagt de uitvoering, maar kan de kosten en neveneffecten van een slechte aanroep voorkomen. Post-tool latency vertraagt de levering van het resultaat en kan het anonimiseren of tegenhouden, maar de tool-aanroep heeft al plaatsgevonden.
Streaming verandert de outputgarantie
De huidige documentatie van TrueFoundry vermeldt dat LLM-output-guardrails worden overgeslagen bij gestreamde responsen, omdat de gateway geen volledige respons heeft om te evalueren voordat chunks worden geleverd. Invoer-guardrails zijn nog steeds van toepassing. Als een use-case outputcontroles aan de gateway-zijde vereist, moet het verzoek non-streaming zijn.
Dit is een essentiële architectuurbeslissing, geen voetnoot. Een client die gestreamde output verzamelt en achteraf valideert kan een probleem detecteren, maar kan content die al is getoond of waarop al is gehandeld niet terugtrekken. Applicaties moeten kiezen tussen directe tokenlevering en handhaving op de volledige respons, of een tussenliggende buffer ontwerpen die de vrijgave vertraagt.
Reikwijdte bepaalt welk bewijs de detector ziet
Voor LLM-berichten documenteert TrueFoundry een reikwijdtecontrole die de volledige conversatie, het laatste bericht of de laatste N berichten bestrijkt. Een smal venster verlaagt kosten en blootstelling, maar kan aanvallen missen die over meerdere beurten zijn verspreid. Een controle van de volledige historie kan duur zijn en kan meer gevoelige content naar een externe guardrail-provider sturen.
Systeemprompts zijn in de huidige documentatie standaard uitgesloten van guardrails, met een expliciete uitzondering voor CrowdStrike AIDR-analyse. MCP pre/post controles scannen volledige tool-argumenten of -resultaten in plaats van de LLM-berichtreikwijdte te gebruiken. Teams moeten deze zichtbaarheidsgrenzen expliciet documenteren, zodat “de conversatie is beveiligd” niet impliceert dat elke instructie en elk veld is geïnspecteerd.
Beleidskoppeling stelt samen via unie
Guardrails kunnen per verzoek worden toegevoegd via een header of via gateway-policies. Policies matchen met modellen, MCP-servers en tools, gebruikers, teams, virtuele accounts en verzoek-metadata. TrueFoundry documenteert dat alle regels worden geëvalueerd; guardrails van elke overeenkomende regel worden gecombineerd per hook.
Dat unie-model is additief. Een brede basislijn kan PII-detectie toepassen, terwijl een productie-metadataregel een striktere injectiedetector toevoegt en een specifieke MCP-toolregel een SQL-policy toevoegt. Weggelaten doel- of subjectvoorwaarden matchen breed, waardoor een per ongeluk onvolledige regel breder kan worden toegepast dan bedoeld.
Guardrail-headers per verzoek omzeilen policies, volgens de configuratiedocumentatie. Beheer wie die headers mag versturen en of door de applicatie gekozen guardrails acceptabel zijn voor de workload. Een verzoek zou niet in staat moeten zijn een zwakker beleid te selecteren puur omdat het een integratienaam kent.

Beleidsregels worden additief samengesteld. De effectieve controle is de opgeloste unie voor dit subject, doel, tool, metadata en hook—niet een enkele regel afzonderlijk bekeken.
Traces zijn bewijs van uitvoering, geen bewijs van veiligheid
TrueFoundry registreert de uitvoering van guardrails als spans in request-traces, inclusief timing en resultaten. Geblokkeerde verzoeken worden eveneens getracet. Dat maakt latency, bevindingen, mutaties en handhavingsuitkomsten inspecteerbaar.
Een span bewijst dat een geconfigureerde guardrail heeft gedraaid en een resultaat heeft gerapporteerd onder een geversioneerde opzet. Het bewijst niet dat de detector een perfecte dekking had of dat de uiteindelijke zakelijke actie veilig was. Bewaar detectorversie, policyversie, hook, reikwijdte, input-digest, mutatie-digest, handhavingsresultaat, foutmelding en latency. Voeg die records samen met tool-pogingen en definitieve uitkomsten.
Guardrail-providers creëren een gegevensverwerkingspad
Sommige guardrails draaien op door TrueFoundry beheerde infrastructuur; andere roepen externe providers of aangepaste diensten aan. De geselecteerde hook en berichtreikwijdte bepalen welke gegevens die verwerker kan ontvangen. Documenteer vóór het inschakelen van een provider de velden, regio's, bewaartermijnen, versleuteling, subverwerkers, authenticatiegegevens, timeout-gedrag en of de dienst invoer gebruikt voor training.
Minimaliseer gegevens voordat ze de gateway verlaten wanneer dat mogelijk is. Een lokale mutatiestap kan geheimen verwijderen voordat een bredere externe classifier draait, maar de volgorde moet worden getest zodat anonimisering het signaal dat nodig is voor detectie niet vernietigt. Houd providerselectie omgevingsbewust: TrueFoundry's documentatie merkt verschillende beheerde ingebouwde opties aan als SaaS-only en verwijst self-hosted omgevingen naar alternatieven.
Versioneer het opgeloste controleplan
Een verzoek kan overeenkomen met meerdere beleidsregels, en elke regel kan meerdere guardrails koppelen aan meerdere hooks. Het effectieve plan is daarom een opgeloste set, niet alleen een policy-naam. Leg de regel-ID's, policyversie, integratieversies, prioriteiten, handhavingsstrategieën, reikwijdte en aangepast foutgedrag vast die van toepassing waren op het verzoek.
LANCEER guardrail-wijzigingen zoals software-releases. Test een kandidaat-plan in audit- of schaduwanalyse, vergelijk het met het huidige plan op vastgelegde representatieve invoer, beoordeel fout-positieven en fout-negatieven en rol het vervolgens uit naar afgebakend verkeer. Een rollback moet de volledige opgeloste configuratie herstellen, inclusief volgorde en fout-semantiek.
Operationele metrieken hebben noemers nodig
Tel geëvalueerde verzoeken, overgeslagen hooks, guardrail-fouten, timeouts, overtredingen, mutaties, blokkades, annuleringen en latency per integratie en policyversie. Rapporteer percentages over in aanmerking komend verkeer in plaats van ruwe aantallen blokkades. Een detector die nul bevindingen toont is alleen gezond als deze daadwerkelijk heeft gedraaid op de beoogde reikwijdte.
Voor MCP-controles koopt u pre-tool blokkades aan geprobeerde tool-aanroepen en post-tool bevindingen aan tool-uitkomsten. Maak voor LLM-controles onderscheid tussen invoerannuleringen, outputweigeringen en gestreamde responsen waar outputcontroles werden overgeslagen. Neem steekproeven van toegestaan verkeer voor menselijke beoordeling, zodat stille fout-negatieven de kans krijgen om zichtbaar te worden.
Rol uit van observatie naar handhaving
De Audit-modus is nuttig voor kalibratie omdat deze potentiële bevindingen toont zonder te blokkeren. Label vóór promotie steekproefgewijs verkeer, meet fout-positieven en fout-negatieven, test provider-timeouts en schat latency en kosten. Stap pas over op een handhavingsstrategie nadat de organisatie een keuze heeft gemaakt voor het foutgedrag en een operator het bewijsmateriaal kan interpreteren.
Neem niet aan dat een dalend blokkeerpercentage betekent dat het systeem is verbeterd. Het kan ook betekenen dat een detector is gestopt met draaien, de reikwijdte is versmald, het verkeer is veranderd of dat gebruikers hebben geleerd om de controle heen te werken. Bewaak dekking en foutpercentages naast overtredingen.
Fouttesten die echte hiaten blootleggen
- Stream een respons met een geconfigureerde output-guardrail en verifieer dat de gedocumenteerde overslag zichtbaar is voor operators.
- Simuleer een timeout voor elke guardrail onder elke handhavingsstrategie.
- Pas meerdere overeenkomende policies toe en bevestig dat hun guardrails per hook worden samengevoegd (union).
- Laat doel- en subjectfilters weg; verifieer dat de brede match van de regel wordt begrepen.
- Verdeel een promptinjectie over meerdere berichten en vergelijk de reikwijdte van het laatste bericht, de laatste N berichten en alle berichten.
- Blokkeer een post-tool resultaat nadat een muterende tool is geslaagd; verifieer dat het externe effect alsnog wordt gereconcilieerd.
- Wijzig de mutatieprioriteit en test of stroomafwaartse detectoren wezenlijk andere content zien.
De operationele regel
Het werkelijke contract van een guardrail is de combinatie van hook, zichtbaarheid, modus, volgorde, handhavingsstrategie, beleidskoppeling en foutgedrag. Alleen de detector noemen laat het grootste deel van het systeem ongespecificeerd.
TrueFoundry AI Gateway maakt deze beslissingen expliciet voor zowel model- als MCP-verkeer en registreert de uitvoering ervan in traces. De applicatie blijft eigenaar van zakelijke autorisatie, de juistheid van neveneffecten en het bewijs van uitkomsten. Die grens is geen zwakte; het is wat voorkomt dat inhoudsinspectie wordt verward met volledige agent-veiligheid.
Referenties
- TrueFoundry — AI Gateway Guardrails Overview.
- TrueFoundry — Configure Guardrail Policies.
- TrueFoundry — Request Logs: Trace Inspection.
Redactionele vermelding. Dit artikel weerspiegelt de technische interpretatie van TrueFoundry van de geciteerde openbare materialen per 19 september 2026. Productmogelijkheden zijn beperkt tot de gekoppelde documentatie. Voorbeelden en operationele standaarden zijn illustratief; ze vormen geen juridisch advies, audit-oordeel, onafhankelijke benchmark of garantie voor beveiliging, veiligheid of naleving.
TrueFoundry AI Gateway levert een latentie van ~3–4 ms, verwerkt 350+ RPS op 1 vCPU, schaalt moeiteloos horizontaal en is klaar voor productie, terwijl LiteLLM last heeft van hoge latentie, moeite heeft boven een gemiddeld aantal RPS, geen ingebouwde schaling heeft en het meest geschikt is voor lichte workloads of prototypes.















.png)

.webp)



.webp)








.webp)





