Data Loss Prevention voor LLM-verkeer: Waar het moet worden geplaatst
.png)
Gebouwd voor snelheid: ~10ms latentie, zelfs onder belasting
De razendsnelle manier om je modellen te bouwen, volgen en implementeren!
- Verwerkt 350+ RPS op slechts 1 vCPU — geen tuning nodig
- Productieklaar met volledige enterprise-ondersteuning
Wat DLP betekent wanneer het uitgaande pad een LLM-API is
Data Loss Prevention is gebouwd voor artefacten. Een bestand met een extensie. Een e-mail met een bijlage. Een upload naar een consumentendrive. Een USB-schrijfactie. Elk heeft een vorm die een beleidsengine herkent, een bestemming die het classificeert en een actie die het onderbreekt.
Een LLM-API-call heeft die vorm helemaal niet. Een prompt is een HTTPS POST naar api.openai.com met een JSON-body die een berichten-array bevat. Geen bestand, geen bijlage en een bestemming waarvoor je betaalt en die op de whitelist staat - op de netwerklaag niet te onderscheiden van elke andere legitieme call die je maakt.
Het probleem in één zin: het exfiltratiepad en het goedgekeurde zakelijke pad zijn hetzelfde pad.
Zelfs met TLS-inspectie - wat veel organisaties overslaan bij API-verkeer - ziet de proxy een JSON-document. Engines die zijn gebouwd voor documenten en formulierposts begrijpen geen conversatie-array met een systeem-prompt, een opgehaald document en vier afgewisselde tool-resultaten. Ze matchen een regex voor creditcards in platte tekst; ze merken niet dat bericht vier de klantentabel bevat. En de bestemming kan niet worden geblokkeerd: een regel die verkeer naar OpenAI stopt, stopt het product.
De vijf kanalen waarlangs data werkelijk weglekt
Geheimen geplakt in prompts. Een ontwikkelaar stuit op een fout, kopieert de stacktrace en kopieert het configuratieblok erboven - dat een AWS-sleutel of een database-verbindingsstring bevat. Ze zijn niet onvoorzichtig met geheimen; ze zijn grondig in het debuggen. Het geheim is incidentele context, maar het lekt wel weg.
Broncode in contextvensters. Coding-agents hebben het volume met een orde van grootte vergroot. Een mens plakt een functie. Een agent voegt het bestand toe, de imports, de testsuite en wat er verder nog past, bij elke beurt, onbeheerd. In een week tijd sturen drie coding-agents meer broncode naar buiten dan een vertrekkende werknemer op een USB-stick zou kunnen meenemen.
Klant-PII uit RAG-retrieval. De subtiele variant. Je applicatie haalt een ticket op dat de gebruiker mag lezen en plaatst het in de prompt. Rechten om te lezen betekenen geen goedkeuring om te verzenden naar een externe provider. Toegangsbeheer beantwoordt de eerste vraag correct en de data verlaat alsnog het systeem, omdat niets de tweede vraag stelt.
Data die beweegt via tool-calls. Met MCP ontvangt het model niet alleen context - het haalt meer op. Een agent roept een database-tool aan, 500 rijen belanden in het contextvenster en de volgende beurt gaan ze samen met al het andere naar de provider. Argumenten lekken naar buiten, resultaten naar binnen, en beide stappen zijn onzichtbaar voor alles wat alleen naar de eerste prompt kijkt.
Training en bewaartermijn bij de provider. Alles hierboven is wat weglekt; dit is wat er vervolgens gebeurt. Hoe lang de payload wordt opgeslagen, of er een model mee wordt getraind en wie het leest.

TrueFoundry AI Gateway LLM-verzoekstroom: input-guardrails vóór de model-call, output-guardrails na de respons

MCP tool-aanroepstroom: pre-invoke guardrails voordat de tool draait, post-invoke guardrails voordat het resultaat het model bereikt
Waarom het bewaarbeleid van de provider niet jouw besturingselement is
De meeste AI-programma's sluiten de DLP-vraag af met een inkoopantwoord: we hebben de zero-retention addendum ondertekend. Handig om te hebben. Maar geen besturingselement, om drie redenen.
Het is een bewering, geen handhavingspunt. Geen enkele API vertelt je dat een verzoek is uitgesloten van training, en er gaat niets af in je SIEM wanneer de belofte wordt gebroken. Je vertrouwt op het proces van een tegenpartij - commercieel redelijk, architecturaal zwak.
Het geldt alleen voor het account dat je hebt onderhandeld. Een ontwikkelaar die door zijn quota heen is en een persoonlijke sleutel in een omgevingsvariabele stopt, roept dezelfde provider aan zonder dat jouw voorwaarden van toepassing zijn. Dat is shadow AI, en geen enkel contract bereikt dat.
Het zegt niets over wat je niet had moeten sturen. Zero-retention op een prompt met een actieve AWS-sleutel betekent nog steeds dat die sleutel naar een derde partij is gereisd en geroteerd moet worden. Bewaarvoorwaarden gaan over opslag, niet over openbaarmaking.
Het besturingselement dat je bezit, eindigt bij je perimeter. Daarbuiten is alles de belofte van iemand anders, en je enige hefboom is beslissen wat er oversteekt.
Waar DLP moet worden geplaatst
Vier plaatsen kunnen het huisvesten. Eén doet dat goed.
De gateway wint op vier eigenschappen tegelijk: het beëindigt het verzoek, dus het bevat platte tekst; het begrijpt het schema, redenerend over messages[2].content in plaats van bytes; het authenticeert de aanroeper, zodat bevindingen worden gekoppeld aan een gebruiker of team; en het bevindt zich ook op het tool-pad, de enige manier om het MCP-kanaal te dekken. Hetzelfde argument dat PII-redactie in de gateway plaatst in plaats van in elke applicatie afzonderlijk.
De eerlijke limiet: een gateway beheert alleen wat erdoorheen wordt geleid. Uitgaand netwerkbeleid - weiger rechtstreeks uitgaand verkeer naar providerdomeinen, sta de gateway toe - is een vereiste, geen extraatje.
Waar teams de mist in gaan
Het logboek anonimiseren in plaats van het netwerkverkeer. Makkelijk te doen, omdat beide functies redactie worden genoemd. Het opschonen van PII uit opgeslagen verzoekbodies beschermt je observability-store; het doet niets aan wat de provider heeft ontvangen, omdat het live verzoek eerst is doorgestuurd en redactie is toegepast op de kopie. Twee besturingselementen, twee dreigingsmodellen, en ze verwarren leidt tot een schone trace-viewer en een ongewijzigd lek.
Aannemen dat detectie blokkering impliceert. Een detector die alleen mutateert, herschrijft de payload en laat deze per ontwerp door. Als je beleid is "weiger elk verzoek dat een burgerservicenummer bevat", dan implementeert een redagerende guardrail een zwakkere regel. Controleer de werkingsmodus van elk besturingselement, niet alleen de detectiedekking.
Alleen de input in de gaten houden. Geheimen lekken net zo vaak naar buiten als naar binnen: een model dat een credential te zien krijgt zal deze herhalen, en een tool-resultaat met een verbindingsstring stroomt terug in de context. Output- en post-tool-hooks zijn geen optionele extra's.
Hoe dit werkt in TrueFoundry
Eerst de eerlijke framing: TrueFoundry heeft geen product genaamd DLP. Geen DLP-pagina, geen beleidsobject, geen dashboard. Wat bestaat zijn guardrails op vier hooks plus een regelgebaseerde loggingconfiguratie, en je stelt een posture samen uit die onderdelen.
De hooks zijn LLM Input, LLM Output, MCP Tool Pre-Invoke en MCP Tool Post-Invoke, en guardrails draaien op elke tool-call afzonderlijk - vijf tools op rij betekent vijf sets controles. Redactie vindt plaats in de modus Mutate, die de payload herschrijft voordat het verzoek uitgaat; Validate inspecteert en kan blokkeren, maar raakt de data nooit aan. Het gerelateerde artikel over data masking in de AI-gateway behandelt die mechanismen volledig.

De ingebouwde functies die DLP-werk doen
Nog een ingebouwde functie, Content Moderation, valideert Haat, Zelfbeschadiging, Seksueel en Geweld op configureerbare ernst. Secrets Detection draait binnen de gateway zonder externe call en dekt twaalf cloud-credential-formaten, vier AI-provider-sleutels, acht repository- en package-manager-tokens, chat-, betalings- en database-URI-schema's en zeven privésleutel-formaten - plus lange hex- en base64-strings nabij trefwoorden zoals api_key. Regex Pattern Matching accepteert organisatie-specifieke identificatiegegevens: voorinstellingen voor SSN, paspoorten, Aadhaar, PAN en netwerken van betaalkaarten, plus aangepaste patronen die een regex koppelen aan een vervanging - EMP-\d{6} naar [REDACTED EMPLOYEE ID].


De self-hosted beperking en de alternatieven
Drie ingebouwde functies draaien op beheerde Azure-services die TrueFoundry exploiteert, en zijn alleen beschikbaar wanneer TrueFoundry de gateway host - niet op je eigen infrastructuur, waaronder volledig self-hosted en hybride "Alleen Gateway-plane" uitrolopties vallen, zelfs als TrueFoundry het control plane beheert in het hybride geval. Voor een gereguleerd team is dat precies de uitrol die ze van plan waren, dus de gedocumenteerde alternatieven zijn van belang:
Secrets Detection, Regex Pattern Matching, SQL Sanitizer, Code Safety Linter, Metadata Validation, Cedar en OPA worden niet beïnvloed - ze draaien in het gateway-proces. Een self-hosted uitrol houdt de credential- en patrooncontroles intact en vervangt de PII-engine door een variant waarvoor je een eigen sleutel meeneemt. Azure PII is de meest directe vervanger, die meer dan 50 typen persoonlijke informatie identificeert via je eigen Foundry-eindpunt, categorieën en een Domain-instelling (Healthcare voor PHI). Eén verschil: het stuurt het laatste bericht naar de Azure-API, niet de gehele conversatie.
Als je beleid daadwerkelijk "weiger bij PII" is in plaats van "redigeer PII", kan de ingebouwde functie dat niet doen - AWS Bedrock Guardrails ingesteld op blokkeren bij gevoelige informatie is de gedocumenteerde harde stop:

Partnerproducten kunnen ook worden ingeplugd als guardrails: CrowdStrike AIDR (de enige die een round-trip documenteert - indeling-behoudende versleuteling bij de invoer, hersteld via /v1/unredact), Google Model Armor (heeft een inspectie- en een de-identificatiesjabloon nodig, anders mislukt Mutate), Lasso Security (classificeert blokken, classificeert maskers), Pillar Security (plr_mask) en Cisco AI Defense (alleen valideren).
Instellingen voor prompt-logging
De andere helft van een DLP-posture is wat je eigen platform bewaart. Logging Configuration is regelgebaseerd: regels matchen op onderwerpen (user:, team:, virtualaccount:), modellen of metadata, en bepalen vervolgens of bodies worden gelogd en wat wordt geredigeerd in de opslag.
Drie dingen zijn van belang. Deny wint - een body wordt alleen opgeslagen als elke matchende regel logging toestaan. Redactie is alleen van toepassing op de gelogde kopie; het live verzoek naar de provider wordt nooit gewijzigd. En het beheert alleen bodies - kosten, tokens, latentie en metadata worden altijd vastgelegd. Per verzoek accepteert X-TFY-LOGGING-CONFIG een stringified JSON zoals '{"enabled": true}', en tfy.logging.prompt_logging_enabled legt het resultaat vast in de trace.

Over waar data zich bevindt: sinds september 2026 wordt het SaaS-control plane gehost in Ierland. Een tussenliggende uitroloptie slaat verzoek- en responsbodies op in je eigen bucket in parquet - met het gedocumenteerde voorbehoud dat ze nog steeds door het control plane stromen, dat "sommige data zou kunnen cachen". Er is geen zero-retention-modus gedocumenteerd. Als dat van belang is, is de oplossing self-hosted of hybride, en accepteer je het verlies van de door Azure ondersteunde ingebouwde functies.
Een uitgewerkt voorbeeld: een support-agent met databasetoegang
De agent leest klanttickets, raadpleegt een productiereplica via een MCP-tool en stelt antwoorden op - waarbij alle vijf de kanalen worden geraakt.
Registreer de guardrails. Een groep met Secrets Detection, PII / PHI Detection, Regex Pattern Matching (voorinstellingen voor SSN, creditcard en e-mail plus een aangepaste CUST-\d{8}), SQL Sanitizer en Code Safety Linter. Registreren past niets toe op het verkeer; je hebt een beleidsregel nodig.
Schrijf de beleidsregel. Onder AI Gateway → Policies → Guardrails → Add Rule, richt je op de modellen en MCP-servers die de agent gebruikt, koppel het onderwerp aan de virtuele account, en wijs toe per hook:
- LLM Input - PII / PHI Detection (Mutate) verwijdert de naam en e-mail van de klant; Regex (Mutate) vangt het interne klant-ID op.
- MCP Tool Pre-Invoke - SQL Sanitizer (Validate) blokkeert een gegenereerde DELETE zonder WHERE.
- MCP Tool Post-Invoke - PII / PHI en Secrets Detection (Mutate) schonen de geretourneerde rijen op voordat ze het contextvenster binnenkomen.
- LLM Output - Secrets Detection (Validate) voorkomt dat het model een credential herhaalt; Code Safety Linter (Validate) markeert gevaarlijke shell- of SQL-code in een concept.

Voeg de loggingregel toe. Zelfde virtuele account: bodies gelogd, e-mail, us_ssn en credit_card geredigeerd in opslag, zodat de storingsdienst traces kan lezen zonder klantgegevens te zien.
Draai in audit-modus en schaal daarna op. Elke guardrail is een eigen span in Monitor → Request Traces, voor zowel geblokkeerde als succesvolle verzoeken. Lees een week lang mee - het aangepaste CUST-\d{8}-patroon zal als eerste een foutieve melding geven - en stap dan over naar Enforce But Ignore On Error, wat echte overtredingen blokkeert maar verkeer doorlaat wanneer een guardrail een fout geeft.

Aandachtspunten die goed zijn om te weten
Output-guardrails worden overgeslagen bij gestreamde responsen. Wanneer stream: true is ingesteld, draaien de controles van de output-hook niet - het evalueren van een respons vereist immers de volledige tekst. Elke chat-UI streamt standaard. Stel stream: false in waar output-controles van belang zijn, of accepteer dat het besturingselement daar inactief is. Input- en MCP-hooks worden niet beïnvloed.
Systeem-prompts worden nooit geïnspecteerd. De gateway verwijdert ze voordat de inhoud naar een guardrail wordt gestuurd, dus niets daarin wordt gescand, geredigeerd of geblokkeerd. CrowdStrike AIDR is de gedocumenteerde uitzondering, en is read-only.
SQL Sanitizer in Mutate-modus blokkeert DROP niet. De documentatie is hier expliciet over: in de mutate-modus worden gevaarlijke statements gelogd, niet geblokkeerd. Gebruik Validate op de pre-invoke hook voor alles wat een echte database raakt.
Gerelateerde artikelen
- Data Masking in the AI Gateway — het gerelateerde artikel: Mutate versus Validate diepgaand uitgelegd
- PII Redaction: Gateway or Application? — waar de redactiecode thuishoort
- Logging Architecture in the AI Gateway — wat er wordt opgeslagen en waar
- TrueFoundry AI Gateway Guardrails Explained — hooks, modi, handhavingsstrategieën
- Data Residency in the TrueFoundry AI Gateway — in welke regio's je verkeer zich bevindt
Conclusie
Het lastige aan DLP voor LLM-verkeer is dat de tooling die de meeste organisaties al hebben gekocht, niet werkt. De apparatuur in het datacenter merkt op wanneer een bestand ergens heen gaat waar het niet hoort. Dit is een string die gaat naar waar het wel hoort - een API op de whitelist, een sessie die niemand inspecteert, een formaat dat de engine nooit heeft leren lezen.
De vraag is dus niet welk DLP-product je moet uitbreiden. Het gaat erom waar het knelpunt zit. Wat je modelverkeer ook beëindigt, de body parseert en weet wie er achter de call zit, is de enige plek waar beleid kan worden uitgedrukt en gehandhaafd. Alles stroomopwaarts mist het schema; alles stroomafwaarts mist de autoriteit.
De rest is gewoon engineering: benoem de entiteitstypen die je belangrijk vindt, draai de detectors in audit-modus totdat de fout-positieven stoppen, schaal op naar handhaving en wees eerlijk over waar de dekking stopt - gestreamde output, systeem-prompts en al het verkeer dat slim genoeg is om om je heen te routeren. Dat laatste is geen guardrail-probleem; dat is een netwerkbeleid.
TrueFoundry AI Gateway levert een latentie van ~3–4 ms, verwerkt 350+ RPS op 1 vCPU, schaalt moeiteloos horizontaal en is klaar voor productie, terwijl LiteLLM last heeft van hoge latentie, moeite heeft boven een gemiddeld aantal RPS, geen ingebouwde schaling heeft en het meest geschikt is voor lichte workloads of prototypes.



Eén gateway voor elk LLM, elke agent en elke MCP-server
Recente blogs
Veelgestelde vragen
Wat is data loss prevention voor LLM-verkeer?
Het inspecteren en beheersen van gevoelige data voordat deze uw perimeter verlaat in een prompt, tool-aanroep, of modelrespons. Het verschilt van klassieke DLP, omdat er geen bestand en geen niet-gesanctioneerde bestemming is - de payload is JSON binnen een TLS-sessie naar een API waarvoor u betaalt. Controles moeten het verzoekschema begrijpen en zich bevinden op een geauthenticeerd uitgaand knelpunt.
Waarom mist klassieke netwerk-DLP LLM-verkeer?
Drie redenen stapelen op. De bestemming staat per ontwerp op de allowlist, dus bestemmingsregels activeren nooit. De content bevindt zich in een geneste conversatiearray in plaats van een bestand of formulierveld, wat document-georienteerde engines slecht kunnen parsen. En zonder TLS-inspectie is er niets om te parsen - terwijl zelfs een inspecterende proxy niet kan zeggen welke beller het verzoek verstuurde.
Kan een AI gateway verzoeken met PII blokkeren?
Dit hangt af van de detector. De ingebouwde PII/PHI-detectie van TrueFoundry is mutate-only - het redigeert altijd, weigert nooit. Voor een harde blokkade heeft u een validate-capabele integratie nodig zoals AWS Bedrock Guardrails, Azure PII, of CrowdStrike. "PII-detectie" in een functielijst vertelt u nooit of het resultaat een redactie of een 400 is.
Can I deploy TrueFoundry in my own VPC or on-prem?
Yes. TrueFoundry runs in your VPC, on-prem, air-gapped, or hybrid, so prompts and responses never leave your domain even as you route across many providers.
Ondersteunt TrueFoundry MCP en AI-agents in het algemeen?
Ja. Het omvat een MCP Gateway, een Agent Gateway, en een MCP & Agents Register met toegangscontrole op toolniveau. Agents op LangGraph, CrewAI, AutoGen, of een aangepast framework kunnen allemaal centraal worden gereguleerd.
Integreert het met mijn bestaande observability-stack?
Ja. De gateway is OpenTelemetry-compliant en sluit aan op Grafana, Datadog, Prometheus, of uw gewenste stack. Het traceert elk verzoek van prompt tot tool- en modeluitvoering, zodat u uniforme logging krijgt zonder wat u al draait te hoeven vervangen.












.webp)

.webp)
.webp)


.webp)
.webp)


.webp)







