Pangea-integratie met AI Gateway van TrueFoundry

Moderne LLM-teams bewegen snel, maar ze hebben ook echte, praktische AI-beveiliging nodig. We zijn geïntegreerd met vele guardrail-providers en we brengen nog een integratie voor onze enterprise-klanten- Pangea-integratie met de TrueFoundry AI Gateway, zodat teams prompt-injection kunnen detecteren, gevoelige gegevens kunnen redacteren en inhoudsbeleid kunnen afdwingen zonder hun stack te herbouwen.

Wat is Pangea (en waarom combineren met een AI Gateway)?

Pangea biedt een reeks programmeerbare beveiligingsservices die zijn afgestemd op AI-workloads - met name AI Guard voor het detecteren van risicovolle inhoud en het afdwingen van beleid, en Redact voor het automatisch verwijderen van gevoelige gegevens. Het introduceert het idee van recepten: herbruikbare guard-configuraties die u definieert in de Pangea-console en aanroept vanuit uw app of platform. Door Pangea naar uw AI Gateway te brengen, kunt u deze waarborgen toepassen op elk verzoek en elke respons over providers, modellen, tools en agents heen, zonder de applicatiecode-paden aan te raken.

Waarom beveiliging belangrijk is voor een AI Gateway

• Gecentraliseerde verdediging. Dwing organisatiebreed guardrails af bij de AI Gateway.
• Data blijft lokaal. Verkeer stroomt door uw gecontroleerde omgeving; u bepaalt wat er wordt gelogd en waar.
• Defense-in-depth. Detecteer injecties, neutraliseer URL's, blokkeer exfiltratiepogingen en redacteer PII voordat het modellen of gebruikers bereikt.
• Operationele eenvoud. Één plek om referenties te koppelen, één beleidsoppervlak om te beheren: minder drift, meer consistente AI-beveiliging.  

Belangrijkste metrieken voor het evalueren van een Gateway

Criteria	Wat moet u evalueren?	Prioriteit	TrueFoundry
Latency	Voegt <10ms p95 overhead toe voor time-to-first-token?	Must Have	✅ Ondersteund
Dataresidentie	Bewaart logs binnen uw regio (EU/US)?	Afhankelijk van use case	✅ Ondersteund
Op latency gebaseerde routing	Lidt automatisch om op basis van realtime latency/fouten?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund

Een AI Gateway evalueren?

Een praktische gids gebruikt door platform- & infra-teams

Hoe de integratie werkt

Op een hoog niveau:

1. Maak een AI Guard-recept in Pangea (bijv. blokkeer prompt-injection, opschonen van URL's, redacteer patronen).  
2. Voeg in TrueFoundry een Pangea guard toe aan uw route- of organisatiebeleid - koppel deze aan uw Pangea-domein, projectdomein en recept-ID; verwijs naar een opgeslagen API-sleutel.  
3. De AI Gateway roept Pangea inline aan voor prompts en/of completions en dwingt vervolgens de beslissing af (toestaan, blokkeren, redacteren, transformeren) voordat het naar het model of de client wordt doorgestuurd.  

Ondersteunde guard-typen

U kunt Pangea-controles koppelen aan elk van deze fasen:

• Prompt (pre-model)
• Completion (post-model)
• Prompt & Completion (beide richtingen)

Ze zijn geconfigureerd als "guards" in de gateway, met Pangea als provider.  

Pangea-integratie toevoegen

Om een Pangea-integratie toe te voegen, begint u met het invoeren van een naam voor uw guardrails-groep en voegt u vervolgens collaborators toe die toegang moeten hebben om deze groep te beheren of te gebruiken. Configureer daarna de Pangea Config door een naam op te geven en het domein voor de cloudprovider en regio gespecificeerd te houden waar uw Pangea-project is ingesteld. Bijvoorbeeld, als uw endpoint https://<service_name>.aws.us-west-2.pangea.cloud/v1/text/guard is, dan is het domein dat u moet invoeren aws.us-west-2.pangea.cloud. U kunt optioneel ook een recept-sleutel opgeven, die verwijst naar een vooraf gedefinieerde configuratie in de Pangea User Console die bepaalt welke regels moeten worden toegepast op de tekst, zoals het neutraliseren van kwaadaardige URL's. Als u aangepaste instellingen wilt toepassen die uw standaard Pangea-accountconfiguratie overschrijven, kunt u Overrides inschakelen. Kies vervolgens het Guard Type uit het vervolgkeuzemenu, op basis van het type bescherming dat u wilt toepassen.

Geef ten slotte onder Pangea Authentication Data de API Key op die wordt gebruikt om verzoeken aan Pangea-services te authenticeren. Deze sleutel is vereist voor de werking van de integratie en u kunt deze verkrijgen via de Pangea Console door naar uw projectdashboard te gaan en het gedeelte Tokens of API Keys te openen. Zorg ervoor dat deze sleutel veilig wordt bewaard, aangezien deze toegang geeft tot uw Pangea-beveiligingsservices.

‍

Hoe handhaving eruitziet

• Block: verzoek/respons wordt gestopt met een duidelijke reden en een codepad voor observatie.
• Redact: gevoelige gedeelten worden verwijderd voordat ze worden doorgestuurd naar de LLM of client (met behulp van Redact).  
• Transform: onveilige constructies kunnen worden geneutraliseerd (bijv. URL's) en vervolgens veilig worden doorgegeven via de AI Gateway.  

Alle beslissingen zijn zichtbaar in uw gateway-logs; Pangea houdt ook een audit-trail bij binnen uw project voor onderzoeken en beoordelingen.  

Zodra Pangea op de gateway is aangesloten, is de grootste operationele winst consistentie. Teams hoeven er niet aan te denken om beveiliging in elke microservice of agent-workflow "in te schakelen", omdat dezelfde controles van toepassing zijn waar verkeer ook stroomt - of het nu gaat om een eenvoudige chat completion, een agent tool call, of een retrieval-augmented pipeline. Dit vermindert policy drift over de tijd en maakt het veel gemakkelijker om nieuwe beveiligingen uit te rollen (of bestaande aan te scherpen) zonder code-wijzigingen over meerdere teams te hoeven coördineren.

Het verbetert ook day-two operations wanneer er iets misgaat. Wanneer een gebruiker onveilige uitvoer of verdacht gedrag meldt, kunnen platformteams precies traceren welke guard is geactiveerd, welke actie is ondernomen en welke route en welk model erbij betrokken waren - allemaal vanuit de logs en audit-signalen van de gateway. Dat maakt onderzoeken sneller en helpt beveiligings- en AI-teams bij het opbouwen van een gedeelde, herhaalbare workflow voor het beoordelen van incidenten, het afstemmen van recepten en het valideren van wijzigingen voordat ze productie bereiken.

Na verloop van tijd evolueren teams doorgaans van "basis blokkering en redactie" naar meer genuanceerd beleid dat veiligheid en gebruikerservaring in evenwicht brengt. U kunt er bijvoorbeeld voor kiezen om duidelijke prompt-injection-pogingen te blokkeren, specifieke PII-typen te redacteren en risicovolle inhoud zoals URL's of codefragmenten te transformeren, terwijl de rest van het verzoek gewoon kan doorgaan. Met Pangea-recepten en handhaving op gateway-niveau worden die wijzigingen configuratie-updates in plaats van het herschrijven van code, waardoor teams beveiligingscontroles kunnen itereren in hetzelfde tempo als ze prompts, modellen en productfuncties itereren.

Veelgestelde vragen

Voegt dit latency toe?
‍De aanroep vindt plaats bij de AI Gateway; met caching en beknopte recepten is de overhead doorgaans klein ten opzichte van de model-latency.

Is de modelkeuze beperkt?
‍Nee. Beleid is van toepassing op verschillende providers en modellen omdat ze worden afgedwongen op de grens van de AI Gateway.

Kunt u dit combineren met andere guardrails?
‍Ja, stapel Pangea met aanvullende gateway-guards voor gelaagde AI-beveiliging.  

Aan de slag

• Volg de stapsgewijze TrueFoundry-documentatie voor Pangea-configuratie. Link hier
• Bekijk de AI Guard-concepten van Pangea (recepten, acties) om het juiste beleid te ontwerpen.  

Als u LLM-workloads schaalt, geeft deze combinatie u een schoon, gecentraliseerd controlepunt: AI-beveiliging die meereist met elke aanroep, en een AI Gateway die uw apps snel, consistent en compliant houdt.