Patronus-integratie met TrueFoundry's AI Gateway

Als u LLM-applicaties bouwt die in aanraking komen met echte gebruikers en data, is het koppelen van Patronus AI aan de TrueFoundry AI gateway een strakke manier om evaluatie-first guardrails toe te voegen zonder dat dit teams vertraagt. Deze blogpost behandelt wat de integratie doet, waarom het belangrijk is voor AI security, en hoe u het in enkele minuten instelt. U kunt ook onze documentatie over deze integratie bekijken op: Patronus Integration with TrueFoundry AI Gateway

Waarom Patronus koppelen aan de AI gateway

• Eén beleidsniveau. Routeer verzoeken via een enkele AI gateway en pas Patronus-controles (prompt injection, PII, toxiciteit, hallucinaties) consistent toe op elk model.
• Uniforme AI security over alle providers heen. Of u nu OpenAI, Anthropic, Bedrock of uw eigen gehoste modellen aanroept, dezelfde veiligheidsregels zijn van toepassing.
• Ingebouwde observabiliteit. Zie welke controles zijn geactiveerd, welke zijn geblokkeerd en wat er moet worden gecorrigeerd—rechtstreeks vanuit de gateway.
• Lage overhead. Patronus-evaluators zijn productie-gereed met snelle responstijden, zodat guardrails geen knelpunt worden.
• Beheerdersvriendelijk. Configureer wie guardrails kan wijzigen, sleutels kan roteren en beleid kan toepassen op apps, teams en omgevingen—allemaal via de AI gateway.

Belangrijkste metrieken voor het evalueren van een gateway

Criterium	Wat moet u evalueren?	Prioriteit	TrueFoundry
Latency	Voegt <10ms p95-overhead toe voor time-to-first-token?	Must Have	✅ Ondersteund
Data-residentie	Bewaart logs binnen uw regio (EU/US)?	Afhankelijk van use case	✅ Ondersteund
Op latency gebaseerde routing	Herrouteert automatisch op basis van real-time latency/storingen?	Must Have	✅ Ondersteund
Sleutelrotatie & -intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & -intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & -intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & -intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & -intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund

Een AI Gateway aan het evalueren?

Een praktische gids gebruikt door platform- & infra-teams

Hoe de integratie werkt

1. Uw applicatie stuurt een verzoek naar de AI gateway.
2. De gateway stuurt dit door naar het door u gekozen model.
3. De output van het model (en optioneel de prompt) wordt ter evaluatie naar Patronus gestuurd.
4. Patronus retourneert geslaagd/mislukt-resultaten, scores en metadata.
5. De AI gateway staat de respons toe of blokkeert deze op basis van uw regels.
6. Logs en metrieken stromen naar dashboards, zodat u zowel evaluatie als kosten kunt afstemmen.

Dit geeft u één centraal controlepunt voor AI security zonder dat u evaluators in elke afzonderlijke dienst hoeft in te bouwen.

Wat u nodig heeft

• Een TrueFoundry-account en toegang tot de AI gateway, lees onze Quick Start
• Een Patronus API-sleutel.

Patronus AI-integratie toevoegen

Om Patronus AI toe te voegen aan uw TrueFoundry-configuratie, begint u met het invullen van het formulier Guardrails Group. Voer eerst een naam in voor uw guardrails-groep en voeg vervolgens eventuele collaborators toe die toegang moeten krijgen om deze groep te beheren of te gebruiken.

Maak vervolgens de Patronus Config aan door een naam op te geven voor de configuratie en het target te selecteren, dat bepaalt welk type verzoek de Patronus-guardrail moet evalueren (bijvoorbeeld een Prompt of een Response). Configureer daarna de evaluators die u wilt gebruiken. U kiest een evaluator type zoals Judge (gebruikt voor evaluatiemodellen) en selecteert vervolgens de criteria waarop u wilt evalueren—bekende voorbeelden zijn hallucinatiedetectie, toxiciteit en PII-lekken. Als u meerdere controles wilt afdwingen, kunt u meer dan één evaluator toevoegen door op Add Evaluators te klikken, waarmee u verschillende evaluatiecriteria in dezelfde guardrail-configuratie kunt combineren.

Ten slotte geeft u onder Patronus Authentication Data de API key op die vereist is om verzoeken bij Patronus AI te authenticeren. U kunt deze sleutel ophalen uit het Patronus AI-dashboard door naar uw accountinstellingen te gaan en het gedeelte API Keys op te zoeken. Bewaar deze sleutel veilig, aangezien deze toegang verleent tot uw Patronus AI-evaluatiediensten.

Responsstructuur

De Patronus AI API retourneert een respons met de volgende structuur:

Wat er wordt geretourneerd en hoe beslissingen worden genomen

Voor elk verzoek retourneert Patronus een gestructureerd resultaat met evaluator-ID's, criteria, een geslaagd/mislukt-vlag en optionele markeringen (bijv. geflagde zinnen). Als een evaluator pass: false retourneert, blokkeert de AI gateway de respons en retourneert een 400. Als alle evaluators slagen, wordt de respons doorgegeven aan de client. U krijgt volledige context om te debuggen en drempelwaarden aan te passen zonder applicatiecode te wijzigen.

Observabiliteit die u helpt te releasen

U kunt het tabblad Metrics van de AI Gateway raadplegen voor responslatency, time to first token, inter-token latency, kosten, token-aantallen, foutcodes en guardrail-uitkomsten. U kunt segmenteren en vergelijken op basis van model, route, app, gebruiker/team/tenant of omgeving om regressies vroegtijdig te ontdekken en budgetten onder controle te houden. Wanneer u diepgaandere analyses nodig heeft, kunt u ruwe metrieken exporteren en combineren met uw product-analytics voor end-to-end inzicht.

Wat het u oplevert

• Sterkere AI security en compliance—zonder evaluators in elke dienst in te bouwen.
• Één AI gateway voor beleid, routing en zichtbaarheid over alle modellen heen.
• Snellere iteratie: pas beleid centraal aan en voer updates direct door.
• Duidelijk eigenaarschap: dashboards maken prestaties, kosten en veiligheid inzichtelijk voor zowel engineering als ops.

Tot slot

AI ontwikkelt zich snel en dat geldt ook voor dreigingspatronen. Met Patronus aangesloten op de TrueFoundry AI gateway beschikt u over evaluators die risicovolle prompts en outputs vroegtijdig opsporen, plus één centraal beleidsniveau om beslissingen overal af te dwingen. Het is een pragmatische weg naar veiligere, enterprise-ready LLM's: stel het eenmalig in, observeer en aangescherpt naarmate u schaalt.