HiddenLayer-integratie met Truefoundry AI Gateway

Elk team dat op dit moment AI uitrolt, ervaart dezelfde tegenstrijdigheid. Ontwikkelaars willen nieuwe modellen aansluiten zodra ze verschijnen. Beveiligingsteams eisen dat elke prompt en elke respons veilig, compliant en vrij van gelekte data is. Beide hebben gelijk, en geen van beiden kan op de ander wachten. De echte vraag is dus niet welk model u beveiligt. Het gaat erom hoe u één consistent beveiligingsbeleid afdwingt voor de tientallen of honderden modellen die uw teams al aanroepen, zonder de integratie elke keer opnieuw te hoeven bouwen.

Die kloof, tussen de toegang tot modellen en het daadwerkelijke beheer van wat erdoorheen stroomt, is waar de meeste AI-beveiligingsinspanningen stilzwijgend stranden. Vandaag dichten we die kloof. We kondigen de integratie aan van HiddenLayer Runtime Security met de TrueFoundry AI Gateway, zodat u runtime AI-beveiliging kunt toepassen op elk model achter de gateway vanaf één centrale plek, zonder engineering per model.

De TrueFoundry AI Gateway

De TrueFoundry AI Gateway is het controlepunt voor enterprise AI. Het geeft ontwikkelaars geünificeerde toegang tot honderden LLM's via één enkele API, met slimme routing, observability en kostenbeheersing al ingebouwd. Naarmate het gebruik schaalt, is het lastige deel niet langer het bereiken van een model. Het is het beheren van alles wat daarna komt: meerdere providers, veranderende API's en compliance-eisen die op elke call van toepassing zijn.

De gateway verandert die wildgroei in één consistent oppervlak. Elke request en elke respons loopt via hetzelfde pad, wat betekent dat beveiliging niet meer los op elke applicatie hoeft te worden geschroefd. Het kan één keer, centraal, voor iedereen worden afgedwongen.

HiddenLayer Runtime Security voor AI

HiddenLayer Runtime Security is een runtime beveiligingsplatform dat specifiek is gebouwd voor LLM-applicaties. In plaats van erop te vertrouwen dat een prompt of respons veilig is, inspecteert het elke interactie terwijl deze plaatsvindt en geeft het een duidelijk besluit terug.

Het onderschept prompt injection- en jailbreak-pogingen voordat ze het model bereiken, zodat een aanvaller het systeem niet kan misleiden om zijn instructies te onthullen of de guardrails te omzeilen. Het detecteert en redigeert gevoelige data, zoals e-mailadressen en telefoonnummers, zodat vertrouwelijke informatie nooit ongemerkt in een prompt of respons terechtkomt. En omdat het beleid in de AISec Platform Console staat in plaats van in uw code, kan uw beveiligingsteam aanpassen wat wordt geblokkeerd, wat wordt geredigeerd en wat alleen wordt gemarkeerd, zonder dat iemand een nieuwe release hoeft uit te rollen.

Beter samen: Eén integratie, elk model

Op zichzelf is elke tool sterk. Samen nemen ze het werk weg dat AI-beveiliging normaal gesproken zo moeizaam maakt. In plaats van een SDK in elke applicatie in te bedden of afzonderlijke beveiligingscode voor elke provider te onderhouden, verbindt u HiddenLayer één keer met de gateway. Vanaf dat moment erft elk model dat via TrueFoundry wordt gerouteerd automatisch dezelfde bescherming.

De gateway luistert bij elke call naar het oordeel van HiddenLayer en dwingt dit ter plekke af. Een kwaadaardige prompt wordt geblokkeerd. Gevoelige inhoud wordt direct geredigeerd, waarna de opgeschoonde tekst doorgaat. Een veilige request gaat er direct doorheen. Uw ontwikkelaars blijven op volle snelheid doorwerken en merken nauwelijks dat de laag er is, terwijl uw beveiligingsteam gecentraliseerde beleidscontrole krijgt en een volledige audit trail over elk model en elke omgeving.

Hoe de integratie werkt

HiddenLayer draait als een lichtgewicht wrapper die de gateway aanroept bij het binnenkomen en het uitgaan. Elke request maakt een snelle, voorspelbare round-trip voordat deze ooit een model bereikt.

‍

Een gelaagd pad voor elke request

1. Uw applicatie stuurt een request, en deze komt eerst aan bij de TrueFoundry AI Gateway.
2. De gateway stuurt de prompt door naar HiddenLayer, waar deze wordt geëvalueerd op basis van uw geconfigureerde beveiligingsbeleid voor dreigingen zoals prompt injection, jailbreak-pogingen en de blootstelling van gevoelige data.
3. HiddenLayer geeft een oordeel terug aan de gateway — Allow, Block of Redact. Geblokkeerde requests worden gestopt, terwijl gemarkeerde inhoud automatisch kan worden geredigeerd voordat deze doorgaat.
4. Als de request is toegestaan, routeert de TrueFoundry AI Gateway deze naar de doelmodel-provider die door uw applicatie is geselecteerd.
5. Het model genereert een respons en stuurt deze terug naar de TrueFoundry AI Gateway.
6. De gateway past het beleidsbesluit toe dat van HiddenLayer is ontvangen en bereidt de uiteindelijke veilige respons voor.
7. De beveiligde respons wordt teruggeleverd aan uw applicatie.

Deze architectuur stelt organisaties in staat om consistent AI-beveiligingsbeleid af te dwingen vóór de uitvoering van het model. Dit helpt prompt injection-aanvallen, jailbreak-pogingen en de blootstelling van gevoelige data te voorkomen, terwijl er één geünificeerde gebruikslaag blijft voor alle AI-modellen.

Aan de slag

AI-beveiliging hoort u niet te vertragen. Met HiddenLayer Runtime Security op de TrueFoundry AI Gateway krijgt u runtime bescherming die dichter bij het omzetten van een schakelaar ligt dan bij het uitvoeren van een engineeringproject. Definieer uw beleid één keer, richt de gateway op HiddenLayer, en elk model erachter is gedekt.

Om te zien hoe het van begin tot eind werkt, leest u de HiddenLayer integratiegids in de TrueFoundry-documentatie, of neemt u contact op met ons team voor een demonstratie.