Gebruikmaken van de TrueFoundry AI Gateway voor FIPS-compliance

Gebouwd voor snelheid: ~10ms latentie, zelfs onder belasting
De razendsnelle manier om je modellen te bouwen, volgen en implementeren!
- Verwerkt 350+ RPS op slechts 1 vCPU — geen tuning nodig
- Productieklaar met volledige enterprise-ondersteuning
Snelheid, beveiliging, soevereiniteit: de FIPS-compliant AI Gateway
In de publieke sector van vandaag zijn we getuige van een botsing. Aan de ene kant hebben we de Onstopbare Kracht van Generatieve AI. Leiders van overheidsinstanties weten dat Large Language Models (LLM's) de verwerkingstijd van documenten kunnen terugbrengen van dagen naar seconden. Ze zien het potentieel voor enorme efficiëntiewinsten.
Aan de andere kant bevindt zich het Onbeweeglijke Object: Compliance. In het bijzonder de vereisten van de Federal Information Processing Standards (FIPS). Dit is niet zomaar bureaucratie; het zijn de onbetwistbare natuurwetten voor overheidsdata.
De algemene overtuiging is dat u moet kiezen: Snelheid of Beveiliging. U kunt óf een moderne, wendbare AI-stack hebben die de regels breekt, óf een compliant, "veilige" stack die jaren achterloopt op de feiten.
Wij zijn het daar niet mee eens. U hoeft niet te kiezen. U hebt alleen de juiste architectuur nodig, die wij leveren via de Truefoundry AI Gateway. Wij noemen dit de "On-Prem Cloud"-strategie.
Waarom compliance niet optioneel is
Voordat we over de oplossing praten, laten we diplomatisch maar direct zijn over het probleem. Waarom hebben we FIPS nodig? Waarom kunnen we niet gewoon de standaard API-sleutels voor OpenAI of Anthropic gebruiken?
Executive Brief: Het FIPS-mandaat en het "Geheim"-probleem
Voordat we de oplossing bespreken, moeten we de beperking duidelijk definiëren.
FIPS (Federal Information Processing Standards), specifiek FIPS 140-3 (https://csrc.nist.gov/pubs/fips/140-3/final), is de officiële norm van de Amerikaanse overheid voor cryptografische modules. De vraag is niet simpelweg: "Zijn uw gegevens versleuteld?" Er wordt een veel strengere vraag gesteld: "Is de specifieke wiskundige module die de versleuteling uitvoert, gevalideerd door een door NIST geaccrediteerd laboratorium?"
Voor overheidsinstanties is dit ononderhandelbaar. Als gegevens — of de geheimen die die gegevens beschermen — worden verwerkt door een niet-gevalideerde module (zoals standaard OpenSSL die in de meeste commerciële software te vinden is), worden deze in de ogen van een auditor effectief als "plattekst" beschouwd.
Het conflict met moderne AI: Bewaarneming van geheimen. De kruising van FIPS en Generatieve AI creëert een kritieke kwetsbaarheid met betrekking tot API-sleutels. Moderne LLM's (zoals GPT-4 of Claude 3.5) werken door het uitwisselen van langetermijngeheimen — API-sleutels — die toegang verlenen tot de gegevens en het budget van uw instantie.
- Het SaaS-risico: Bij een standaard SaaS-implementatie uploadt u deze waardevolle API-sleutels naar de cloud van een leverancier. U verliest het beheer. Als die leverancier ze opslaat in een standaarddatabase die vertrouwt op niet-gevalideerde versleuteling, hebt u uw referenties effectief blootgesteld aan een niet-goedgekeurde omgeving.
- Het On-Prem-voordeel: Door Truefoundry "On-Prem" te implementeren, herwint u de soevereiniteit. Uw API-sleutels worden opgeslagen in uw eigen AWS Secrets Manager of Azure Key Vault (wat FIPS-gevalideerde diensten zijn). De AI Gateway haalt ze alleen programmatisch op voor de milliseconde die nodig is om een verzoek te ondertekenen. De sleutels verlaten nooit uw FIPS-gevalideerde grens en zijn nooit zichtbaar voor de softwareleverancier.
Het Shadow AI-consequentie: Wanneer instanties er niet in slagen een compliant architectuur voor deze sleutels te bieden, worden teams gedwongen buiten de lijntjes te kleuren.
- Het Samsung-incident: In 2023 plakten goedbedoelende engineers van Samsung eigen code in de openbare versie van ChatGPT om deze te optimaliseren. Ze hebben niets "gehackt"; ze probeerden gewoon efficiënt te zijn. Het resultaat? Dat gevoelige IP lekte naar het publieke domein.
- De les van Equifax: Grote datalekken ontstaan vaak niet omdat versleuteling ontbrak, maar omdat deze slecht was geïmplementeerd (zwakke sleutels, verlopen certificaten). FIPS voorkomt dit door gevalideerde cryptografische modules te verplichten.
De conclusie: Als u uw teams geen veilige, compliant manier geeft om AI te gebruiken, zullen ze een onveilige manier vinden om het te doen.
De oplossing: Truefoundry "On-Prem" in de cloud
Truefoundry is een AI Gateway — een control plane die uw LLM-interacties beheert. Het brengt functionaliteiten van topklasse, zoals model-routing, caching en kostenopvolging.
Laten we nu de olifant in de kamer aanpakken: de software van Truefoundry zelf is niet FIPS 140-2 gevalideerd. Het beschikt over robuuste commerciële certificeringen zoals SOC 2 Type II en HIPAA, wat bewijst dat het volwassen en veilig is voor enterprise-gebruik. Maar het draagt niet de specifieke FedRAMP High-badge die vereist is voor defensie-workloads.
Dus, hoe gebruiken we het in een overheidsomgeving?
We gebruiken de "Vesting-strategie".
We implementeren het Data Plane van Truefoundry als een self-hosted ("On-Prem") workload binnen uw bestaande AWS GovCloud of Azure Government van Microsoft Azure of Google Public Sector van GCP (in de rest van deze blog gebruiken we AWS GovCloud ter illustratie, maar hetzelfde principe geldt voor Azure en GCP) omgeving.
- De Tank (Infrastructuur): AWS GovCloud biedt het FIPS-gevalideerde pantser. Het verzorgt de fysieke beveiliging en het zware cryptografische werk.
- De Motor (Truefoundry): De AI Gateway biedt snelheid en intelligentie.
Door de applicatie binnen de veilige infrastructuur te nestelen, bereiken we compliance door overerving.
Architectuur verdieping: De Vesting
Hoe isoleren we de niet-FIPS software binnen een FIPS-compliant schil? We behandelen de Truefoundry Gateway als een "Black Box" die wordt beschermd door AWS-diensten.

Fig 1: Algemeen conceptueel model
De Afkortingsdecoder (Waarom we het zo gebouwd hebben)
- FIPS-Enabled ALB (Application Load Balancer): Dit is onze "Uitsmijter." We configureren deze ALB om FIPS 140-3 of eerder FIPS 140-2 gevalideerde cipher suites te gebruiken. Het beëindigt hier de TLS-verbinding. Dit betekent dat de "crypto handshake" wordt afgehandeld door de gevalideerde hardware van AWS, niet door de Truefoundry-container. De applicatie "erft" deze compliance effectief voor inkomend verkeer.
- Air-Gapped VPC: De Gateway bevindt zich in een privaat subnet zonder directe route naar het internet. Het kan alleen "spreken" als het wordt aangesproken door de ALB, of "fluisteren" naar specifieke LLM-providers via een strenge NAT Gateway-firewall.
- WORM Storage (Write Once, Read Many): We routen auditlogs naar Amazon S3 met Object Lock ingeschakeld. Dit creëert een juridisch verdedigbaar auditspoor dat compliance-officers tevredenstelt — zodra een log is geschreven, kan deze niet worden verwijderd.
Gebruikersreis: "Veilige snelheid" met Alex
Architectuurdiagrammen zijn geweldig voor engineers, maar laten we kijken hoe dit de dagelijkse realiteit verandert voor Alex, een Senior Analist. Deze workflow laat zien hoe de "Vesting" een alledaagse taak afhandelt en tegelijkertijd de instantie beschermt tegen fouten.
De missie: Alex heeft een voorstel van een leverancier dat Controlled Unclassified Information (CUI) en mogelijke PII bevat. Hij heeft binnen 20 minuten een samenvatting nodig.

Fig 2: Gebruikersworkflow met Merits van TrueFoundry
Fase 1: Actieve bescherming (Het "Vangnet")
Alex plakt de tekst in de Truefoundry-UI. Hij merkt niet dat pagina 4 het fiscaal nummer (Tax ID) van een leverancier bevat.
- De Onderschepping: Zodra Alex op enter drukt, scannen de Truefoundry Guardrails de invoer direct.
- De Actie: Het systeem detecteert het patroon van het fiscaal nummer. Het blokkeert de aanvraag niet alleen; het redigeert de gevoelige nummers chirurgisch.
- Het Resultaat: De prompt die daadwerkelijk naar het LLM reist, is veilig. Alex krijgt een melding: "Tax ID gevonden! Redigeren..." Hij is beschermd tegen een onbedoeld datalek.
Fase 2: Model-agnosticisme (De "Omschakeling")
Het systeem stuurt de geredigeerde prompt naar Llama 3 op Bedrock. De samenvatting komt terug als "matig."
- De Switch: Alex hoeft IT niet te bellen. Hij selecteert "Claude 3.5 (Azure)" in het keuzemenu en klikt op "Regenereren."
- De Routing: Truefoundry leidt het verzoek automatisch om naar een compleet andere cloudprovider. De complexiteit van authenticatie bij Azure versus AWS blijft verborgen voor Alex. Hij krijgt gewoon een beter antwoord.
Fase 3: Kosten & Audit (Het "Papieren Spoor")
Zodra Alex zijn "Perfecte Samenvatting" ontvangt, worden er twee achtergrondprocessen geactiveerd:
- Caching: Het antwoord wordt opgeslagen. Als een collega morgen dezelfde vraag stelt, krijgt deze direct het antwoord voor $0,00 aan kosten.
- Auditlog: Het systeem legt de gehele interactie vast — inclusief de redigeergebeurtenis en de kosten ($0,42) — en stuurt deze naar de Manager via S3 WORM-opslag voor permanente archivering.
Conclusie: Een Krachtvermenigvuldiger
Truefoundry's "On-Prem"-aanpak stelt overheidsinstanties in staat om van twee walen te eten.
Door het Truefoundry Data Plane te nestelen binnen AWS GovCloud, creëert u een systeem dat:
- Soeverein is: Uw gegevens verlaten nooit uw controle zonder toestemming.
- Wendbaar is: U kunt direct tussen modellen wisselen (OpenAI, Anthropic, Llama) naarmate de technologie evolueert.
- Compliant is: U maakt gebruik van de bestaande FIPS-validaties van AWS om de applicatie te beschermen.
Dit gaat niet alleen over het afvinken van een vakje op een compliance-formulier. Het gaat erom mensen zoals Alex in staat te stellen hun werk veilig, efficiënt en zonder angst om de volgende krantenkop te worden, uit te voeren.
TrueFoundry AI Gateway levert een latentie van ~3–4 ms, verwerkt 350+ RPS op 1 vCPU, schaalt moeiteloos horizontaal en is klaar voor productie, terwijl LiteLLM last heeft van hoge latentie, moeite heeft boven een gemiddeld aantal RPS, geen ingebouwde schaling heeft en het meest geschikt is voor lichte workloads of prototypes.















.webp)

.webp)
.webp)


.webp)
.webp)


.webp)







