EMEA, hallo! TrueFoundry breidt zijn aanwezigheid uit in Europa, het Midden-Oosten en Afrika. Lees meer. →
Krijg direct toegang tot een live TrueFoundry-omgeving. Implementeer modellen, stuur LLM-verkeer aan en verken het volledige platform — je sandbox is binnen enkele seconden klaar, creditcard niet vereist.
FloQast is een platform voor accounting-transformatie dat door finance- en accountingteams wordt gebruikt om de financiële afsluiting, aansluitingen en compliance te beheren. Naarmate het bedrijf grote taalmodellen door zijn hele product heen integreerde - van transactiematching en variantieanalyse tot assistentie bij journaalposten en reconciliatie-copilots - had het een manier nodig om AI in productie te draaien die voldeed aan de norm waaraan een financiële-softwarebedrijf wordt gehouden: strikte datagovernance, regionale data-residentie, beveiliging en betrouwbaarheid. In deze casestudy onderzoeken we hoe FloQast de TrueFoundry AI Gateway gebruikte om LLM- en agentinfrastructuur binnen de hele organisatie te centraliseren, beveiligen en opschalen.
FloQast opereert in een gereguleerd, beveiligingsbewust domein. Het bouwen van AI-functies was niet zomaar een kwestie van een model-API aanroepen - het vereiste controle over waar data zich bevond, wie welke mogelijkheden kon benaderen, en hoe elk verzoek werd gemonitord en beveiligd.
Drie vereisten sprongen eruit. Ten eerste, data-residentie en governance: prompts en traces moesten worden opgeslagen in de eigen infrastructuur van FloQast en binnen specifieke regio's blijven - VS, EU en APAC - en vervolgens via regiospecifieke gateways naar de bijbehorende model-provider-endpoints worden geleid. Ten tweede, gecentraliseerde controle: naarmate meer teams AI-functies uitbrachten tegen meerdere modelproviders, had FloQast één centraal punt nodig om inferentie te beheren, MCP-servers en agents te beheren, en observability en kostenzichtbaarheid te behouden. Ten derde, beveiliging en least-privilege-toegang: als financieel bedrijf had FloQast guardrails nodig tegen dreigingen zoals SQL-injectie en de mogelijkheid om toegang strikt af te bakenen, zodat API-sleutels alleen gekoppeld zijn aan de specifieke LLM-functionaliteiten die een team daadwerkelijk nodig heeft.
“Ervoor zorgen dat de daadwerkelijke locatie waar onze prompts en traces worden opgeslagen voldoet aan de EU-, APAC- of VS-regio - de mogelijkheid om dat eenvoudig via specifieke gateways te laten lopen, en de opslag in S3-locaties te hebben gekoppeld aan die drie regio's, was een enorm voordeel van TrueFoundry.”
— Colin Sidberry, Software Engineer, Floqast
FloQast standaardiseerde op de TrueFoundry AI Gateway als het control plane voor al zijn AI-verkeer. Wat het team opviel, was hoeveel functionaliteit er standaard in zat ingebakken.
“Je realiseert je niet hoeveel er in het product is ingebakken totdat je blijft graven - bij elke hoek die je omslaat vind je extra lagen, en besef je hoe krachtig TrueFoundry out-of-the-box is: het beheren van MCP-servers, agents, de prompts die je gebruikt, de playground in de UI zodat je kunt testen zonder je eigen infrastructuur op te zetten, plus de LLM-inferentie. Er zit heel veel in één pakket.”
Toen hem werd gevraagd de belangrijkste mogelijkheden voor het FloQast-team te noemen, wees Colin op een paar zaken.
De geünificeerde inferentielaag is waar al het andere op uitkomt. Een nieuwe modelprovider toevoegen - Anthropic, OpenAI, Google Gemini of anderen - is snel en eenvoudig. Alleen al in de afgelopen 90 dagen routeerde FloQast verkeer over zes providers (waaronder Anthropic, OpenAI, AWS Bedrock en Google Vertex), waarbij Claude Sonnet 4.6 van Anthropic het grootste deel van het volume droeg over de endpoints in de VS en de EU. De gateway verwerkte ongeveer 15,1 miljard input-tokens en 285 miljoen output-tokens over 3,9M modelverzoeken.
FloQast legt virtuele accounts over de proxy heen om inferentie te segmenteren per specifieke productfunctie die wordt uitgerold. Dat maakt het eenvoudig om uitgaven per functie bij te houden en te zien waar het LLM-budget naartoe gaat - welke functies het meest worden gebruikt en waar het team de meeste waarde uit haalt.
“We kunnen eenvoudig nog een proxy erbovenop zetten, zodat we LLM-inferentie kunnen segmenteren per feitelijke functie die we uitrollen. Het is een gemakkelijke manier om de prijsstelling per functie bij te houden, zodat we zicht hebben op de meest gebruikte functie en waar we het meeste uit ons LLM-budget halen.”
— Colin Sidberry, Software Engineer, Floqast
Dit komt direct terug in de data: afzonderlijke virtuele accounts (transform, FDM, JEM, variance en reconciliation-workloads) dragen elk honderdduizenden verzoeken, met totale inferentie-uitgaven van ongeveer $25K over de periode, volledig toewijsbaar per functie.
FloQast draait via de gateway een reeks beveiligingsguardrails - PII-detectie, detectie van geheimen, een SQL-sanitizer tegen injectie-aanvallen, verdediging tegen prompt-injectie, contentmoderatie en code-linting. Over 90 dagen evalueerde de gateway 80K+ guardrail-controles terwijl slechts ~53ms gemiddelde latentie werd toegevoegd, waardoor risicovolle verzoeken werden gemarkeerd zonder het product te vertragen.
“Het gemak waarmee we guardrails kunnen opzetten zodat we bescherming hebben tegen SQL-injectie-aanvallen en andere veiligheids-guardrails die we willen voor best practices op het gebied van beveiliging en software-compliance, omdat we een financieel bedrijf zijn - de mogelijkheid om toegang af te bakenen tot least-privilege over je API-sleutels, zodat je bepaalde sleutels kunt koppelen aan bepaalde LLM-functionaliteiten in plaats van dat iedereen volledige toegang heeft. Je geeft mensen alleen wat ze nodig hebben.”
— Colin Sidberry, Software Engineer, Floqast
Naast pure inferentie gebruikt FloQast de gateway om zijn MCP-servers (Model Context Protocol) te beheren - de tools die zijn AI-agents aanroepen om financiële data te lezen, regels op te halen, tabelgegevens op te halen en met journaalposten te werken. De MCP-gateway verwerkte 139K tool-aanroepen over servers zoals playbook, transform, FDM en JEM, met een gemiddelde latentie van 389ms, waardoor FloQast één beheerd oppervlak kreeg voor agent-toolgebruik naast modelaanroepen.
FloQast benadrukte de supportervaring als een onderscheidende factor. Het team werkt met TrueFoundry via een speciaal Slack-kanaal en, sinds kort, een AI-supportassistent die binnen enkele minuten antwoordt - waardevol voor een team dat niet altijd in dezelfde tijdzone zit.
“Het is echt fijn werken met het TrueFoundry-supportteam. We hebben een speciaal Slack-kanaal, het team is heel responsief, en het AI-systeem dat jullie een paar maanden geleden hebben uitgebracht is erg nuttig gebleken - het reageert binnen enkele minuten, de nauwkeurigheid van de informatie is solide, en het supportteam volgt kort daarna op om te checken of er nog aanvullende vragen zijn.”
— Colin Sidberry, Software Engineer, Floqast
Door te centraliseren op TrueFoundry veranderde FloQast een complexe multi-provider, multi-regio AI-footprint in één beheerd platform.
Over het meest recente venster van 90 dagen verwerkte de gateway meer dan 4 miljoen verzoeken over chatcompleties, responses, embeddings en MCP-aanroepen, met een slagingspercentage van 98,9% op modelverkeer. Intelligente routering leidde 3,73M verzoeken via regels voor virtuele-modelroutering met een routeringsfoutpercentage van bijna 0,04%. Cruciaal was dat dit allemaal draaide met prompts en traces opgeslagen binnen de eigen infrastructuur van FloQast, regio voor regio - waarmee de datagovernance-houding behouden bleef die een financiële-softwarebedrijf vereist, terwijl het team één plek kreeg voor observability, kostendata en best practices op het gebied van beveiliging.
“Het is absoluut een enorme verandering geweest. Betrouwbaarheid was onze belangrijkste zorg bij het zoeken naar een gateway. Het feit dat alles binnen onze eigen infrastructuur kan worden opgeslagen, zodat we onze eigen datagovernance-regels voor traces en prompts behouden, plus een gecentraliseerd punt voor observability- en prijsdata en dekking van best practices op het gebied van beveiliging - dat is erg nuttig geweest.”
— Colin Sidberry, Software Engineer, Floqast
Regel data-residentie vanaf dag één. Voor gereguleerde sectoren is waar prompts en traces worden opgeslagen en in welke regio een eersteklas vereiste, geen bijzaak. Door inferentie via regiospecifieke gateways naar provider-endpoints te routeren, kon FloQast data automatisch op de juiste plek houden.
Centraliseer inferentie, segmenteer daarna. Één proxy voor alle modelproviders, met virtuele accounts per functie daarbovenop, gaf FloQast zowel de eenvoud van één integratie als de granulariteit om kosten en gebruik aan individuele functies toe te wijzen.
Behandel guardrails en least-privilege-toegang als standaardinfrastructuur. Het draaien van PII-, geheimen-, SQL-injectie- en prompt-injectie-guardrails op de gateway, en het afbakenen van API-sleutels tot specifieke mogelijkheden, bouwt beveiliging in bij elk verzoek in plaats van dit per applicatie achteraf toe te voegen.
Investeer vroeg in onboarding. Met zo veel beschikbare functionaliteit is het advies van Colin aan andere engineers om vooraf grondig af te stemmen met het TrueFoundry-team, zodat alles correct wordt opgezet en je volop profiteert van wat er standaard inzit.
“Er zit zo veel onder de motorkap dat het makkelijk is om dingen op de verkeerde manier op te zetten. Wat echt nuttig was, was een vroege deep dive met het team, waarbij we doorliepen wat we probeerden te bereiken en kennis deelden over hoe we het beter konden implementeren. Als ik terug kon gaan en dat eerst had gedaan, zou alles makkelijker zijn geweest.”
— Colin Sidberry, Software Engineer, Floqast
De ervaring van FloQast laat zien dat AI draaien in een gereguleerd, beveiliging-eerst domein niet hoeft te betekenen dat je governance-infrastructuur vanaf nul bouwt. Door te standaardiseren op de AI Gateway van TrueFoundry voor inferentie, MCP- en agentbeheer, guardrails en routering - met data in hun eigen cloud - schaalde FloQast naar miljoenen beheerde verzoeken over zes modelproviders, met behoud van de betrouwbaarheid, data-residentie en least-privilege-beveiliging die hun klanten verwachten.
Het laatste nieuws, artikelen en bronnen in je inbox
