Wie FloQast Unternehmens-KI mit TrueFoundry im großen Maßstab steuert

FloQast ist eine Plattform zur Transformation des Rechnungswesens, die von Finanz- und Buchhaltungsteams für den Monatsabschluss, Abstimmungen und Compliance genutzt wird. Als das Unternehmen Large Language Models in sein Produkt integrierte – von der Transaktionszuordnung und Varianzanalyse bis hin zur Unterstützung bei Buchungssätzen und Reconciliation-Copilots – benötigte es eine Möglichkeit, KI produktiv zu betreiben, die den hohen Anforderungen eines Finanzsoftwareunternehmens gerecht wird: strikte Data Governance, regionale Datenresidenz, Sicherheit und Zuverlässigkeit. In dieser Fallstudie untersuchen wir, wie FloQast das TrueFoundry AI Gateway einsetzte, um die LLM- und Agenten-Infrastruktur im gesamten Unternehmen zu zentralisieren, abzusichern und zu skalieren.

Die Herausforderung: Produktive KI unter Finanz-Governance

FloQast ist in einem regulierten und sicherheitssensiblen Umfeld tätig. Die Entwicklung von KI-Funktionen war nicht nur eine Frage des Aufrufs einer Modell-API – es erforderte die Kontrolle darüber, wo Daten gespeichert werden, wer auf welche Funktionen zugreifen kann und wie jede Anfrage überwacht und abgesichert wird.

Drei Anforderungen stachen besonders hervor. Erstens: Datenresidenz und Governance: Prompts und Traces mussten in der eigenen Infrastruktur von FloQast gespeichert und innerhalb spezifischer Regionen – USA, EU und APAC – gehalten werden, um sie dann über regionsspezifische Gateways an die entsprechenden Endpunkte der Modellanbieter weiterzuleiten. Zweitens: Zentralisierte Kontrolle: Da immer mehr Teams KI-Funktionen für verschiedene Modellanbieter bereitstellten, benötigte FloQast einen zentralen Punkt, um Inferenz zu steuern, MCP-Server und Agenten zu verwalten sowie Beobachtbarkeit und Kostentransparenz zu gewährleisten. Drittens: Sicherheit und Least-Privilege-Zugriff: Als Finanzunternehmen benötigte FloQast Schutzmechanismen gegen Bedrohungen wie SQL-Injection sowie die Möglichkeit, Zugriffsrechte eng zu begrenzen, sodass API-Schlüssel nur den spezifischen LLM-Funktionen zugeordnet sind, die ein Team tatsächlich benötigt.

„Sicherzustellen, dass der tatsächliche Speicherort unserer Prompts und Traces den Anforderungen der EU-, APAC- oder US-Region entspricht – die Möglichkeit, dies einfach über spezifische Gateways zu leiten und die Speicherung in S3-Buckets vorzunehmen, die an diese drei Regionen gebunden sind, war ein riesiger Vorteil von TrueFoundry.“

— Colin Sidberry, Software Engineer, Floqast

Die Lösung: Ein Gateway für Inferenz, MCP, Guardrails und Routing

FloQast hat das TrueFoundry AI Gateway als zentrale Steuerungsebene für den gesamten KI-Datenverkehr standardisiert. Was das Team besonders überzeugte, war der enorme Funktionsumfang, der bereits integriert ist.

„Man merkt erst, wie viel in diesem Produkt steckt, wenn man tiefer gräbt und an jeder Ecke neue Ebenen entdeckt. Dann wird einem klar, wie leistungsfähig TrueFoundry von Haus aus ist: die Verwaltung von MCP-Servern, Agenten, Prompts und die Playground-Umgebung in der UI, mit der man testen kann, ohne eine eigene Infrastruktur aufbauen zu müssen – dazu noch das LLM-Inference. Es ist wirklich beeindruckend, wie viel hier in einem Paket steckt.“

Auf die Frage nach den wichtigsten Funktionen für das Team von FloQast nannte Colin einige zentrale Punkte.

1. Der LLM-Proxy als Herzstück des Stacks

Die einheitliche Inference-Schicht ist das Fundament, auf dem alles andere aufbaut. Das Hinzufügen eines neuen Modellanbieters wie Anthropic, OpenAI, Google Gemini oder anderer ist schnell und unkompliziert. Allein in den letzten 90 Tagen leitete FloQast Datenverkehr über sechs Anbieter (darunter Anthropic, OpenAI, AWS Bedrock und Google Vertex), wobei Claudes Sonnet 4.6 von Anthropic den Großteil des Volumens über die US- und EU-Endpunkte abwickelte. Das Gateway verarbeitete dabei rund 15,1 Milliarden Input-Token und 285 Millionen Output-Token bei 3,9 Millionen Modellanfragen.

2. Segmentierung nach Funktionen für volle Kostentransparenz

FloQast nutzt virtuelle Konten über dem Proxy, um die Inference-Nutzung nach den spezifischen Produktfunktionen zu segmentieren, die gerade eingeführt werden. So lässt sich der Aufwand pro Funktion leicht nachverfolgen. Man sieht sofort, wohin das LLM-Budget fließt, welche Funktionen am häufigsten genutzt werden und wo das Team den größten Mehrwert erzielt.

„Wir können ganz einfach einen weiteren Proxy darüberlegen, um die LLM-Inference nach der tatsächlichen Funktion zu segmentieren, die wir gerade ausrollen. Das ist eine einfache Methode, um die Kosten pro Funktion zu tracken. So haben wir volle Transparenz darüber, welche Funktionen am meisten genutzt werden und wo wir unser LLM-Budget am effektivsten einsetzen.“

— Colin Sidberry, Software Engineer, Floqast

Das spiegelt sich direkt in den Daten wider: Verschiedene virtuelle Konten (für Workloads wie Transform, FDM, JEM, Variance und Reconciliation) verzeichnen jeweils Hunderttausende von Anfragen, wobei die gesamten Inference-Kosten von rund 25.000 $ im betrachteten Zeitraum exakt den jeweiligen Funktionen zugeordnet werden konnten.

3. Leitplanken für Sicherheit und Compliance

FloQast nutzt eine Reihe von Sicherheits-Guardrails über das Gateway: PII-Erkennung, Geheimniserkennung, einen SQL-Sanitizer gegen Injection-Angriffe, Schutz vor Prompt-Injection, Inhaltsmoderation und Code-Linting. Innerhalb von 90 Tagen evaluierte das Gateway über 80.000 Guardrail-Prüfungen bei einer zusätzlichen durchschnittlichen Latenz von ~53 ms, wodurch riskante Anfragen erkannt werden, ohne das Produkt zu verlangsamen.

„Die einfache Implementierung von Guardrails ermöglicht es uns, uns gegen SQL-Injection-Angriffe und andere Sicherheitsrisiken zu schützen, was für Best Practices in puncto Sicherheit und Software-Compliance als Finanzunternehmen unerlässlich ist. Besonders wertvoll ist die Möglichkeit, den Zugriff über API-Keys nach dem Prinzip der geringsten Rechte einzuschränken. So können wir bestimmte Keys an spezifische LLM-Funktionen binden, anstatt jedem vollen Zugriff zu gewähren. Man gibt den Nutzern nur das, was sie wirklich brauchen.“

— Colin Sidberry, Software Engineer, Floqast

MCP- und Agenten-Management

Über die reine Inferenz hinaus nutzt FloQast das Gateway zur Verwaltung seiner MCP-Server (Model Context Protocol) – die Tools, die von den KI-Agenten aufgerufen werden, um Finanzdaten zu lesen, Regeln abzurufen, Tabellendaten zu extrahieren und mit Buchungssätzen zu arbeiten. Das MCP-Gateway verarbeitete 139.000 Tool-Aufrufe über Server wie Playbook, Transform, FDM und JEM bei einer durchschnittlichen Latenz von 389 ms, wodurch FloQast eine einheitliche, kontrollierte Schnittstelle für die Tool-Nutzung durch Agenten sowie für Modellaufrufe erhält.

Support, der Zeitzonen überbrückt

FloQast hob den Support als entscheidendes Unterscheidungsmerkmal hervor. Das Team arbeitet mit TrueFoundry über einen dedizierten Slack-Kanal zusammen und nutzt seit Kurzem einen KI-Support-Assistenten, der innerhalb von Minuten antwortet – ein großer Vorteil für ein Team, das über verschiedene Zeitzonen verteilt ist.

„Die Zusammenarbeit mit dem Support-Team von TrueFoundry ist wirklich großartig. Wir haben einen eigenen Slack-Kanal, das Team reagiert sehr schnell, und das KI-System, das vor ein paar Monaten eingeführt wurde, ist extrem hilfreich. Es antwortet innerhalb von Minuten, die Informationen sind präzise, und das Support-Team hakt kurz darauf nach, ob noch weitere Fragen offen sind.“

— Colin Sidberry, Software Engineer, Floqast

Ergebnisse: Zuverlässige, kontrollierte KI im großen Maßstab

Durch die Zentralisierung auf TrueFoundry verwandelte FloQast eine komplexe KI-Infrastruktur mit mehreren Anbietern und Regionen in eine einzige, kontrollierte Plattform.

Im letzten 90-Tage-Zeitraum verarbeitete das Gateway mehr als 4 Millionen Anfragen für Chat-Vervollständigungen, Antworten, Embeddings und MCP-Aufrufe, bei einer Erfolgsquote von 98,9 % beim Modell-Traffic. Intelligentes Routing leitete 3,73 Mio. Anfragen über virtuelle Modell-Routing-Regeln, wobei die Routing-Fehlerquote bei nahezu 0,04 %lag. Entscheidend ist, dass dies alles mit Prompts und Traces innerhalb der eigenen Infrastruktur von FloQastablief, wobei die für ein Finanzsoftwareunternehmen erforderlichen Richtlinien zur Daten-Governance regionenübergreifend gewahrt blieben und das Team gleichzeitig einen zentralen Ort für Observability, Kostendaten und Best Practices im Bereich Sicherheit erhielt.

„Es war definitiv ein riesiger Wendepunkt. Zuverlässigkeit war unser Hauptanliegen bei der Suche nach einem Gateway. Die Tatsache, dass alles in unserer eigenen Infrastruktur gespeichert werden kann, sodass wir unsere eigenen Daten-Governance-Regeln für Traces und Prompts beibehalten, sowie ein zentraler Punkt für Observability, Preisdaten und die Abdeckung von Sicherheits-Best-Practices – das war wirklich hilfreich.“

— Colin Sidberry, Software Engineer, Floqast

Wichtige Erkenntnisse für Teams, die ein KI-Gateway einführen

Sorgen Sie von Anfang an für die Einhaltung der Datenresidenz. In regulierten Branchen ist die Speicherung von Prompts und Traces sowie die Wahl der Region eine grundlegende Anforderung und kein nachträglicher Einfall. Durch die Weiterleitung von Inferenzanfragen über regionsspezifische Gateways an die Endpunkte der Anbieter stellt FloQast sicher, dass Daten automatisch am richtigen Ort verbleiben.

Inferenz zentralisieren und anschließend segmentieren. Ein einziger Proxy für alle Modellanbieter, ergänzt durch virtuelle Konten für einzelne Funktionen, bot FloQast sowohl die Einfachheit einer einzigen Integration als auch die nötige Granularität, um Kosten und Nutzung präzise einzelnen Funktionen zuzuordnen.

Betrachten Sie Sicherheitsvorkehrungen und das Prinzip der minimalen Rechtevergabe als Standardinfrastruktur. Die Implementierung von Schutzmechanismen gegen PII-Leaks, Secrets, SQL-Injection und Prompt-Injection direkt am Gateway sowie die Beschränkung von API-Schlüsseln auf spezifische Funktionen verankert Sicherheit in jeder Anfrage, anstatt sie nachträglich pro Anwendung aufzusetzen.

Investieren Sie frühzeitig in das Onboarding. Angesichts der enormen Funktionsvielfalt rät Colin anderen Ingenieuren, sich von Anfang an eng mit dem TrueFoundry-Team abzustimmen, um die Einrichtung korrekt vorzunehmen und das volle Potenzial der integrierten Funktionen auszuschöpfen.

„Unter der Haube steckt eine Menge, daher kann man beim Aufsetzen leicht Fehler machen. Es war extrem hilfreich, frühzeitig tief in die Materie einzutauchen, unsere Ziele mit dem Team zu besprechen und von deren Wissen zu profitieren, um die Implementierung zu optimieren. Wenn ich die Zeit zurückdrehen könnte, würde ich das von Anfang an so machen – es hätte alles deutlich einfacher gemacht.“

— Colin Sidberry, Software Engineer, Floqast

Fazit

Die Erfahrung von FloQast zeigt, dass der Einsatz von KI in einem regulierten, sicherheitsorientierten Umfeld nicht bedeutet, die Governance-Infrastruktur von Grund auf neu entwickeln zu müssen. Durch die Standardisierung auf das AI Gateway von TrueFoundry für Inferenz, MCP- und Agenten-Management, Sicherheitsvorkehrungen und Routing – bei gleichzeitigem Verbleib der Daten in der eigenen Cloud – konnte FloQast auf Millionen von kontrollierten Anfragen über sechs Modellanbieter skalieren, ohne dabei die Zuverlässigkeit, Datensouveränität und die vom Kunden erwartete Sicherheit nach dem Prinzip der minimalen Rechtevergabe zu gefährden.