Nutzung des TrueFoundry AI Gateways für die FIPS-Konformität

Geschwindigkeit, Sicherheit, Souveränität: Das FIPS-konforme KI-Gateway

Im öffentlichen Sektor erleben wir heute eine Kollision. Auf der einen Seite haben wir die Unaufhaltsame Macht von Generativer KI. Behördenleiter wissen, dass Large Language Models (LLMs) die Verarbeitungszeiten von Dokumenten von Tagen auf Sekunden reduzieren können. Sie sehen das Potenzial für massive Effizienzsteigerungen.

Auf der anderen Seite sitzt der Unbewegliches Objekt: Einhaltung. Insbesondere die Anforderungen der Federal Information Processing Standards (FIPS). Dabei handelt es sich nicht nur um Bürokratie, sondern um die nicht verhandelbaren Gesetze der Physik für Regierungsdaten.

Die allgemeine Überzeugung ist, dass Sie wählen müssen: Geschwindigkeit oder Sicherheit. Sie können entweder einen modernen, agilen KI-Stack haben, der gegen die Regeln verstößt, oder einen konformen, „sicheren“ Stack, der Jahre hinter der Konkurrenz zurückliegt.

Wir sind anderer Meinung. Du musst dich nicht entscheiden. Sie benötigen nur die richtige Architektur, und wir liefern sie mit Truefoundry KI-Gateway. Wir nennen es die Strategie „On-Prem Cloud“.

Warum Compliance nicht optional ist

Bevor wir über die Lösung sprechen, sollten wir das Problem diplomatisch, aber direkt angehen. Warum brauchen wir FIPS? Warum können wir nicht einfach die Standard-API-Schlüssel für OpenAI oder Anthropic verwenden?

‍

Kurzdarstellung: Das FIPS-Mandat und das „geheime“ Problem

Bevor wir die Lösung besprechen, müssen wir die Einschränkung klar definieren.

FIPS (Federal Information Processing Standards), insbesondere FIPS 140-3 (https://csrc.nist.gov/pubs/fips/140-3/final), ist der offizielle Standard der US-Regierung für kryptografische Module. Es fragt nicht einfach: „Sind Ihre Daten verschlüsselt?“ Es stellt eine weitaus strengere Frage: „Ist das spezifische mathematische Modul, das die Verschlüsselung durchführt, von einem NIST-akkreditierten Labor validiert?“

Für Regierungsbehörden ist dies nicht verhandelbar. Wenn Daten — oder die Geheimnisse, die diese Daten schützen — von einem nicht validierten Modul verarbeitet werden (wie das Standard-OpenSSL, das in den meisten kommerziellen Programmen zu finden ist), werden sie in den Augen eines Prüfers quasi als „Klartext“ betrachtet.

Der Konflikt mit moderner KI: Verwahrung von Geheimnissen Die Schnittstelle von FIPS und generativer KI führt zu einer kritischen Sicherheitslücke in Bezug auf API-Schlüssel. Moderne LLMs (wie GPT-4 oder Claude 3.5) funktionieren, indem sie langfristige Geheimnisse — API-Schlüssel — austauschen, die Zugriff auf die Daten und das Budget Ihrer Behörde gewähren.

• Das SaaS-Risiko: In einer standardmäßigen SaaS-Bereitstellung laden Sie diese hochwertigen API-Schlüssel in die Cloud eines Anbieters hoch. Sie verlieren das Sorgerecht. Wenn dieser Anbieter sie in einer Standarddatenbank speichert, die auf einer nicht validierten Verschlüsselung basiert, haben Sie Ihre Anmeldeinformationen effektiv einer ungeklärten Umgebung ausgesetzt.
• Der Vorteil vor Ort: Durch den Einsatz von Truefoundry „On-Prem“ gewinnen Sie die Souveränität zurück. Ihre API-Schlüssel werden in Ihrem eigenen AWS Secrets Manager oder Azure Key Vault (FIPS-validierte Dienste) gespeichert. Das AI Gateway ruft sie programmgesteuert nur für die Millisekunde ab, die sie zum Signieren einer Anfrage benötigen. Die Schlüssel verlassen niemals Ihre FIPS-validierte Grenze und sind für den Softwareanbieter niemals sichtbar.

Die Schatten-KI-Konsequenz: Wenn Behörden keine konforme Architektur für diese Schlüssel bereitstellen, sind die Teams gezwungen, sich abtrünnig zu verhalten.

‍

• Der Samsung-Vorfall: Im Jahr 2023 fügten wohlmeinende Ingenieure von Samsung proprietären Code in die öffentliche Version von ChatGPT ein, um ihn zu optimieren. Sie haben nichts „gehackt“; sie haben nur versucht, effizient zu sein. Das Ergebnis? Das sensible IP ist in die Öffentlichkeit gelangt.
• Die Equifax-Lektion: Schwere Sicherheitslücken passieren oft nicht, weil die Verschlüsselung fehlte, sondern weil sie schlecht implementiert wurde (schwache Schlüssel, abgelaufene Zertifikate). FIPS verhindert dies, indem es Folgendes vorschreibt bestätigt kryptografische Module.

Das Essen zum Mitnehmen: Wenn Sie Ihren Teams keine sichere, gesetzeskonforme Methode zur Nutzung von KI bieten, werden sie einen unsicheren Weg finden, dies zu tun.

Die Lösung: Truefoundry „On-Prem“ in der Cloud

Truefoundry ist ein KI-Gateway — eine Steuerungsebene, die Ihre LLM-Interaktionen verwaltet. Es bietet erstklassige Funktionen wie Modellrouting, Caching und Kostenverfolgung.

Lassen Sie uns nun den Elefanten im Raum ansprechen: Die Software von Truefoundry selbst ist nicht nach FIPS 140-2 validiert. Es verfügt über robuste kommerzielle Zertifizierungen wie SOC 2 Typ II und HIPAA, was beweist, dass es ausgereift und sicher für den Einsatz in Unternehmen ist. Es trägt jedoch nicht das spezielle FedRAMP High-Badge, das für Workloads im Verteidigungsbereich erforderlich ist.

Also, wie verwenden wir es in einer staatlichen Umgebung?

Wir verwenden die „Festungsstrategie.“

Wir setzen Truefoundry's ein Datenebene als selbst gehosteter Workload („On-Prem“) innen dein bestehendes AWS GovCloud oder Azure-Regierung von Microsoft Azure oder Google für den öffentlichen Sektor aus der GCP-Umgebung (im Rest des Blogs verwenden wir AWS GovCloud zur Veranschaulichung, aber das gleiche Prinzip gilt für Azure und GCP).

• Der Tank (Infrastruktur): AWS GovCloud bietet die FIPS-validierte Rüstung. Es kümmert sich um die physische Sicherheit und die kryptografische Schwerarbeit.
• Der Motor (Truefoundry): Das AI Gateway sorgt für Geschwindigkeit und Intelligenz.

Durch die Verschachtelung der Anwendung in der sicheren Infrastruktur erreichen wir die Compliance durch Erbe.

‍

Tiefer Einblick in die Architektur: Die Festung

Wie isolieren wir die Nicht-FIPS-Software in einer FIPS-kompatiblen Shell? Wir behandeln das Truefoundry Gateway als eine „Black Box“, die durch AWS-Services geschützt wird.

Abbildung 1: Gesamtkonzeptionelles Modell

Der Acronym Decoder (Warum wir ihn so gebaut haben)

1. FIPS-fähiges ALB (Application Load Balancer): Das ist unser „Bouncer“. Wir konfigurieren dieses ALB so, dass es FIPS 140-3 oder zuvor FIPS 140-2-validierte Verschlüsselungssammlungen verwendet. Es beendet die TLS-Verbindung hier. Das bedeutet, dass der „Krypto-Handshake“ von der validierten Hardware von AWS abgewickelt wird, nicht vom Truefoundry-Container. Die Anwendung „erbt“ diese Konformität für eingehenden Zugriff quasi.
2. PVC mit Luftspalt: Das Gateway befindet sich in einem privaten Subnetz ohne direkte Verbindung zum Internet. Es kann nur „sprechen“, wenn es vom ALB angesprochen wird, oder über eine strenge NAT-Gateway-Firewall an bestimmte LLM-Anbieter „flüstern“.
3. WORM-Speicher (einmal schreiben, viele lesen): Wir leiten Audit-Logs mit aktiviertem Object Lock an Amazon S3 weiter. Dadurch entsteht ein rechtlich vertretbarer Prüfpfad, der die Anforderungen der Compliance-Beauftragten erfüllt — ein einmal erstelltes Protokoll kann nicht mehr gelöscht werden.

‍

User Journey: „Safe Speed“ mit Alex

Architekturdiagramme eignen sich hervorragend für Ingenieure, aber schauen wir uns an, wie dies die tägliche Realität verändert Alex, ein leitender Analyst. Dieser Arbeitsablauf zeigt, wie die „Fortress“ eine reale Aufgabe bewältigt und gleichzeitig die Behörde vor Fehlern schützt.

Die Mission: Alex hat einen Lieferantenvorschlag mit Kontrollierte, nicht klassifizierte Informationen (CUI) und potenzielle PII. Er braucht in 20 Minuten eine Zusammenfassung.

Bild 2: Benutzerworkflow mit Merits von TrueFoundry

‍

Phase 1: Aktiver Schutz (Das „Sicherheitsnetz“)

Alex fügt den Text in die Truefoundry-Benutzeroberfläche ein. Er bemerkt nicht, dass Seite 4 die eines Anbieters enthält Steuer-ID.

• Das Abfangen: Als Alex auf Enter drückt, die Truefoundry Leitplanken scanne die Eingabe sofort.
• Die Aktion: Das System erkennt das Muster der Steuer-ID. Es blockiert die Anfrage nicht nur, sondern operativ redigiert die sensiblen Zahlen.
• Das Ergebnis: Die Aufforderung, die tatsächlich an das LLM gesendet wird, ist sicher. Alex erhält eine Benachrichtigung: „Steuernummer gefunden! Redigiert...“ Er ist vor einem versehentlichen Leck geschützt.

Phase 2: Modellagnostizismus (Der „Pivot“)

Das System leitet die redigierte Aufforderung weiter an Lama 3 auf Bedrock. Die Zusammenfassung kommt als „mittelmäßig“ zurück.

• Der Switch: Alex muss ES nicht anrufen. Er wählt „Claude 3.5 (Azurblau)“ aus dem Drop-down-Menü und klicken Sie auf „Regenerieren“.
• Das Routing: Truefoundry leitet die Anfrage automatisch an einen völlig anderen Cloud-Anbieter weiter. Die Komplexität der Authentifizierung mit Azure im Vergleich zu AWS ist Alex verborgen. Er bekommt einfach eine bessere Antwort.

Phase 3: Kosten und Prüfung (Der „Paper Trail“)

Sobald Alex seine „Perfect Summary“ erhalten hat, werden zwei Hintergrundprozesse ausgelöst:

1. Zwischenspeichern: Die Antwort ist gespeichert. Wenn ein Kollege morgen dieselbe Frage stellt, erhält er die Antwort sofort gegen eine Gebühr von 0,00$.
2. Audit-Protokoll: Das System protokolliert die gesamte Interaktion — einschließlich des Schwärzungsereignisses und der Kosten (0,42$) — und sendet sie zur dauerhaften Aufzeichnung über den S3-WORM-Speicher an den Manager.

‍

Fazit: Ein Kraftmultiplikator

Der „On-Prem“ -Ansatz von Truefoundry ermöglicht es Regierungsbehörden, alles auf einmal zu haben.

Indem Sie die Truefoundry-Datenebene in AWS GovCloud verschachteln, erstellen Sie ein System, das:

1. Souverän: Ihre Daten verlassen niemals ohne Erlaubnis Ihre Kontrolle.
2. Agil: Sie können die Modelle (OpenAI, Anthropic, Llama) sofort wechseln, wenn sich die Technologie weiterentwickelt.
3. Konform: Sie nutzen die vorhandenen FIPS-Validierungen von AWS, um die Anwendung zu schützen.

Es geht nicht nur darum, ein Kästchen auf einem Compliance-Formular anzukreuzen. Es geht darum, Menschen wie Alex zu befähigen, ihre Arbeit sicher, effizient und ohne Angst zu haben, die nächste Schlagzeile zu werden, zu erledigen.

‍