HiddenLayer-Integration mit dem Truefoundry AI Gateway

Jedes Team, das derzeit KI-Lösungen bereitstellt, steht vor demselben Widerspruch. Entwickler möchten neue Modelle sofort einbinden, sobald sie verfügbar sind. Sicherheitsteams müssen sicherstellen, dass jeder Prompt und jede Antwort sicher, regelkonform und frei von Datenlecks ist. Beide Seiten haben recht, und keine kann auf die andere warten. Die eigentliche Frage ist also nicht, welches Modell Sie absichern. Es geht darum, wie Sie eine einheitliche Sicherheitsrichtlinie für die Dutzenden oder Hunderte von Modellen durchsetzen, die Ihre Teams bereits nutzen, ohne die Integration jedes Mal neu aufbauen zu müssen.

Diese Lücke zwischen dem Zugriff auf Modelle und der tatsächlichen Kontrolle der Datenströme ist der Punkt, an dem die meisten Bemühungen zur KI-Sicherheit scheitern. Heute schließen wir diese Lücke. Wir kündigen die Integration von HiddenLayer Runtime Security mit dem TrueFoundry AI Gatewayan, damit Sie KI-Laufzeitsicherheit für jedes Modell hinter dem Gateway zentral anwenden können – ganz ohne modellbezogenen Entwicklungsaufwand.

Das TrueFoundry AI Gateway

Das TrueFoundry AI Gateway ist der zentrale Kontrollpunkt für KI im Unternehmen. Es bietet Entwicklern einen einheitlichen Zugriff auf Hunderte von LLMs über eine einzige API, inklusive integriertem intelligenten Routing, Observability und Kostenkontrolle. Mit zunehmender Verbreitung ist der Zugriff auf ein Modell nicht mehr die größte Herausforderung. Die Schwierigkeit liegt in der Verwaltung des gesamten Umfelds: verschiedene Anbieter, sich ändernde APIs und Compliance-Anforderungen, die für jeden Aufruf gelten.

Das Gateway verwandelt dieses Chaos in eine konsistente Schnittstelle. Jede Anfrage und jede Antwort durchläuft denselben Pfad, wodurch Sicherheit nicht mehr separat in jede Anwendung integriert werden muss. Sie kann einmalig und zentral für alle durchgesetzt werden.

HiddenLayer Runtime Security für KI

HiddenLayer Runtime Security ist eine Laufzeitsicherheitsplattform, die speziell für LLM-Anwendungen entwickelt wurde. Anstatt sich darauf zu verlassen, dass ein Prompt oder eine Antwort sicher ist, prüft sie jede Interaktion in Echtzeit und trifft eine klare Entscheidung.

Sie erkennt Prompt-Injection- und Jailbreak-Versuche, bevor sie das Modell erreichen, sodass Angreifer das System nicht dazu bringen können, seine Anweisungen preiszugeben oder Sicherheitsvorkehrungen zu umgehen. Sie erkennt und schwärzt sensible Daten wie E-Mail-Adressen und Telefonnummern, damit vertrauliche Informationen nicht unbemerkt in einen Prompt gelangen oder in einer Antwort nach außen dringen. Und da die Richtlinien in der AISec Platform Console und nicht in Ihrem Code verwaltet werden, kann Ihr Sicherheitsteam festlegen, was blockiert, was geschwärzt und was lediglich markiert wird – ganz ohne neue Software-Releases.

Gemeinsam stärker: Eine Integration, jedes Modell

Jedes Tool für sich ist bereits leistungsstark. Zusammen eliminieren sie den Aufwand, der KI-Sicherheit normalerweise so mühsam macht. Anstatt ein SDK in jede Anwendung einzubetten oder separaten Sicherheitscode für jeden Anbieter zu pflegen, verbinden Sie HiddenLayer einmalig mit dem Gateway. Von diesem Moment an erbt jedes Modell, das über TrueFoundry geleitet wird, automatisch denselben Schutz.

Das Gateway empfängt bei jedem Aufruf das Urteil von HiddenLayer und setzt es sofort um. Ein bösartiger Prompt wird blockiert. Sensible Inhalte werden direkt geschwärzt und der bereinigte Text wird weitergeleitet. Eine sichere Anfrage passiert das System ungehindert. Ihre Entwickler können weiterhin mit voller Geschwindigkeit arbeiten und bemerken die Sicherheitsebene kaum, während Ihr Sicherheitsteam eine zentrale Richtlinienkontrolle und einen vollständigen Audit-Trail über alle Modelle und Umgebungen hinweg erhält.

So funktioniert die Integration

HiddenLayer fungiert als leichtgewichtiger Wrapper, den das Gateway bei jedem ein- und ausgehenden Aufruf anspricht. Jede Anfrage durchläuft einen schnellen, berechenbaren Roundtrip, bevor sie das Modell erreicht.

‍

Ein mehrschichtiger Pfad für jede Anfrage

1. Ihre Anwendung sendet eine Anfrage, die zuerst am TrueFoundry AI Gateway.
2. Das Gateway leitet den Prompt an HiddenLayerweiter, wo er anhand Ihrer konfigurierten Sicherheitsrichtlinien auf Bedrohungen wie Prompt-Injection, Jailbreak-Versuche und die Offenlegung sensibler Daten geprüft wird.
3. HiddenLayer sendet ein Ergebnis an das Gateway — Zulassen, Blockierenoder Schwärzen. Blockierte Anfragen werden gestoppt, während markierte Inhalte automatisch geschwärzt werden können, bevor sie weiterverarbeitet werden.
4. Wenn die Anfrage zugelassen wird, leitet das TrueFoundry AI Gateway sie an den von Ihrer Anwendung ausgewählten Modellanbieter weiter.
5. Das Modell generiert eine Antwort und sendet diese an das TrueFoundry AI Gateway.
6. Das Gateway wendet die von HiddenLayer erhaltene Richtlinienentscheidung an und bereitet die endgültige, sichere Antwort vor.
7. Die gesicherte Antwort wird an Ihre Anwendung zurückgesendet.

Diese Architektur ermöglicht es Unternehmen, konsistente KI-Sicherheitsrichtlinien vor der Modellausführung durchzusetzen. Dies hilft dabei, Prompt-Injection-Angriffe, Jailbreak-Versuche und die Offenlegung sensibler Daten zu verhindern, während gleichzeitig eine einheitliche Zugriffsebene für alle KI-Modelle beibehalten wird.

Jetzt starten

KI-Sicherheit sollte Sie nicht ausbremsen. Mit HiddenLayer Runtime Security auf dem TrueFoundry AI Gateway erhalten Sie einen Laufzeitschutz, der eher dem Umlegen eines Schalters gleicht als einem komplexen technischen Projekt. Definieren Sie Ihre Richtlinie einmal, verknüpfen Sie das Gateway mit HiddenLayer, und jedes dahinterliegende Modell ist geschützt.

Um zu sehen, wie das Ganze von Anfang bis Ende funktioniert, lesen Sie den HiddenLayer-Integrationsleitfaden in der TrueFoundry-Dokumentation oder kontaktieren Sie unser Team für eine persönliche Einführung.