Data Loss Prevention für LLM-Traffic: Wo die Kontrollen ansetzen müssen
.png)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport

TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.



Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur
Aktuelle Blogs
Häufig gestellte Fragen
Was ist Data Loss Prevention für LLM-Traffic?
Das Prüfen und Kontrollieren sensibler Daten, bevor sie Ihren Perimeter in einem Prompt, einem Tool-Aufruf oder einer Modellantwort verlassen. Es unterscheidet sich von klassischem DLP, weil es keine Datei und kein nicht genehmigtes Ziel gibt – die Nutzlast ist JSON innerhalb einer TLS-Sitzung zu einer API, für die Sie bezahlen. Die Kontrollen müssen das Anfrageschema verstehen und an einem authentifizierten Egress-Kontrollpunkt sitzen.
Warum übersieht klassisches Netzwerk-DLP LLM-Traffic?
Drei Gründe verstärken sich gegenseitig. Das Ziel steht bewusst auf der Allowlist, sodass Zielregeln nie greifen. Der Inhalt liegt in einem verschachtelten Konversations-Array statt in einer Datei oder einem Formularfeld, was dokumentenorientierte Engines schlecht parsen. Und ohne TLS-Inspektion gibt es nichts zu parsen – wobei selbst ein inspizierender Proxy nicht erkennen kann, welcher Aufrufer die Anfrage gesendet hat.
Kann ein AI Gateway Anfragen blockieren, die PII enthalten?
Das hängt vom Detektor ab. Die integrierte PII-/PHI-Erkennung von TrueFoundry arbeitet ausschließlich im Mutate-Modus – sie schwärzt immer und lehnt nie ab. Für ein hartes Blockieren benötigen Sie eine validierungsfähige Integration wie AWS Bedrock Guardrails, Azure PII oder CrowdStrike. „PII-Erkennung“ in einer Funktionsliste sagt Ihnen nie, ob das Ergebnis eine Schwärzung oder ein 400 ist.
Kann ich TrueFoundry in meiner eigenen VPC oder On-Prem bereitstellen?
Ja. TrueFoundry läuft in Ihrer VPC, On-Prem, Air-Gapped oder hybrid, sodass Prompts und Antworten Ihre Domäne nie verlassen, auch wenn Sie über viele Anbieter hinweg routen.
Unterstützt TrueFoundry MCP und KI-Agenten generell?
Ja. Es umfasst ein MCP Gateway, ein Agent Gateway und eine MCP & Agents Registry mit Zugriffskontrolle auf Tool-Ebene. Agenten auf Basis von LangGraph, CrewAI, AutoGen oder einem eigenen Framework lassen sich alle zentral steuern.
Lässt es sich in meinen bestehenden Observability-Stack integrieren?
Ja. Das Gateway ist OpenTelemetry-kompatibel und lässt sich in Grafana, Datadog, Prometheus oder Ihren bevorzugten Stack integrieren. Es verfolgt jede Anfrage vom Prompt bis zur Ausführung von Tools und Modellen, sodass Sie eine einheitliche Protokollierung erhalten, ohne Ihre bestehenden Systeme entfernen zu müssen.










.png)
.png)
.png)

.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)

.png)





