Wir freuen uns, eine strategische Integration zwischen TrueFoundry und Trojai ankündigen zu können, die zwei wichtige Ebenen des modernen KI-Stacks zusammenbringt:

• TrueFoundry KI-Gateway, eine unternehmensweite Kontrollebene für LLM-Zugriff, Observability, Traffic-Routing und Latenzoptimierung
• Trojai Defend KI-Firewall, das während der Laufzeit Sicherheit, Durchsetzung von Richtlinien und Schutz vor KI-Bedrohungen in Echtzeit bietet

Zusammen bietet diese Partnerschaft eine sichere, beobachtbare und skalierbare Grundlage für den Einsatz generativer KI in der Produktion.

Lücken in der Sichtbarkeit und Kontrolle von KI

Unternehmen bauen GenAI schnell auf und setzen es in der Produktion ein, aber die zugrunde liegende Infrastruktur hat nicht aufgeholt. Teams haben mit fragmentiertem Zugriff auf mehrere LLM-Anbieter, mangelnden Einblick in die LLM-Nutzung, Latenz und Ausfälle sowie mit komplexem, nuanciertem KI-Traffic zu kämpfen, der Bedrohungen wie Prompt-Injections, vertrauliche Datenlecks und Toxizität auslösen kann. Dies macht es für Unternehmen, die KI auf konsistente, sichere und skalierbare Weise entwickeln und einsetzen möchten, immer schwieriger. Und genau diese Lücke schließen TrueFoundry und Trojai gemeinsam.

Ein neuer Standard: AI Gateway + AI Defense

Diese Integration führt eine klare Trennung der Verantwortlichkeiten ein, die Unternehmen dabei hilft, sich mit LLM-Infrastruktur und Verkehrsmanagement sowie KI-Sicherheit zu befassen.

TrueFoundry: Das KI-Gateway

Wahre Gießerei bietet eine einheitliche Kontrollebene für den gesamten KI-Verkehr und ermöglicht es Teams, den Zugriff auf über 250 Modelle über eine einzige API zu zentralisieren, Authentifizierung, Ratenlimits und Kontingente durchzusetzen und alles zu beobachten. Dazu gehören Latenz, Tokens, Kosten und Ausfälle. Letztlich ermöglicht dies Unternehmen, die Leistung und den Überblick über die KI-Agenten und -Anwendungen ihres Unternehmens über eine zentrale Oberfläche zu optimieren.

Trojai: Die KI-Firewall

TrojAI ist eine KI-Sicherheitsplattform, mit der Unternehmen ihr KI-Risiko bewerten können durch automatisiertes Red-Teaming und schützen vor aktive Bedrohungen während der Laufzeit. Trojai Defend arbeitet als Runtime-Enforcement-Proxy und stellt sicher, dass jede Anfrage und Antwort sicher und gesetzeskonform ist. Es verfügt über Funktionen zum Blockieren, Redigieren oder Weiterleiten des Datenverkehrs. Mit einer umfassenden Policy-Engine bietet Trojai eine Reihe von KI-gesteuerten Regelsätzen, wie zum Beispiel:

• Gegnerischer Schutz, der Soforteinspritzung, Jailbreak und System-Prompt-Leckage umfasst
• Verhinderung von Datenlecks (PII, Geheimnisse, IP)
• Moderation von toxischen und unsicheren Inhalten, einschließlich benutzerdefinierter Regeln

TrojAI arbeitet skalierbar in Echtzeit und hilft globalen Unternehmen, ihre KI-Assets zu schützen, während sich die Bedrohungslandschaft weiterentwickelt.

Zusammen besser: Skalierbar und sicher

Jede Plattform löst individuell ein kritisches Problem. TrueFoundry hilft Unternehmen dabei, ihren KI-Verkehr zu kontrollieren und zu überwachen. Zu den wichtigsten Funktionen gehören Zugriffskontrolle, Beobachtbarkeit und intelligente Verkehrsweiterleitung. TrueFoundry beobachtet den Datenverkehr und lässt sich nativ in TrojAI integrieren, um verdächtige und bösartige Bedrohungen zu überwachen und vor ihnen zu schützen. Zusammen bilden sie eine einheitliche KI-Managementebene, die von der Kontrolle bis zur Durchsetzung reicht. Während TrueFoundry regelt, wie der Verkehr fließt, bestimmt Trojai, welcher Verkehr erlaubt ist.

„Durch die Integration mit dem AI Gateway von TrueFoundry integrieren wir die Durchsetzung von Echtzeitmaßnahmen direkt in den Produktionsdatenverkehr, sodass Teams schnell handeln können, ohne sich einer schnellen Injektion, Datenlecks und unerwünschten KI-Inhalten auszusetzen“, sagte Lee Weiner, CEO von Trojai. „Gemeinsam definieren wir, wie ein sicherer, produktionsfähiger KI-Stack aussehen sollte.“

„Unternehmen benötigen eine KI-Infrastruktur, bei der Governance und Sicherheit keine getrennten Gespräche sind“, sagte Anuraag Gutgutia, CEO von TrueFoundry. „Durch die direkte Integration von Trojai Defend in das TrueFoundry AI Gateway bieten wir Teams einen einzigen Produktions-Stack, in dem jede Anfrage sowohl verwaltet als auch geschützt wird. Das ist die Grundlage für den zuverlässigen Einsatz von KI-Agenten in großem Maßstab.“

Erste Schritte mit TrueFoundry × Trojai

Trojai ist nativ in TrueFoundry verfügbar, was die Integration schnell und unkompliziert macht.

In der Trojai-Konsole erstellen Benutzer zunächst eine Richtlinie und wählen die entsprechenden Regelsätze für die Überprüfung ihres Anwendungsdatenverkehrs aus (z. B. Prompt-Injection, Datenleck). Sobald die Richtlinie erstellt ist, können Benutzer die Trojai-Integration in TrueFoundry aktivieren, indem sie die entsprechende Client-ID und die Service-URL angeben.

Nach der Konfiguration in TrueFoundry senden KI-Anwendungen und -Agenten Anfragen an das AI Gateway. TrueFoundry kann so konfiguriert werden, dass Zugriffskontrollen authentifiziert und angewendet werden, der Datenverkehr auf der Grundlage von Latenz, Kosten oder Richtlinien weitergeleitet wird und Protokolle, Metriken und Traces erfasst werden.

TrojAI kann entweder als Proxyschicht für die Verkehrsüberwachung in Echtzeit oder als Leitplankendienst für die API-basierte Verkehrsüberwachung eingesetzt werden. Wenn Anfragen an Trojai weitergeleitet werden, überprüft Trojai die Eingabeaufforderungen auf böswillige Absichten und wendet die entsprechenden Sicherheits- und Compliance-Richtlinien an.

Übergebene Anfragen erreichen den Model-Anbieter. Antworten werden über Trojai zurückgesendet und erneut auf Toxizität, gegnerische Wirkungen oder vertrauliche Datenlecks gefiltert. Ereignisse werden zur Sichtbarkeit und Überwachung an TrojaI zurückgesendet.

TrueFoundry zeichnet den gesamten Interaktionszyklus mithilfe seiner integrierten Funktionen auf, um Beobachtbarkeit und Routing zu ermöglichen. Dazu gehören Anforderungs-/Antwortprotokollierung, Latenzverfolgung, Token- und Kostenüberwachung sowie Failover und Load Balancing.

Die Zukunft der KI-Infrastruktur

Die Zukunft der KI-Systeme wird auf umfassenden KI-Infrastruktur-Stacks basieren, die Gateways für Steuerung und Skalierbarkeit sowie Laufzeitschutz für Sicherheit und Durchsetzung zusammenführen. Mit TrueFoundry × Trojai ist diese Zukunft bereits da.

Diese Integration ermöglicht eine schnellere Bereitstellung in der Produktion, da Teams GenAI-Anwendungen ausliefern können, ohne die Infrastruktur oder Sicherheit von Grund auf neu aufbauen zu müssen. Darüber hinaus bietet sie vollständige Transparenz und gibt den Teams einen einheitlichen Überblick über jede Anfrage sowie die damit verbundenen Kosten und Latenzkennzahlen — alles an einem Ort. Dank integrierter Sicherheitsfunktionen können sich Unternehmen vor neuen Bedrohungen wie Prompt-Injection und Datenexfiltration schützen. Gleichzeitig bleibt die Freiheit mehrerer Modelle gewahrt, sodass das Routing zwischen Anbietern einfach ist, ohne Abstriche bei der Verwaltung oder Sicherheit machen zu müssen.

Fangen Sie an

• Erfahren Sie mehr über TrueFoundry AI Gateway: https://www.truefoundry.com/ai-gateway
• Erfahren Sie mehr über die Trojai-Integration: https://www.truefoundry.com/docs/ai-gateway/trojai 
• Wenden Sie sich an Trojai, um den Defend AI Firewall-Schutz in Ihrem Stack zu aktivieren: https://troj.ai/contact-us