TrojAI-integratie met TrueFoundry

We zijn verheugd om een strategische integratie aan te kondigen tussen TrueFoundry en TrojAI, waarmee twee cruciale lagen van de moderne AI-stack samenkomen:

• TrueFoundry AI Gateway, een enterprise control plane voor LLM-toegang, observability, traffic routing en latency-optimalisatie
• TrojAI Defend AI Firewall, die real-time security, policy enforcement en bescherming tegen AI-bedreigingen in runtime biedt

Samen levert dit partnerschap een veilige, observeerbare en schaalbare basis voor het usen van generatieve AI in productie.

Kloven in AI-zichtbaarheid en -controle 

Enterprises bouwen en deployen in hoog tempo GenAI in productie, maar de onderliggende infrastructuur heeft die ontwikkeling niet bijgehouden. Teams worstelen met gefragmenteerde toegang tot meerdere LLM-providers; een gebrek aan zichtbaarheid in LLM-gebruik, latency en storingen; en complex, genuanceerd AI-verkeer dat bedreigingen kan veroorzaken zoals prompt injections, het lekken van gevoelige data en toxiciteit. Dit maakt het voor enterprises die op een consistente, veilige en schaalbare manier AI willen bouwen en deployen, steeds uitdagender. En dat is precies het gat dat TrueFoundry en TrojAI samen dichten.

Een nieuwe standaard: AI Gateway + AI Defense

Deze integratie introduceert een heldere scheiding van verantwoordelijkheden die enterprises helpt om zowel LLM-infrastructuur en verkeersbeheer als AI-security aan te pakken. 

TrueFoundry: De AI Gateway

TrueFoundry biedt een geünificeerd control plane voor al het AI-verkeer, waarmee teams de toegang tot meer dan 250 modellen kunnen centraliseren via één enkele API; authenticatie, rate limits en quota's kunnen afdwingen; en alles kunnen observeren. Dit omvat latency, tokens, kosten en storingen. Uiteindelijk stelt dit enterprises in staat om prestaties en zichtbaarheid in hun enterprise AI-agents en toepassingen te optimaliseren via één centraal dashboard. 

TrojAI: De AI Firewall

TrojAI is een AI-securityplatform dat enterprises helpt hun AI-risico te beoordelen via geautomatiseerde red teaming en te beschermen tegen actieve bedreigingen in runtime. TrojAI Defend werkt inline als een proxy voor afdwinging in runtime, waarbij wordt gewaarborgd dat elk verzoek en elke respons veilig en compliant is, met functionaliteiten om verkeer te blokkeren, te redigeren of door te laten. Met een uitgebreide policy engine biedt TrojAI een reeks AI-gestuurde regelsets, zoals:

• Adversarial-bescherming tegen prompt injection, jailbreak en system prompt leakage
• Data leakage prevention (PII, secrets, IP)
• Moderatie van toxiciteit en onveilige content, inclusief aangepaste regels

TrojAI werkt in real-time en op schaal, waardoor wereldwijde enterprises hun AI-assets kunnen beschermen terwijl het dreigingslandschap zich ontwikkelt.

Beter samen: Schaalbaar en veilig

Individueel los elk platform een kritiek probleem op. TrueFoundry helpt enterprises hun AI-verkeer te beheren en te monitoren, met belangrijke functionaliteiten zoals access control, observability en intelligent traffic routing. Terwijl TrueFoundry het verkeer observeert, integreert het van nature met TrojAI om te monitoren en te beschermen tegen verdachte en kwaadaardige bedreigingen. Samen creëren ze een unified AI management plane die alles omvat van control tot enforcement. Waar TrueFoundry beheert hoe het verkeer stroomt, beheert TrojAI welk verkeer is toegestaan.

“Door te integreren met de AI Gateway van TrueFoundry brengen we real-time enforcement rechtstreeks naar productie-verkeer, zodat teams snel kunnen handelen zonder zich bloot te stellen aan prompt injection, data leakage en ongewenste AI-content,” aldus Lee Weiner, CEO bij TrojAI. “Samen definiëren we hoe een veilige, production-ready AI-stack eruit moet zien.” 

“Enterprises hebben een AI infrastructure nodig waarin governance en security geen gescheiden onderwerpen zijn,” zei Anuraag Gutgutia, CEO bij TrueFoundry. “Door TrojAI Defend rechtstreeks te integreren in de TrueFoundry AI Gateway geven we teams één enkele productie-stack waarin elk verzoek zowel governed als protected is. Dat is het fundament om AI agents met vertrouwen op schaal te deployen.” 

Aan de slag met TrueFoundry × TrojAI

TrojAI is native beschikbaar in TrueFoundry, wat de integratie snel en eenvoudig maakt.

In de TrojAI-console maken gebruikers eerst een policy aan en selecteren ze de relevante rulesets om hun applicatieverkeer te inspecteren (bijv. prompt injection, data leakage). Zodra de policy is gebouwd, kunnen gebruikers de TrojAI-integratie binnen TrueFoundry inschakelen door de toepasselijke client ID en service URL op te geven.

Zodra dit binnen TrueFoundry is geconfigureerd, sturen AI-applicaties en -agents requests naar de AI Gateway. TrueFoundry kan worden geconfigureerd om te authenticeren en access controls toe te passen; verkeer te routen op basis van latency, kosten of policy; en logs, metrics en traces vast te leggen.

TrojAI kan worden ingezet als proxy-laag voor real-time traffic enforcement of als guardrail-service voor API-gebaseerde traffic monitoring. Naarmate requests worden doorgestuurd naar TrojAI, inspecteert TrojAI prompts op kwaadwillige intenties en past het de relevante security- en compliance-policies toe. 

Goedgekeurde requests bereiken de model provider. Responses worden teruggeleid via TrojAI en opnieuw gefilterd op toxicity, adversarial outputs of sensitive data leakage. Events worden teruggekoppeld naar TrojAI voor visibility en monitoring.

TrueFoundry legt de volledige interactie-lifecycle vast via zijn ingebouwde functionaliteiten om observability en routing mogelijk te maken. Dit omvat request/response logging, latency tracking, token- en kostenmonitoring, en failover en load balancing.

De toekomst van AI Infrastructure

De toekomst van AI-systemen zal worden gebouwd op uitgebreide AI infrastructure-stacks die gateways voor control en schaalbaarheid samenbrengen met runtime protection voor security en enforcement. Met TrueFoundry × TrojAI is die toekomst nu al werkelijkheid. 

Deze integratie maakt snellere productie-deployment mogelijk door teams in staat te stellen GenAI-applicaties te lanceren zonder de infrastructuur of beveiliging vanaf nul opnieuw op te bouwen. Het biedt ook volledige zichtbaarheid, waardoor teams op één plek een centraal overzicht krijgen van elk verzoek, samen met de bijbehorende kosten en latency-metrieken. Dankzij ingebouwde security by design kunnen organisaties zich beschermen tegen opkomende bedreigingen zoals prompt injection en data exfiltration. Tegelijkertijd behoudt het de vrijheid om meerdere modellen te gebruiken, wat het eenvoudig maakt om te routen tussen verschillende providers zonder in te leveren op governance of veiligheid.

Aan de slag

• Lees meer over de TrueFoundry AI Gateway: https://www.truefoundry.com/ai-gateway
• Lees meer over de TrojAI-integratie: https://www.truefoundry.com/docs/ai-gateway/trojai 
• Neem contact op met TrojAI om de Defend AI Firewall-bescherming in uw stack in te schakelen: https://troj.ai/contact-us