Agenten, Skills und MCP-Server sind eine Software-Lieferkette: Bauen Sie eine Admission-Control-Pipeline auf

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Wiederverwendbare Agenten-Komponenten beschleunigen die Bereitstellung. Sie bringen jedoch auch Anweisungen, Code, Abhängigkeiten, Zugangsdaten, Tool-Zugriffe und Egress-Regeln in die Laufzeitumgebung ein. Sicherheit erfordert daher eine versionsgebundene Zulassungsentscheidung – und kein bloßes Vertrauenssiegel für einen Namen.
s, Container-Images und Service-Templates. Ein Skill kann ein wertvolles Betriebsverfahren kodieren. Ein MCP-Server kann eine interne API in eine auffindbare Tool-Schnittstelle verwandeln. Ein vorgefertigter Agent kann wochenlange Orchestrierungsarbeit auf einen bereitstellbaren Startpunkt komprimieren. Genau das macht diese Komponenten so nützlich: Sie bringen ihr Verhalten direkt mit.
Genau diese Eigenschaft schafft jedoch das Sicherheitsproblem. Eine Agenten-Komponente besteht nicht nur aus Quellcode. Sie kann Anweisungen in natürlicher Sprache enthalten, die das Modellverhalten verändern, Skripte mit Auswirkungen bei der Installation, Bibliotheken von Drittanbietern, Abläufe für Zugangsdaten, Tool-Schemata, erlaubte Zieladressen sowie Annahmen darüber, wer eine Aktion autorisieren darf. Ein herkömmlicher Malware-Scan ist zwar weiterhin notwendig, beantwortet aber nicht die Frage, ob eine scheinbar harmlose Anweisung zur Offenlegung von Geheimnissen führt, ob ein schreibgeschütztes Tool in einen Schreibpfad verkettet werden kann oder ob die Installation auf einen nicht deklarierten Endpunkt zugreift.
Die richtige Abstraktion ist eine Admission-Control-Pipeline für Releases, die ein spezifisches Verhalten mitbringen. Die Entscheidung sollte an einen unveränderlichen Zustand gebunden sein, die Prüfungstiefe an die Fähigkeiten anpassen, unsicheres Verhalten in einer isolierten Umgebung testen und ablaufen, sobald sich wesentliche Fakten ändern.
Prüfen Sie ein Release, nicht nur einen Eintrag

TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)

.png)
.png)
.png)


.png)





