Was ist ein Agent Harness? Governance-gesteuerte Managed Agents in der Produktion betreiben

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Ein Modell auszuwählen ist der einfache Teil. Die Tools auszuwählen ist der nächste einfache Teil. Der schwierige Teil – derjenige, der darüber entscheidet, ob Ihr Agent zuverlässig ist oder ein Sicherheitsrisiko darstellt – ist alles, was das Modell umgibt: die Schleife, die plant, agiert und beobachtet; die Sandbox, in der der Code ausgeführt wird; die Kontrollinstanzen, die ihn vor destruktiven Aktionen stoppen; die Nachverfolgung, die erklärt, was er getan hat. Diese Laufzeitschicht ist das Agent Harness, und sie ist die eigentliche „Build-versus-Buy“-Entscheidung bei agentischer KI. Dieser Beitrag erläutert, was ein Harness ist, was es produktionsreif macht und warum ein Managed Harness Anmeldedaten aus Agentendefinitionen heraushält.
Sofia, eine Plattform-Ingenieurin, erbte die Agents von drei Teams und die Anforderung, diese produktionsreif zu machen. Jedes Team hatte seine eigene Laufzeitumgebung um das Modell herum gebaut. Eines hatte eine Orchestrierungsschleife in Python selbst geschrieben; ein anderes nutzte ein Framework; das dritte rief das Modell direkt in einem Cron-Job auf. API-Schlüssel der Anbieter waren in Agentenkonfigurationen kopiert und in Repositories eingecheckt worden. Freigaben für sensible Aktionen reichten von einer Slack-Nachricht bis hin zu gar nichts. Zwei der drei Teams hatten keine brauchbare Nachverfolgung dessen, was ein Agent bei einem bestimmten Durchlauf tatsächlich getan hatte. Sofias Aufgabe war es nicht, diesen Agents bessere Modelle oder mehr Tools zu geben – die hatten sie bereits. Es ging darum, ihnen das zu geben, was keines der Teams gut umgesetzt hatte: eine gemeinsame, kontrollierte Laufzeitumgebung. Ihr fehlte ein Harness.
An diesem Punkt kommen die meisten Teams an, nachdem die erste Agenten-Demo funktioniert. Die Demo beweist das Modell und die Tools; die Produktion erfordert die Laufzeitumgebung drumherum – und diese Laufzeitumgebung ist umfangreich, sicherheitskritisch und unterscheidet sich bei fast jedem Agenten kaum. Sie auf drei verschiedene Arten zu bauen, wie es Sofias Teams taten, führt dazu, dass man am Ende drei verschiedene Sätze von Problemen hat. Dieser Beitrag handelt von der Schicht, die alle drei gleichzeitig löst.
1. Was ein Agent Harness ist
Ein Agent Harness ist die Laufzeitschicht um ein LLM, die es von einem Textgenerator in einen zuverlässigen, langlebigen Agenten verwandelt. Anstatt nur einen einzelnen Modellaufruf zu tätigen, verwaltet das Harness die gesamte Ausführungsschleife: Es plant, ruft ein Tool auf, beobachtet das Ergebnis und entscheidet, ob es fortfahren oder stoppen soll – und wiederholt dies, bis das Ziel erreicht oder ein Limit erreicht ist. Um diese Schleife herum befindet sich alles, was sie benötigt, um sicher und nützlich zu sein: Tool-Routing und -Ausführung für APIs, MCP-Tools und Code; Speicher- und Kontextkontrollen für langwierige Aufgaben; Sicherheitsgrenzen wie Sandboxing, Anmeldedaten und Berechtigungen; „Human-in-the-loop“-Freigaben für sensible Aktionen sowie Tracing, Protokolle, Metriken und Kostentransparenz.
Das Wort „Harness“ (Geschirr/Einspannung) ist gut gewählt: Es ist die Vorrichtung, die es ermöglicht, etwas Mächtiges und bisweilen Unberechenbares produktiv einzusetzen, ohne dass es außer Kontrolle gerät. Keines dieser Teile ist das Modell, und keines ist das Tool – sie sind das Gerüst, das die Kombination aus Modell und Tools verlässlich macht. Genau dieses Gerüst haben Sofias Teams jeweils isoliert und nur unzureichend neu aufgebaut.
.

TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.














.webp)



.png)
.png)

.png)
.png)
.png)
.png)
.png)
.png)
.png)

.png)
.png)





