FALLSTUDIE
DEFINITION

Agent-Harness

Ein Agent-Harness ist die Schicht zwischen einem Modell und seinen Werkzeugen.

Es entscheidet, was im Kontextfenster bleibt, was zusammengefasst wird, was in einer Sandbox ausgeführt wird und niemals in den Kontext gelangt, wann eine komplexe Teilaufgabe an einen Unteragenten übergeben wird und wann man anhalten und einen Menschen fragen muss. Es ist kein Framework: Sie schreiben immer noch Ihre eigenen Tools. Es ist kein Gateway: Es speichert weder Ihre Anmeldedaten noch Ihre Richtlinien. Es ist das Element, das einen Agenten von der ersten bis zur fünfzigsten Iteration am Laufen hält.

Die Schleife selbst besteht aus etwa zweihundert Zeilen Code. Jeder kann sie schreiben, und die meisten Teams tun das an einem Nachmittag. Das Harness ist alles, was Sie in den folgenden sechs Monaten aufbauen, sobald diese Schleife auf eine echte Arbeitslast trifft und auf halbem Weg auf Hindernisse stößt.

Unsere These ist, dass Modelle austauschbar werden, dass Tools zum Differenzierungsmerkmal des Unternehmens statt des Anbieters werden und dass Governance unter den Agenten gehört, nicht in ihn hinein. Was wir unterschätzt hatten, war das Harness. Das Developer Platform Engineering-Team von NetApp hat eine wirklich schwierige Arbeitslast gegen diese These getestet, und zwar tiefgreifend, dem Markt voraus, und uns genau gezeigt, wo sie an ihre Grenzen stieß.

JUNI 2025

der offene Weg

NetApp wählte einen offenen Weg, bevor der Markt nachzog

Im Juni 2025 war Rob Rubin, heute Senior Director of Developer Platform Engineering bei NetApp, bereits über die Frage hinaus, die die meisten Unternehmen noch diskutierten. Sein Team betreibt die Kubernetes-Umgebungen, auf denen der Rest des Unternehmens aufbaut, und die Self-Service-Bereitstellung war bereits vollständig automatisiert. Die Einschränkung war die Schnittstelle davor: Ein Antragsformular kann immer nur das bieten, was jemand im Voraus modelliert hat.

Seine Idee war es, stattdessen die Absicht dort zu platzieren. Beschreiben Sie den Stack, den Sie benötigen; lassen Sie einen Agenten ihn aus bereits vorhandenen Automatisierungen zusammenstellen.
Das bedeutete für uns zwei Dinge.

/01
Gesteuerter, zentral verwalteter Modellzugriff.
/02
Ein sicherer Ort zum Hosten von MCP-Servern, damit die Tools, die sein Team bereits besaß, einem Modell als Werkzeuge zur Verfügung gestellt werden konnten.

Kein Agent-Framework. Kein Harness. Darum ging es in dem Gespräch bisher noch nicht. Sein Grund für die Standardisierung auf MCP ist der Grund, warum diese Geschichte hier endet:

Mitte 2025 war das eine Minderheitenposition. Es ist ein wesentlicher Grund dafür, warum TrueForge Open Source ausliefert und nicht als geschlossene Managed Runtime.

PHASE 1

Identität

Governance gehört unter die Agenten, nicht in sie hinein

Die erste Phase war die Identität, und das ist der Teil, den die meisten Teams unterschätzen.

Keine Identität nach dem Prinzip „der Agent besitzt einen API-Schlüssel“. Echte Identität, bei der die anfragende Person bestimmt, was die Tools tun dürfen. Ein Benutzer authentifiziert sich über den Identitätsanbieter von NetApp. Diese Identität wird durch das MCP-Gateway in den MCP-Server übertragen, der sie gegen das eigene Cluster-Konto des Benutzers abgleicht und kurzlebige, benutzerbezogene Anmeldedaten ausstellt. Jeder kubectl-Aufruf und jeder Shell-Befehl wird als diese Person ausgeführt. Fragen Sie nach etwas, auf das Sie keinen Zugriff haben, erhalten Sie genau das, was Ihnen ein Terminal auch geben würde: nichts.

„Wir führen keine Privilegienerweiterung durch.“
— Igor Feoktistov· Developer Platform Engineering, NetApp

Vier Worte, und sie sind der Grund, warum dies die Produktion erreicht hat. Ein Agent, der als Service-Account mit Cluster-Admin-Rechten läuft, ist eine Demo. Ein Agent, der als Sie läuft, ist Infrastruktur.

Alles andere befindet sich im Gateway und nicht in den einzelnen Agenten: Anbieter-Anmeldedaten, RBAC auf Modellebene, Berechtigungen auf Tool-Ebene, Budgets, Ratenbegrenzungen, Sicherheitsvorkehrungen und Protokollierung. Agenten verweisen auf Modell- und Servernamen; Anmeldedaten werden niemals übertragen. Genau das ermöglicht es einem Plattform-Team, den vierzigsten Agenten genauso einfach freizugeben wie den ersten, da ein neuer Agent keine neue Kopie des Sicherheitsmodells darstellt.

ANFANG 2026

Die Workload

Eine Frage, acht Cluster, dreißig Iterationen

Anfang 2026 war der Kubernetes-Agent bei den Benutzern im Einsatz, und die Art der Workload erklärt alles, was darauf folgte.

Ein Ingenieur fragt: „Warum befindet sich mein Pod im CrashLoopBackOff?“ Die Plattform umfasst acht Kubernetes-Cluster, die das gesamte Unternehmen bedienen. Die erste Aufgabe des Agenten besteht daher meist darin, die Workload zu lokalisieren, bevor er überhaupt eine Diagnose stellen kann. Dann folgt die eigentliche Untersuchung: Namespace beschreiben, Pods auflisten, Ereignisse abrufen, Logs durchsuchen, Ingress-Ebene prüfen, historische Metriken abfragen. Der MCP-Server stellt kubectl, eine Shell, Prometheus und ein Cluster-Inventar-Tool bereit. Nichts davon ist skriptbasiert; das Modell stellt die Abfolge je nach Problem individuell zusammen.

„Je nach Problem dauert eine vollständige Untersuchung eher 15 bis 30 Iterationen“
— David Fox · SR. DIRECTOR, DEVELOPER PLATFORM ENGINEERING, NETAPP

Fünfzehn bis dreißig Runden echter Befehlsausgaben pro Frage. Merken Sie sich diese Zahl, denn sie erzählt die ganze Geschichte der Technik.

Lab-Sitzung

Hardware-Ebene

Unterhalb von Kubernetes

Da NetApp eben NetApp ist, baute Igor Feoktistov einen zweiten MCP-Server, der unterhalb des Clusters bis in die physische Infrastruktur reicht. In einer Laborsitzung tippte er „troubleshoot cluster issue“ ein, ohne Cluster-Namen und ohne weitere Hinweise.

Der Agent lokalisierte den nicht reagierenden Knoten, arbeitete sich durch die Kubernetes-Ebene, fand dort nichts Konklusives, wechselte in die Hardware-Diagnose und identifizierte die Ursache als Speicherfehler in der zugrunde liegenden Hardware. Anschließend identifizierte er ein Ersatzsystem und führte die Workload-Migration durch, mit einem erwarteten Wiederherstellungsfenster von fünf bis zehn Minuten.

Das technisch Interessante ist der Weg, nicht das Ergebnis. Kein Runbook kodiert „Pod-Ausfall zu Speicherfehler zu Workload-Migration.“ Diese Kette durchlief zwei unabhängig voneinander entwickelte MCP-Server und hielt zusammen, weil beide ehrliche Tools unter derselben Benutzeridentität bereitstellten. So konnte das Modell immer tiefer in die Ebenen vordringen, bis sich die Beweise verdichteten. Die Fähigkeit stammte aus der Tool-Ebene, die NetApp entworfen und geschrieben hat. Unsere Aufgabe war es, sie sicher zugänglich zu machen und der Schleife einen dauerhaften Ort zum Ausführen zu geben.

FEHLERMODUS

Kontext-Mauer

Wo die Schleife brach: Kontext ist das eigentliche technische Problem

Dreißig Iterationen von rohem kubectl und Log-Ausgaben haben eine vorhersehbare Auswirkung auf ein Kontextfenster. Untersuchungen begannen mitten im Lauf abzubrechen.

Was zurückkam, war keine Feature-Anfrage. Es war ein Bug-Report, und zwar ein fundierter:

„Das ist kein Prompt-Problem. Das ist kein System-Prompt-Problem. Das ist ein UI-Problem.“
— David Fox · SR. DIRECTOR, DEVELOPER PLATFORM ENGINEERING, NETAPP

Er hatte die teuren Verdächtigen bereits ausgeschlossen, was den schwierigen Teil jeder Diagnose ausmacht: nicht das Modell, nicht der Prompt, nicht die Tools. Die Ebene, auf die er zeigte, lag direkt unter der Schnittstelle – jene Instanz, die entscheidet, was im Kontext bleibt, was zusammengefasst wird und was andernorts ausgeführt wird, ohne jemals in den Kontext zu gelangen.

Diese Ebene hatten wir nicht. Wir waren stillschweigend davon ausgegangen, dass die dazwischenliegende Schleife das Problem des Kunden sei. Diese Annahme hat NetApp widerlegt, und es ist die Annahme, die unserer Meinung nach der Großteil des Marktes immer noch trifft.

Funktionen

Was TrueForge ist: acht Dinge, die eine Schleife am Laufen halten

Was wir als Nächstes bauten, war unser eigenes Werk, und niemand hatte uns darum gebeten. NetApp stieß auf die Mauer; das Design dessen, was sie überwand, war unsere Arbeit, die jede Woche unter realen Arbeitslasten auf Herz und Nieren geprüft wurde.

Sandboxed

Isolierte Ausführung für Code, Dateien und Shell-Befehle. Anstatt Megabytes an Protokollen in den Kontext zu laden, damit das Modell sie lesen kann, führt der Agent Code direkt auf diesen Daten aus und liefert nur das Ergebnis zurück. Geheimnisse gelangen niemals in die Sandbox.

Human-in-the-Loop-Freigaben

Sobald ein Agent eine Arbeitslast von defekter Hardware migrieren kann, muss jemand die Möglichkeit haben, „Stopp, erst mich fragen“ zu sagen. Die Ausführung hält an definierten Punkten zur Genehmigung an.

SDK und REST-API

Agenten werden zu aufrufbaren Diensten, die in jedes Frontend eingebettet werden können, anstatt in unserem gefangen zu sein. Eine Anforderung von NetApp, die das Produkt am stärksten verändert hat.

Kontext-Engineering

Automatische Komprimierung bei füllendem Fenster; große Tool-Ergebnisse werden in den Speicher ausgelagert, statt sie direkt einzubetten; verzögertes Laden von Tools, damit über hundert Tool-Definitionen nicht das Fenster belegen, bevor die Arbeit beginnt.

Agent-Spielwiese

Eine Build-and-Test-Umgebung für Leute, die niemals Python schreiben werden – und es auch nicht müssen.

Code-Modus

Ermöglicht es dem Modell, mehrere Tool-Aufrufe in einem isolierten Skript zu verketten, anstatt für jeden Aufruf einen Roundtrip zum Modell zu bezahlen. Ideal für Aufgaben mit hohem Fan-out, wie das Durchsuchen von acht Clustern.

Konfigurierbare Iterationslimits

Alltäglich, aber entscheidend. Die Obergrenze bei NetApp stieg von 30 auf 40 und dann auf 50, während die Tools immer leistungsfähiger wurden. Jedes Limit, das wir fest programmiert hätten, wäre an jedem Punkt dieser Kurve falsch gewesen.

Sub-Agenten

Ermöglicht es einer langwierigen Untersuchung, eine lästige Teilaufgabe zu delegieren und ein Ergebnis anstelle eines Transkripts zu erhalten. Der Kontext des übergeordneten Prozesses bleibt über 30+ Iterationen hinweg übersichtlich.

SKALIERUNG

Einer → Flotte

Vom einzelnen Agenten zur Flotte

Ein zweites NetApp-Team traf unabhängig davon ein. Vimal Kannan, Director of IT for Enterprise Data and Analytics, leitet NetAI Chat, den internen Assistenten von NetApp. Sein Problem war eher die Breite als die Tiefe: viele Teams, viele Tools, viele Modelle – und alle benötigten eine zentrale Steuerung.

Heute sind etwa 150 Tools über einen einzigen Virtual MCP Server erreichbar – ein Endpunkt, der vielen MCP-Servern vorgeschaltet ist, sodass sich ein Client nur einmal verbinden muss, anstatt für jeden Server einzeln konfiguriert zu werden. Die nutzerbasierte Zugriffskontrolle bestimmt, was der Einzelne aufrufen darf, und Skills (vorgefertigte Anweisungen für wiederkehrende Aufgaben) sind so begrenzt, dass ein Team nur sieht, was zu seinem Bereich gehört. Tausende NetApp-Mitarbeiter nutzen diese Tools über das Gateway, ohne jemals eine TrueFoundry-Konsole öffnen zu müssen. Die Governance ist für sie unsichtbar, und genau das ist der Punkt.

Da uns das Developer Platform Engineering dazu gedrängt hatte, Agenten als SDK und API bereitzustellen, konnte das NetAI-Chat-Team diese Agenten direkt von seinem eigenen Frontend aus aufrufen. Aus zwei unabhängigen Bemühungen wurde eine Plattform, die nun unter einer gemeinsamen Leitung von Rob Rubin steht und Modelle, Tools, Agenten sowie ein Agent Registry umfasst, das erfasst, was existiert und wer dafür verantwortlich ist.

Aus einem Kubernetes-Agenten wurden in der Produktion mehrere, weitere befanden sich im Aufbau und ein interner Agent-Builder stand auf der Roadmap. An diesem Punkt ändert sich die Natur des Problems:

„Wir haben viel Wildwuchs, den wir wieder einfangen wollen.“ […] „Wir wollen nicht, dass 20 Leute etwas Ähnliches bauen […] wir wollen die Möglichkeit haben zu sagen: Hey, diesen Agenten gibt es bereits. Nutzt einfach den.“
— ROB RUBIN · SR. DIRECTOR, DEVELOPER PLATFORM ENGINEERING, NETAPP

Das ist das Problem, das entsteht, wenn die Einführung erfolgreich ist. Sie kommt schneller, als die meisten Teams es planen.

SKALIERUNG

Zuordnung

Bei der Kostenfrage geht es um Kontrolle

Eine offene, selbst gehostete Laufzeitumgebung macht eine nutzerbasierte Abrechnung für eine Managed-Plattform überflüssig. Das ist jedoch nicht der interessante Teil und auch nicht der Grund, warum NetApp hier ist.

„Wir versuchen sehr intensiv, einen Überblick über unsere KI-Ausgaben zu bekommen […] und wir möchten das wirklich bis auf Team- und Benutzerebene zurückverfolgen.“
— ROB RUBIN · SR. DIRECTOR, DEVELOPER PLATFORM ENGINEERING, NETAPP

Neben der Zuordnung ist das Disziplinproblem entscheidend: Die Leute greifen zum größten Modell, auch wenn ein kleineres ausreichen würde. Beides lässt sich an derselben Stelle lösen. Jeder Modell- und Tool-Aufruf wird einer Person und einem Team zugeordnet, Budgets und Ratenbegrenzungen greifen tatsächlich, und das Routing leitet die Arbeit an das passende Modell weiter, statt immer das größte verfügbare zu wählen.

Wir sind noch nicht am Ziel. Rob möchte eine Budgetkontrolle pro Ausführung statt pro Woche, und er hat recht: Ein wöchentliches Limit ist zu grob, wenn ein einzelner, lang laufender Agent es in einer einzigen Untersuchung ausschöpfen kann.

Genau deshalb gehören das Harness und das Gateway in ein gemeinsames System. Ein Harness allein liefert Ihnen lediglich einen Agenten. Ein Harness innerhalb einer kontrollierten Steuerungsebene liefert Ihnen einen Agenten, den sowohl Ihr Sicherheitsteam als auch Ihre Finanzabteilung absegnen werden.

ENTSCHEIDUNG

Open Source

Warum wir es als Open Source veröffentlichen

Ein einzelner Kunde, so fortschrittlich er auch sein mag, ist nur ein Datenpunkt. NetApp stieß auf die Grenzen des Kontexts, als sie 30-Iterationen-Untersuchungen über acht Cluster hinweg durchführten. Ein Team, das sich mit Dokumenten-Workflows, Schadensabwicklung oder CI-Triage befasst, wird auf andere Hürden stoßen – und wir möchten das lieber vom Markt lernen als aus unserer eigenen Roadmap.

Es gibt noch einen triftigeren Grund. Ein Team, das sich 2025 gegen proprietäre Anschlüsse entschieden hat, würde seine Kubernetes-Infrastruktur niemals auf eine Laufzeitumgebung setzen, die es weder einsehen, selbst betreiben noch forken kann. Portabilität war die Grundvoraussetzung für diese gesamte Zusammenarbeit. Indem wir das Harness als Open Source zur Verfügung stellen, nehmen wir diese Bedingung ernst, anstatt blindes Vertrauen zu fordern.

NOTIZEN

Plattform-Teams

Was ich daraus mitnehmen würde, wenn ich ein Plattform-Team leiten würde

/01
Kontrollieren Sie die Tool-Ebene.

Die differenzierte Leistungsfähigkeit von NetApp – von Kubernetes bis hinunter zur Hardware – existiert nur, weil ihre Ingenieure ihre eigenen MCP-Server für ihre eigenen Systeme geschrieben haben. Kein Anbieter hätte das so geliefert. Die Aufgabe der Plattform ist es, diese zu hosten, abzusichern und zu verwalten.

/02
Das Schwierige an Agenten ist nicht die Schleife.

Es ist die zweiundzwanzigste Iteration, der Kontext ist voller Shell-Ausgaben und die Untersuchung ist noch nicht abgeschlossen. Die eigentliche Entwicklungsarbeit findet fast ausschließlich in dieser Lücke statt, und sie bleibt unsichtbar, bis man etwas lange genug laufen lässt, um darauf zu stoßen. Ein grober Test: Wenn Ihre Agenten routinemäßig mehr als zehn Tool-Aufrufe pro Aufgabe benötigen, werden Sie auf diese Mauer stoßen.

/03
Identität zuerst, sonst schafft es nichts in die Produktion.

Jeder Agent, der bei der Überprüfung hängen bleibt, scheitert an derselben Frage: Was kann dieses Ding tun und in wessen Namen? Beantworten Sie dies in der Infrastruktur, dann gilt die Antwort für jeden nachfolgenden Agenten.

/04
Legen Sie die Obergrenze nicht fest im Code fest.

Iterationslimits, Kontext-Budgets, Anzahl der Tools: Bei NetApp haben sich all diese Werte innerhalb weniger Monate verschoben. Behandeln Sie diese als Konfiguration.

/05
Sorgen Sie dafür, dass Agenten von Anfang an aufrufbar sind.

Ein Agent, der ausschließlich innerhalb der Benutzeroberfläche eines Anbieters läuft, lässt sich nicht in andere Systeme integrieren. Erst durch das SDK und die API konnten zwei NetApp-Teams zu einer gemeinsamen Plattform verschmelzen.

ENTSCHEIDUNG

Open Source

Ausprobieren

TrueForge ist Open Source, unter der MIT-Lizenz veröffentlicht und auf github.com/truefoundry/trueforge zu finden. Die Hürde, auf die NetApp gestoßen ist, können Sie nun bei Ihren eigenen Workloads selbst erleben – die Lösung, die diese überwunden hat, liegt bereits in Ihren Händen.

Dadurch werden das Harness und die Benutzeroberfläche auf Ihrem Rechner gestartet. Wenn Sie bereit für den produktiven Einsatz sind, können Sie das System per Docker Compose oder Kubernetes in Ihrer eigenen Umgebung selbst hosten. Verbinden Sie es über einen OpenAI-kompatiblen Endpunkt mit einem beliebigen Modell, schließen Sie Ihre MCP-Server an, und schon haben Sie einen funktionsfähigen Agenten.

Das Harness ist eigenständig; die Gateways dienen der Steuerung. Wenn Sie TrueForge eigenständig ausführen, erhalten Sie den vollen Funktionsumfang: Sandbox-Ausführung, Context Engineering, Sub-Agents, Freigabeprozesse sowie SDK und API. Sie bringen Ihre eigenen Modelle und MCP-Schlüssel mit und verwalten diese selbst. In Kombination mit dem AI Gateway und dem MCP Gateway von TrueFoundry wird jeder Modellaufruf, jeder Tool-Aufruf und jede MCP-Interaktion authentifiziert, budgetiert, richtlinienbasiert gesteuert und unter der echten Benutzeridentität protokolliert – genau die Sicherheitsebene, auf die es bei der Sicherheitsprüfung von NetApp ankam.