Graph-Engineering für KI-Agenten: Verbindungen steuern

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Unternehmen steuern folgenschwere Arbeiten nicht, indem sie versuchen, jeden Gedanken jedes Mitarbeiters, Dienstes oder Anbieters zu überprüfen. Sie steuern die Schnittstellen rund um diese Arbeit: Welche Systeme erreicht werden können, welche Aktionen einen zweiten Genehmiger benötigen, welche Anmeldeinformationen verwendet werden dürfen, wie viel ausgegeben werden kann, welche Informationen eine Grenze überschreiten dürfen und welche Aufzeichnungen danach erhalten bleiben. KI-Agenten benötigen denselben institutionellen Instinkt — mit einer wichtigen Ergänzung. Modelle müssen weiterhin evaluiert werden. Tests und Überwachung zeigen Ihnen, wie sich eine Komponente unter definierten Bedingungen verhält; Laufzeit-Steuerungen (Runtime Controls) bestimmen, was diese Komponente tun darf, wenn sie mit Produktionssystemen verbunden ist.
Diese Unterscheidung ist die nützlichste Möglichkeit, über Graph-Engineering nachzudenken. Der Begriff setzt sich gerade erst durch, aber das Engineering-Problem ist bereits konkret: Eine Agenten-Landschaft (Agent Estate) ist ein Graph aus Modellen, Tools, Diensten, Datenquellen, Sandboxes, Menschen und anderen Agenten. Jede folgenschwere Kante trägt Autorität. Die Aufgabe des Unternehmens besteht nicht darin, sich zwischen der Evaluierung des Knotens und der Steuerung des Graphen zu entscheiden. Sie besteht darin, beides zu tun — und zu wissen, welche Schicht für welche Steuerung verantwortlich ist.
1. Evaluieren Sie den Knoten; steuern Sie die Kanten
Es ist verlockend, Agenten-Governance als Reaktion auf die Undurchsichtigkeit von Modellen darzustellen: Da das Modell intern schwer zu überprüfen ist, steuern Sie nur die Schnittstellen. Das geht zu weit. Das AI Risk Management Framework des NIST fordert eine Evaluierung unter einsatznahen Bedingungen vor der Nutzung sowie eine Überwachung des KI-Systemverhaltens in der Produktion; die Agenten-Sicherheitsrichtlinie von OWASP kombiniert adversariale Tests mit dem Prinzip der geringsten Rechte (Least Privilege), Autorisierung, Genehmigungen, Protokollierung und Überwachung. Die ausgereifte Haltung ist daher komplementär: Evaluierung schätzt das Verhalten; Kanten-Richtlinien begrenzen die Autorität.
Die institutionelle Analogie wird nützlich, sobald sie auf diese Weise abgegrenzt ist. Ein Finanzteam verlässt sich nicht allein auf das Urteil eines Mitarbeiters; es beschränkt auch den Kontozugriff und verlangt Gegenzeichnungen. Ein Produktionsagent sollte sich nicht allein auf Prompt-Anweisungen verlassen; seine Laufzeit und Gateways sollten sensible Grenzen explizit und durchsetzbar machen. Die Analogie ist nicht wörtlich gemeint — Menschen und Modelle sind nicht dieselbe Art von Akteuren —, aber die Steuerungsziele stimmen überraschend gut überein.

Erkennung ist keine Sicherheitsgrenze
Diese Unterscheidung ist besonders wichtig für die Tool-Erkennung (Tool Discovery). TrueForge dokumentiert das verzögerte Laden von Tools und andere Kontext-Engineering-Mechanismen, die den aktiven Kontext kleiner halten. Das kann die Auswahlqualität verbessern und unnötige Exposition gegenüber Tool-Schemas reduzieren. Es autorisiert den Aufruf jedoch nicht von selbst. Autorisierung auf Landschaftsebene gehört in eine Zugriffskontrollschicht, die den Aufrufer auflöst und Richtlinien anwendet. Die AI Gateway Zugriffskontrollen von TrueFoundry steuern den Modellzugriff für Benutzer, Teams und Anwendungen; das MCP Gateway Authentifizierungs- und Sicherheitsmodell löst eingehende Identitäten, Tool-/Server-Berechtigungen und nachgelagerte Anmeldeinformationen separat auf.
2. Entworfene Graphen und ausgeführte Graphen sind unterschiedliche Objekte
Ein Architekturdiagramm ist eine Absichtserklärung. Ein Produktionsnachweis ist eine Aufzeichnung dessen, was das instrumentierte System tatsächlich beobachtet hat. Die beiden weichen aus gewöhnlichen Gründen voneinander ab: Ein Prototyp-Tool bleibt eingebunden, eine Fallback-Route wird aktiviert, eine delegierte Aufgabe verzweigt sich, eine OAuth-Freigabe ändert sich oder ein Agent nimmt einen Pfad, den der Autor des Diagramms nicht erwartet hat. In dieser Lücke wird die Graph-Governance operational statt architektonisch.

Aber die Aussage „Der tatsächliche Graph befindet sich in den Traces“ ist ebenfalls zu einfach. Keine einzelne Trace-Quelle ist automatisch vollständig. Eine nützliche Rekonstruktion kombiniert die Nachweise, die jede Schicht besitzt:
- Orchestrator: Graphtopologie, Knotenzustand, Routing, Wiederholungsversuche (Retries), Joins und Delegierungsentscheidungen.
- Harness: Modell-/Tool-Schleifenschritte, Sandbox-Nutzung, Genehmigungskontrollpunkte, Sitzungsstatus und für die Laufzeit sichtbare Ereignisse.
- Gateway: Authentifizierte Modell-/MCP-Aufrufe, Ergebnisse von Zugriffsrichtlinien, Budgets/Rate-Limits, Latenz, Kosten und gateway-sichtbare Anforderungs-Traces.
- Nachgelagerte Systeme: Maßgebliche Aufzeichnungen geschäftlicher Seiteneffekte — die tatsächlich erfolgte Datenbankänderung, Ticket-Aktualisierung, Zahlung, Bereitstellung oder Berechtigungsänderung.

Die richtige Audit-Frage lautet daher nicht „Entspricht der Trace dem Diagramm?“, sondern „Können wir die beabsichtigte Topologie mit genügend Laufzeit- und System-of-Record-Nachweisen korrelieren, um eine folgenschwere Aktion zu erklären?“ Das ist eine viel höhere Hürde — und eine nützlichere.
3. TrueForge: Halten Sie die Ausführungsschleife überprüfbar
Auf der Harness-Schicht lautet die Governance-Frage, ob Betriebsentscheidungen rund um das Modell sichtbar und konfigurierbar sind. Das öffentliche Repository von TrueForge beschreibt die Laufzeit klar: Es führt die Ausführungsschleife des Agenten über Modellaufrufe, MCP-Tools, Skills, Sandboxing, Genehmigungen, Kontextmanagement und Sitzungsstatus aus. Dasselbe Repo dokumentiert Sandbox-as-a-Tool mit im Harness verbleibenden Secrets, menschlichen Kontrollpunkten, Subagenten, verzögertem Laden von Tools, Auslagerung großer Ergebnisse, Kompaktierung sowie sowohl lokale als auch gehostete Modi. Das Repository positioniert den lokalen Modus explizit als Evaluierungspfad für einen einzelnen Rechner, nicht als Produktions- oder internetfähiges Setup; die geteilte oder produktive Nutzung gehört in den gehosteten Modus. Es ist unter der MIT-Lizenz veröffentlicht.
Diese Offenheit ist aus einem Governance-Grund nützlich, nicht nur aus einem Lizenzierungsgrund. Die Verfügbarkeit des Quellcodes ermöglicht Überprüfungen und Anpassungen auf Implementierungsebene. Sie beweist nicht, dass eine bereitgestellte Instanz sicher oder korrekt konfiguriert ist oder einem bestimmten Commit entspricht; dafür sind weiterhin Software-Lieferketten- und Betriebskontrollen erforderlich. Aber sie gibt Plattform-Teams etwas, was geschlossene Laufzeiten nicht bieten können: Die Möglichkeit, die Ausführungsmaschinerie zu überprüfen, der sie vertrauen sollen, und sie bei Bedarf selbst auszuführen oder anzupassen. Der Launch-Post von TrueFoundry, Introducing TrueForge, macht diese Positionierung explizit, und Why Agent Harnesses Should Be Open benennt den kommerziellen Kompromiss direkt: Halten Sie den Harness offen; fügen Sie zentralisierte Governance hinzu, wenn die Organisation sie tatsächlich benötigt.
Der beste Weg, TrueForge zu bewerben, besteht nicht darin, zu behaupten, dass es den gesamten Graphen besitzt. Das tut es nicht. Ein beliebiger Multi-Agenten-Orchestrator besitzt möglicherweise die Topologie oberhalb des Harness, und verbundene Systeme behalten ihre eigenen Autorisierungs- und Audit-Semantiken. Die Rolle von TrueForge ist enger und glaubwürdiger: Machen Sie die Ausführungsschleife an der Laufzeitgrenze überprüfbar, portabel und steuerbar.
4. TrueFoundry: Fügen Sie die Richtlinienebene hinzu, wenn die Landschaft zu einer Flotte wird
Ein einzelner Harness kann seine eigene Ausführung verwalten. Eine Landschaft von Agenten erzeugt ein zweites Problem: Anmeldeinformationen, Zugriffsrichtlinien, Ausgabenkontrollen und Nachweise beginnen über Teams hinweg zu fragmentieren. Hier werden die Gateways von TrueFoundry zur ergänzenden Schicht.
Das AI Gateway bietet eine einheitliche Modellschnittstelle mit zentralisierter Zugriffskontrolle, Rate-Limiting, Budgetbegrenzung und Observability. Seine Budgetregeln können Ausgaben nach Benutzer, Team, Modell, virtuellem Konto oder Metadaten eingrenzen. Das Metrics Dashboard aggregiert LLM- und MCP-Aktivitäten, Kosten, Fehler, Routing, Guardrails und andere betriebliche Signale. Das MCP Gateway trennt eingehende Authentifizierung, Tool-/Server-Zugriffskontrolle und ausgehende Authentifizierung, sodass nicht jeder Agent das gesamte Problem der Anmeldeinformationen selbst verwalten muss.
Daraus ergibt sich eine saubere Architekturgeschichte:
Die Produktbotschaft lautet daher nicht „TrueFoundry steuert jede Kante in jedem Graphen.“ Das wäre sowohl technisch ungenau als auch strategisch schwächer. Die fundiertere Behauptung lautet: TrueForge bietet Ihnen einen offenen Harness für die Agenten-Ausführungsschleife; die Gateways von TrueFoundry können Richtlinien und Nachweise für Modell- und MCP-Verkehr zentralisieren, den Sie bewusst darüber routen. Der Orchestrator und nachgelagerte Systeme bleiben Teil der Steuerungsgeschichte, was genau der Art und Weise entspricht, wie ernsthafte Infrastruktur beschrieben werden sollte.
5. Der Führungstest
Diese Fragen sind bewusst operationaler als „Welches Modell haben wir verwendet?“. Die Modellwahl ist weiterhin wichtig — für Leistung, Sicherheit, Latenz, Kosten und Evaluierungsergebnisse. Aber sobald Agenten handeln können, erweitert sich die Steuerungsfläche. Eine gut geführte Landschaft sollte in der Lage sein, die Evaluierung vor der Bereitstellung mit der Autorisierung zur Laufzeit und Nachweisen im Nachhinein zu verbinden: Was das Modell voraussichtlich tun sollte, was es tun durfte, was es tatsächlich über instrumentierte Grenzen hinweg getan hat und was das System of Record über die Vorkommnisse sagt.
Das ist das dauerhafte Argument für Graph-Engineering als Governance-Haltung. Die Neuheit besteht nicht darin, dass Unternehmen plötzlich Graphene entdeckt haben. Die Neuheit besteht darin, dass KI-Agenten vertraute institutionelle Kontrollen an Software-Kanten programmierbar machen — und Aktionen an diesen Kanten schnell, wiederholbar und teilweise autonom genug machen, dass informelle Governance an ihre Grenzen stößt.
Umfang, Methode und Offenlegungen
TrueFoundry veröffentlicht diesen Essay, wartet TrueForge und vertreibt das hier besprochene AI Gateway sowie MCP Gateway. Die Produktzuordnung ist daher von kommerziellem Interesse und wird als solche ausgewiesen. Produktbehauptungen in dieser Überarbeitung beschränken sich auf das Verhalten, das auf Live-Seiten von TrueFoundry oder im aktuellen öffentlichen TrueForge-Repository dokumentiert ist. Die institutionelle Analogie dient der redaktionellen Rahmung und stellt keine Behauptung dar, dass menschliche Organisationen und KI-Systeme gleichwertig sind. „Graph-Engineering“ bleibt ein sich entwickelnder Begriff; der verlinkte TrueFoundry-Unternehmensleitfaden behandelt dessen Herkunft und aktuelle Produktgrenzen. Dieser Essay behauptet nicht, dass Kanten-Kontrollen die Modell-/Systemevaluierung ersetzen, dass Traces standardmäßig vollständig sind oder dass TrueFoundry Verkehr außerhalb der Oberflächen steuert, durch die er fließt.
Referenzen
- TrueFoundry — Graph Engineering for Multi-Agent Systems: Architecture, Governance, and Observability.
- Öffentliches Repository von TrueForge — aktueller Laufzeitumfang und MIT-Lizenz.
- TrueFoundry — Introducing TrueForge: the open-source agent harness we run in production.
- TrueFoundry — Why Agent Harnesses Should Be Open.
- TrueFoundry — The Loop Is the New Middleware.
- TrueFoundry AI Gateway — Einführung; Zugriffskontrolle; Budgetbegrenzung; Metrics Dashboard.
- TrueFoundry MCP Gateway — Authentifizierung und Sicherheit.
- NIST AI RMF Core — Measure.
- OWASP AI Agent Security Cheat Sheet.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.















.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






