Loop-Engineering, die Fortsetzung: Vom gesteuerten Loop zur einsatzbereiten Flotte

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Sechs Monate nachdem Noors Loops ihren Laptop verlassen hatten, verfügt Northwind über elf registrierte Triage- und Wartungs-Loops, und die Probleme haben sich gewandelt. Es brennt nicht mehr lichterloh wie damals bei der Token-Rechnung am Wochenende. Stattdessen: Zwei Loops „besitzen“ beide den Entwurf der Release-Notes und überschreiben sich jeden Freitag gegenseitig; der Loop für das Dependency-Update am Dienstag hat vor drei Wochen still und heimlich aufgehört, etwas Nützliches zu tun, weil ein Modell, von dem er abhing, veraltet war, er aber seinen eigenen Checker weiterhin passierte; ein Sicherheitsprüfer bemerkte, dass der Loop, der eingehende Fehlerberichte liest, bereitwillig Anweisungen befolgt, die in einem Fehlerbericht stehen; und der günstigste, meistgenutzte Loop kostet mittlerweile mehr als die nächsten vier zusammen, und niemand kann sagen, ob es das wert ist. Nichts davon sind die Fehler, die der erste Beitrag behoben hat. Es sind die Fehler, die erst auftreten, wenn das Muster gut genug funktioniert, um skaliert zu werden. Genau darum geht es hier.
Der erste Beitrag behandelte die vertikale Transformation – vom Laptop-Prototyp zum kontrollierten System, Loop für Loop. Dieser Beitrag befasst sich mit der horizontalen Ebene: Was ein Unternehmen sicherstellen muss, über Loops hinweg und während ihrer gesamten Lebensdauer. Das Vokabular orientiert sich weiterhin an Addy Osmanis Essay vom Juni 2026 und der dazugehörigen Diskussion (Steinberger, Cherny, Willison), hier mit Quellenangabe zusammengefasst; der unternehmensspezifische Teil folgt der Dokumentation zu TrueFoundrys Agent Harness und Gateway.
Der erste Beitrag im Vergleich zu diesem
1 Loops sind eine Flotte, kein Einzelobjekt
Osmanis Anatomie beschreibt einen Loop im Singular – ein Herzschlag, ein Satz an Fähigkeiten, ein Macher und ein Prüfer. Das ist der richtige Weg, um zu lernen das Muster und der falsche Weg, es auszuführen , denn Schleifen bleiben nicht isoliert. Da sie nützlich sind, vermehren sie sich, und sobald es mehrere gibt, beginnen sie auf vier Arten zu interagieren, die das Modell der Einzelschleife nicht berücksichtigen muss.
Vier Arten der Interaktion von Schleifen, sobald mehr als eine vorhanden ist
Der Fan-out-Fall ist im Harness bereits erstklassig integriert. Die Agent Harness-Sub-Agenten von TrueFoundry ermöglichen es dem Root-Agenten, fokussierte Teilaufgaben an parallele Sub-Agenten zu delegieren, von denen jeder über einen eigenen isolierten Kontextverfügt und nur prägnante Ergebnisse zurückgibt – ein Gewinn für die Kontext-Hygiene und ein Gewinn für das Flottenmanagement, da jeder delegierte Lauf eine Einheit ist, die Sie unabhängig nachverfolgen können. Die Delegation ist bewusst auf eine Ebene beschränkt, und Sub-Agenten können dem Benutzer keine Nachrichten senden – Schutzmaßnahmen gegen eine Flotte, die eine Flotte hervorbringt, die wiederum eine Flotte hervorbringt. (Um präzise zu sein: Sub-Agenten teilen sich die Tools und die Sandbox des Root-Agenten, die Isolation bezieht sich hier also auf den Kontext, nicht auf eine separate Zuweisung von Tool-Berechtigungen – Berechtigungsgrenzen gehören auf die Agenten- und MCP-Ebene, was im nächsten Abschnitt behandelt wird.)
Das Betriebsmuster, das alle vier Interaktionen abdeckt, besteht darin, jede Schleife als registrierte Agentendefinition zu behandeln und nicht als Skript, sodass die Flotte über ein Inventar verfügt. Im Harness ist jede Schleife eine Agentendefinition – ein Modell, MCP-Server, Fähigkeiten, Anweisungen –, die in einem Katalog gespeichert ist, in derselben Gateway-Ebene wie der gesamte andere Modell- und Tool-Datenverkehr läuft und eine eigene Identität besitzt. Dieses letzte Wort macht die Flotte handhabbar: Identität pro Agent ermöglicht es, Konflikte, Kosten und Zugriffe pro Schleife statt pro Laptop zu bewerten. Der Konflikt bei den Release-Notes von Northwind wird nicht durch Cleverness gelöst, sondern durch Verantwortlichkeit – eine Schleife besitzt das Artefakt, das Register bestätigt dies, und die Frage „Welche Schleifen greifen darauf zu?“ ist eine einfache Abfrage, keine langwierige Suche.

TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.png)
.png)
.png)
.png)
.png)
.png)
.png)

.png)
.png)
.png)
.png)


.png)





