Agent-Resumability erklärt: Sitzungen, Turns, Pausen und Wiederverbindungen in TrueForge

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Das Fortsetzen eines Agenten ist kein einzelner Vorgang. Produktionssysteme müssen zwischen der Wiederverbindung eines Streams, der Fortsetzung eines pausierten Workflows und der Wiederherstellung eines ungewissen externen Nebeneffekts unterscheiden.
„Fortsetzen“ verbirgt drei verschiedene Wiederherstellungsprobleme
Langlebige Agenten können an mehr Stellen scheitern als eine herkömmliche Request-Response-API. Ein Browser kann die Verbindung trennen, während der Server weiterarbeitet. Ein Workflow kann absichtlich stoppen, weil eine Person, ein clientseitiges Tool oder ein OAuth-Flow eine Eingabe liefern muss. Eine nachgelagerte API kann nach dem Ausführen einer Mutation eine Zeitüberschreitung aufweisen. Alle drei Situationen können als „Fortsetzen“ beschrieben werden, erfordern jedoch unterschiedliche Zustände, Nachweise und Sicherheitsregeln.
Das erste ist die Transportwiederherstellung: Wiederverbindung mit einem noch laufenden Stream, ohne Ereignisse zu duplizieren. Das zweite ist die Workflow-Fortsetzung: Erstellung einer neuen Arbeitseinheit, die auf eine aufgezeichnete Pause reagiert. Das dritte ist die Effektwiederherstellung: Feststellen, ob ein externer Vorgang abgeschlossen wurde, bevor entschieden wird, ob ein erneuter Versuch gestartet, eine Kompensation durchgeführt oder der Vorgang gestoppt werden soll. Diese als einen einzigen Mechanismus zu behandeln, erzeugt die gefährlichste Art von Zuverlässigkeitsfehler – einen, der erfolgreich erscheint, während er eine reale Aktion wiederholt oder überspringt.

Die drei Zweige führen bewusst zu unterschiedlichen Aktionen. Eine Stream-Sequenz repariert die Beobachtung, eine Referenz auf eine erforderliche Aktion setzt den Workflow fort und eine Vorgangs-ID unterstützt den Abgleich; das Ersetzen eines Bezeichners durch einen anderen führt zu Duplikaten oder einem falschen Abschluss.
Beginnen Sie mit der TrueForge-Hierarchie
TrueForge dokumentiert eine Hierarchie von Agent → Sitzung → Turn → Ereignis → Delta. Ein Agent ist eine wiederverwendbare Definition. Eine Sitzung repräsentiert ein Problem oder eine Konversation und bleibt über Turns hinweg bestehen. Ein Turn ist ein Anfrage- und Ausführungszyklus, der läuft, bis er endet oder pausiert. Ereignisse beschreiben, was während dieses Turns passiert ist. Einige Nachrichtenereignisse erzeugen Deltas während des Streamings; persistierte Ereignislisten geben das zusammengeführte Ereignis zurück, anstatt jedes Live-Fragment.
Diese Hierarchie ist wichtig, da jede Ebene eine andere Wiederherstellungsfrage beantwortet. Die Agentendefinition legt das konfigurierte Modell, die Anweisungen, Tools und Grenzwerte fest. Die Sitzung sorgt für eine dauerhafte konversationelle Kontinuität. Der Turn bietet eine Ausführungsgrenze mit einem Endzustand. Ereignisse legen die geordneten Nachweise offen, die zum Wiederaufbau einer Client-Ansicht erforderlich sind. Deltas optimieren das Live-Erlebnis, sind aber keine eigenständigen dauerhaften Geschäftsfakten.
TrueForge erlaubt jeweils nur einen aktiven Turn in einer Sitzung. Turns werden automatisch verkettet, sodass die Anwendung nicht bei jeder Anfrage den vollständigen Verlauf erneut senden muss. Das Erstellen eines neuen Turns, während ein anderer noch läuft, bricht den aktiven Turn ab. Dieses Verhalten ist nützlich, bedeutet aber, dass eine Benutzeroberfläche nicht jeden ungeduldigen Klick ohne eine explizite Produktentscheidung in einen neuen Turn übersetzen darf.
Transportwiederverbindung ist keine Workflow-Fortsetzung
Ein Live-Turn verwendet einen Server-Sent-Events-Stream. Jedes gestreamte Element trägt einen Sequenzbezeichner, den der Client beibehalten kann. Wenn die Verbindung unterbrochen wird, kann der Client nach der letzten verarbeiteten Sequenznummer erneut abonnieren. Der Server kann dann spätere Ereignisse aus demselben laufenden Turn erneut abspielen. Ein korrekter Client speichert Ereignisse nach Ereignis-ID und führt Deltas in ihr Basis-Nachrichtenereignis zusammen, sodass eine erneute Übertragung die sichtbare Ausgabe nicht dupliziert.
Das ist Transportwiederverbindung. Der ursprüngliche Turn wurde nicht für eine geschäftliche Entscheidung pausiert; nur die Netzwerkverbindung wurde unterbrochen. Der Server kann weiter ausführen, während der Client abwesend ist. Eine wiederverbindende Benutzeroberfläche fragt daher: „Welche Ereignisse aus diesem bestehenden Turn habe ich noch nicht gerendert?“ Sie sollte keinen weiteren Turn erstellen oder die ursprüngliche Benutzeranweisung erneut ausgeben.
Sobald ein Turn beendet ist, können seine persistierten Ereignisse erneut gelesen werden, um den abgeschlossenen Verlauf zu rekonstruieren. Das ist eine Wiedergabe von Nachweisen, keine erneute Ausführung des Modells und der Tools. Die Unterscheidung ist wichtig für die Vorfallanalyse: dieselbe gespeicherte Sequenz sollte dieselbe rekonstruierte Ansicht erzeugen, aber ein Versuch, die Aufgabe erneut auszuführen, kann auf andere Modelle, Tools, Anmeldeinformationen und einen anderen externen Zustand stoßen.

Die Abbildung trennt die dauerhafte Hierarchie von der Bereitstellungsmechanik. Deltas gehören zum Live-Stream und werden in Basisereignisse zusammengeführt, während Sitzungen, verkettete Turns, Endzustände und persistierte Ereignisse den abgeschlossenen Datensatz liefern, der nach einer Wiederverbindung oder einem Neustart verwendet wird.
Pausen sind explizite Laufzeitzustände
Ein Turn kann statt mit einer endgültigen Antwort mit erforderlichen Aktionen enden. TrueForge dokumentiert drei wichtige Fälle: Ein geschütztes Tool erfordert eine Genehmigung, ein clientseitiges Tool benötigt eine Antwort oder ein MCP-Server verlangt eine Autorisierung. Der finale Turn-Zustand identifiziert die ausstehenden Punkte. Die Anwendung erfüllt diese, indem sie einen neuen Turn erstellt, der die entsprechende Genehmigung, Tool-Antwort oder Authentifizierungsfortsetzung enthält.
Dies ist eine Workflow-Fortsetzung, keine Stream-Wiederverbindung. Der pausierte Turn ist bereits abgeschlossen. Der nächste Turn wahrt die kausale Kontinuität, indem er sich auf die ausstehende Aktion bezieht und an die Sitzungshistorie anknüpft. Ein einzelner Turn kann mehr als ein ausstehendes Element aufzeigen, einschließlich Pausen aus parallelen Subagent-Threads. Clients sollten daher die vollständige Menge der erforderlichen Aktionen erfassen, anstatt von genau einer auszugehen.
Bei Pausen für Genehmigungen und Antworten verknüpft das Quellereignis das ausstehende Element mit der Modellnachricht, die den Tool-Aufruf vorgeschlagen hat. Diese Verknüpfung ermöglicht es der Anwendung, dem Prüfer den Tool-Namen und die Argumente anzuzeigen, die den Prüfpunkt erstellt haben. Sie dient zudem als Grundlage für die Überprüfung, ob die Fortsetzung den beabsichtigten Aufruf beantwortet und nicht einen visuell ähnlichen.
Einen Vertrag für Resumability erstellen
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.













.webp)


.png)
.png)
.png)
.webp)
.webp)

.png)
.png)
.png)
.png)
.png)
.png)
.png)

.png)





