Agent Gateway-Serie (Teil 6 von 7) | Beobachtbarkeit für nichtdeterministische Systeme

In der traditionellen Softwareentwicklung betrachtet man den Stack-Trace, wenn ein System ausfällt. Es zeigt Sie auf Zeile 42: NullPointerException. Der NPE-Fehler ist deterministisch, reproduzierbar und logisch.

In Agentisches Engineering, Scheitern ist still und halluziniert. Ein Agent löst keine Ausnahme aus; er lügt selbstbewusst. Es könnte sagen: „Ich habe die Datenbank erfolgreich aktualisiert“ als es eigentlich nichts getan hat. Oder es könnte in einer Denkschleife stecken bleiben und sich über ein kleines Detail Gedanken machen, während der Benutzer wartet.

Sie können dies nicht mit Standardprotokollen (console.log) debuggen. Sie benötigen eine Flugdatenrekorder.

Die wahre Gießerei Agenten-Gateway beinhaltet eine umfassende Observability-Modul speziell für probabilistische Systeme entwickelt. Es zeichnet die auf Gedankenkette (CoT) oder Tree of Thoughts (ToT), wodurch eine unveränderliche, wiederverwendbare Historie aller Entscheidungen Ihrer digitalen Belegschaft erstellt wird.

Das Problem: Das „Warum“ fehlt

Wenn ein LLM eine Entscheidung trifft, ist die „Argumentation“ oft im Übergangszustand zwischen API-Aufrufen versteckt.

• Eingabe: „Buche mir einen Flug nach New York.“
• Leistung: „Das kann ich nicht tun.“

Warum? Ist die API gescheitert? Hat die Aufforderung es verboten? Hat das Modell eine politische Einschränkung halluziniert? Ohne das zu erfassen mittlere Scratchpad — der interne Monolog des Agenten — Sie fliegen im Blindflug.

Ein konkretes Beispiel: Die Halluzination der Hypothekenbewilligung

Um die Notwendigkeit dieses Systems zu verstehen, schauen wir uns ein Szenario an, in dem viel auf dem Spiel steht: Automatisierte Kreditabwicklung.

Der Vorfall: Ein treuer Kunde mit einer hohen Kreditwürdigkeit beantragt eine Hypothek. Der „Kreditvermittler“ lehnt den Antrag sofort mit der Begründung ab: „Der Antragsteller erfüllt nicht die Wohnsitzerfordernisse.“ Der Kunde ist wütend. Die Ingenieure der Bank sind ratlos — der Kunde lebt seit 10 Jahren im selben Haus.

Debuggen ohne Rekorder: Die Ingenieure überprüfen die Protokolle. Sie sehen die Eingabe (Anwendungs-PDF) und die Ausgabe (Ablehnung). Sie überprüfen den Code — die Funktion „Residency Check“ sieht gut aus. Sie versuchen, es mit einem Testfall zu reproduzieren, aber das stochastische Modell akzeptiert den Testfall. Sie können nicht reparieren, was sie nicht sehen können.

Debuggen mit dem TrueFoundry Recorder: Das Team zieht den Trace-ID für diese spezifische Interaktion. Sie sehen nicht nur das IO; sie sehen das Kognitive Spur:

1. Span 1 (Planung): „Ich muss mein Einkommen und meine Adresse überprüfen.“
2. Span 2 (Tool Call): extract_address_from_pdf () -> Gibt „123 Maple St, Springfield, IL“ zurück.
3. Span 3 (Argumentation — Der Bug): „Adresse extrahiert. Jetzt wird der Status überprüft. Der PDF-Hintergrund ist leicht blau, was mich an einen Nicht-US-Passstil erinnert. Ich vermute, dass es sich um eine ausländische Bewerbung handelt.“
4. Span 4 (Halluzination): „Die Politik erfordert einen Wohnsitz in den USA. Markierung als ausländischer Bewerber.“
5. Spanne 5 (Endleistung): „Abgelehnt: Wohnsitzerfordernisse.“

Die Lösung: Der Bug war nicht im Code, er war im Argumentationskette. Das Modell halluzinierte eine Korrelation zwischen „blauem Hintergrund“ und „Reisepass, der nicht aus den USA stammt“. Mit diesen Erkenntnissen aktualisieren die Ingenieure die Systemaufforderung: „Ignorieren Sie visuelle Artefakte oder Farben im Dokument, wenn Sie den Wohnsitz bestimmen. Verlassen Sie sich NUR auf den Textinhalt.“

Der Bug ist gequetscht.

‍

Bild 1: Der Bug, der aus der Reasoning Chain stammt

Technischer Tieftauchgang: Die Gedankenspur (OpenTelemetry)

Wir behandeln Kognition als eine verteilte Spur. Das Gateway lässt sich in OpenTelemetry (oTEL) integrieren, um den Arbeitsablauf des Agenten als Wasserfall von Spannweiten zu visualisieren.

Wir führen semantische Konventionen für GenAi-Bereiche ein:

• genai.system_prompt: Die dem Modell gegebenen Anweisungen.
• genai.thought: Das interne Scratchpad (vor dem Benutzer verborgen).
• genai.tool_execution: Die Ein- und Ausgaben von Funktionsaufrufen.
• genai.completion: Der endgültige Text, der an den Benutzer gesendet wurde.

Auf diese Weise können Sie Latenzengpässe visualisieren. Ist der Agent langsam, weil GPT-4 hinterherhinkt (Inferenzlatenz)? Oder weil die SQL-Abfrage 10 Sekunden gedauert hat (Tool-Latenz)?

Compliance: Das unveränderliche Auditprotokoll

Für regulierte Branchen (Finanzen, Gesundheitswesen) ist „Die KI hat es geschafft“ keine gültige Rechtsverteidigung. Unter dem EU-Gesetz über künstliche Intelligenz und SOC 2 Anforderungen, die Sie erklären müssen warum eine KI-Entscheidung wurde getroffen.

Das Gateway implementiert eine Asynchron Prüfung Pipeline.

1. Erfassung: Jede Nachricht, jeder Gedanke und jedes Werkzeugergebnis wird serialisiert.
2. Hashing: Die Nutzlast ist gehasht (SHA-256), um die Integrität zu gewährleisten.
3. Aufbewahrung: Der Datensatz wird verschoben auf S3-Objektsperre (WORM-Konformität — Einmal schreiben, viele lesen). Dies garantiert, dass selbst ein böser Administrator den Verlauf der Entscheidungen eines Agenten nicht ändern kann.

Wenn ein Wirtschaftsprüfer fragt, „Zeig mir, warum dieser medizinische Anspruch am 15. Dezember abgelehnt wurde.“ Sie können das exakte, manipulationssichere Protokoll abrufen.

‍

Abbildung 2: Abbildung der Audit-Pipeline

Kontrafaktisches Debuggen und Evaluieren

Beobachtbarkeit ist nutzlos, wenn Sie nicht darauf reagieren können. Der Recorder ermöglicht einen leistungsstarken Arbeitsablauf namens Kontrafaktisches Debuggen.

Da wir den gesamten Status (Systemaufforderung + Kontext + Benutzereingabe) zum Zeitpunkt des Fehlers erfasst haben, ermöglicht Ihnen das Gateway Forke die Sitzung. Sie können genau dieselbe Anfrage wiederholen, aber eine Variable anpassen:

• Was wäre, wenn wir GPT-4o anstelle von GPT-3.5 verwenden würden?
• Was wäre, wenn wir die Temperatur auf 0,5 erhöhen würden?
• Was wäre, wenn wir diese neue Sicherheitsanweisung hinzufügen würden?

Sie können diese Variationen parallel (Schattenmodus) für die Aufnahme ausführen, um die Korrektur zu überprüfen, bevor Sie sie für die Produktion bereitstellen.

Fazit

In der deterministischen Welt überwachen wir Betriebszeit. In der Welt der Agenten müssen wir überwachen Ausrichtung. Der Black Box Recorder verwandelt die chaotische, probabilistische Natur der KI in einen strukturierten, beobachtbaren und nachvollziehbaren Prozess. Er bietet den Einblick, den Techniker benötigen, um Halluzinationen zu debuggen, und die Compliance-Teams müssen sicherstellen, dass sie den Einsatz absegnen.

‍