Agent Gateway Series (Deel 6 van 7) | Observability voor Niet-Deterministische Systemen

In traditionele software engineering kijk je, als een systeem faalt, naar de stack trace. Die wijst je naar regel 42: NullPointerException. De NPE-fout is deterministisch, reproduceerbaar en logisch.

In Agentic Engineering is een fout stil en gehallucineerd. Een agent gooit geen exception; hij liegt vol zelfvertrouwen. Hij zegt misschien: "Ik heb de database succesvol bijgewerkt," terwijl hij in werkelijkheid niets heeft gedaan. Of hij raakt verstrikt in een redeneerlus, geobsedeerd door een klein detail terwijl de gebruiker wacht.

Je kunt dit niet debuggen met standaard logs (console.log). Je hebt een Flight Data Recorder nodig.

De TrueFoundry Agent Gateway bevat een uitgebreide Observability Module die specifiek is ontworpen voor probabilistische systemen. Het legt de Chain of Thought (CoT) of Tree of Thoughts (ToT) vast, waardoor een onveranderlijke, afspeelbare historie van elke beslissing van je digitale personeel ontstaat.

Het Probleem: Het "Waarom" Ontbreekt

Wanneer een LLM een beslissing neemt, is de "redenering" vaak verborgen in de vluchtige staat tussen API-calls.

• Input: "Boek een vlucht naar NY voor mij."
• Output: "Dat kan ik niet doen."

Waarom? Faalde de API? Verbood de prompt het? Hallucineerde het model een beleidsbeperking? Zonder het vastleggen van het tussentijdse kladblok—de interne dialoog van de agent—vlieg je blind.

Een Concreet Voorbeeld: De Hypotheekgoedkeuring-Hallucinatie

Om de noodzaak van dit systeem te begrijpen, kijken we naar een scenario met een hoog risico: Geautomatiseerde Leningverwerking.

Het Incident: Een loyale klant met een hoge credit score vraagt een hypotheek aan. De "Loan Agent" wijst de aanvraag direct af met als reden: "Aanvrager voldoet niet aan de verblijfseisen." De klant is woedend. De engineers van de bank staan voor een raadsel—de klant woont al 10 jaar in hetzelfde huis.

Debuggen Zonder Recorder: De engineers controleren de logs. Ze zien de input (aanvraag-PDF) en de output (Afwijzing). Ze controleren de code—de functie "Residency Check" ziet er goed uit. Ze proberen het te reproduceren met een testcase, maar het stochastische model accepteert de testcase. Ze kunnen niet repareren wat ze niet kunnen zien.

Debuggen Met de TrueFoundry Recorder: Het team haalt de Trace ID op voor die specifieke interactie. Ze zien niet alleen de IO; ze zien de Cognitive Trace:

1. Span 1 (Planning): "Ik moet inkomen en adres verifiëren."
2. Span 2 (Tool Call): extract_address_from_pdf() -> Genereert "123 Maple St, Springfield, IL".
3. Span 3 (Redenering - De Bug): "Adres geëxtraheerd. Nu staat verifiëren. De achtergrond van de PDF is lichtblauw, wat me doet denken aan de stijl van een niet-VS paspoort. Ik vermoed dat dit een buitenlandse aanvraag is."
4. Span 4 (Hallucinatie): "Beleid vereist verblijf in de VS. Markeren als buitenlandse aanvrager."
5. Span 5 (Eindresultaat): "Afgewezen: Verblijfseisen."

De Oplossing: De bug zat niet in de code; het zat in de Redeneerketen. Het model hallucineerde een correlatie tussen "blauwe achtergrond" en "niet-VS paspoort." Met dit inzicht werken de engineers de System Prompt bij: "Negeer visuele artefacten of kleuren in het document bij het bepalen van het verblijf. Vertrouw ALLEEN op de tekstuele inhoud."

De bug is opgelost.

‍

Fig 1: De Bug die voortkomt uit de Redeneerketen

Technische Diepgang: De Thought Trace (OpenTelemetry)

We behandelen cognitie als een gedistribueerde trace. De Gateway integreert met OpenTelemetry (OTel) om de workflow van de agent te visualiseren als een waterval van spans.

We introduceren semantische conventies voor GenAI-spans:

• genai.system_prompt: De instructies die aan het model zijn gegeven.
• genai.thought: Het interne kladblok (verborgen voor de gebruiker).
• genai.tool_execution: De inputs en outputs van functie-calls.
• genai.completion: De uiteindelijke tekst die naar de gebruiker is gestuurd.

Hiermee kun je latency-knelpunten visualiseren. Is de agent traag omdat GPT-4 vertraging heeft (Inference Latency)? Of omdat de SQL-query 10 seconden duurde (Tool Latency)?

Compliance: Het Onveranderlijke Audit Log

Voor gereguleerde sectoren (Financiële sector, Gezondheidszorg) is "De AI deed het" geen geldige juridische verdediging. Onder de EU AI Act en SOC2-vereisten moet je kunnen uitleggen waarom een AI-beslissing is genomen.

De Gateway implementeert een Async Audit Pipeline.

1. Vastleggen: Elk bericht, elke gedachte en elk tool-resultaat wordt geserialiseerd.
2. Hashing: De payload wordt gehashed (SHA-256) om de integriteit te garanderen.
3. Opslag: Het record wordt gepusht naar S3 Object Lock (WORM-compliance - Write Once, Read Many). Dit garandeert dat zelfs een kwaadwillende admin de historie van de beslissingen van een agent niet kan wijzigen.

Als een auditor vraagt: "Laat me zien waarom deze medische claim op 15 dec is afgewezen," kun je het exacte, onschendbare transcript ophalen.

‍

Fig 2: Illustratie van de Audit Pipeline

Counterfactual Debugging & Evaluatie

Observability is nutteloos als je er niet op kunt handelen. De Recorder maakt een krachtige workflow mogelijk die Counterfactual Debugging wordt genoemd.

Omdat we de volledige staat (System Prompt + Context + User Input) op het moment van de fout hebben vastgelegd, kunt u met de Gateway de Sessie Splitsen (Fork the Session). U kunt exact dezelfde request opnieuw afspelen, maar één variabele aanpassen:

• Wat als we GPT-4o gebruikten in plaats van GPT-3.5?
• Wat als we de temperatuur verhoogden naar 0.5?
• Wat als we die nieuwe veiligheidsinstructie toevoegden?

U kunt deze variaties parallel uitvoeren (Shadow Mode) tegen de opname om de oplossing te verifiëren voordat u deze naar productie uitrolt.

Conclusie

In de deterministische wereld monitoren we uptime. In de agentic wereld moeten we alignment monitoren. De Black Box Recorder verandert de chaotische, probabilistische aard van AI in een gestructureerd, observeerbaar en verantwoordbaar proces. Het biedt de zichtbaarheid die engineers nodig hebben om hallucinaties te debuggen en de zekerheid die complianceteams nodig hebben om goedkeuring te geven voor uitrol.

‍