Gateway Tracing en Request Logs: Debug Elke LLM Call

Waarom je tracing nodig hebt op de gateway

Wanneer een LLM-call traag, duur of onjuist is, moet je kunnen zien wat er daadwerkelijk is gebeurd. Heeft een guardrail de prompt geanonimiseerd? Hoe lang deed het model erover vergeleken met het netwerk? Wat heeft de gateway naar de provider gestuurd? Request logging en tracing op de AI Gateway beantwoorden deze vragen voor elke call.

Omdat elke request toch al door de gateway stroomt, krijg je deze zichtbaarheid zonder elke applicatie handmatig te hoeven instrumenteren.

Beheren wat er wordt gelogd

Met de request logging documentatie kun je beheren welke requests worden gelogd. De eenvoudigste bediening is per request, met behulp van de X-TFY-LOGGING-CONFIG header met een stringified JSON-waarde. Stel enabled in op true om de request te loggen of op false om deze over te slaan.

Een belangrijk aandachtspunt: de waarde van die header is stringified JSON en geen ruw JSON-object, omdat de meeste SDK's headers als strings serialiseren. De oudere globale loggingmodi worden vervangen door regelgebaseerde loggingconfiguratie, waarmee je logging kunt beheren per subject, model of metadata en gevoelige waarden kunt anonimiseren.

Request logs bekijken

Om gelogde requests in de UI te bekijken, ga je naar AI Gateway, vervolgens naar Monitor en dan naar Requests. Dit geeft je de lijst van alle gelogde calls, die je kunt openen om een enkele request in detail te inspecteren.

Traces en spans uitgelegd

De tracing documentatie beschrijft een trace als de volledige levenscyclus van een request terwijl deze door de services stroomt die interactie hebben met de LLM. Meestal komt een trace overeen met een enkele API-call van een applicatie.

Een span is een individuele werk-eenheid binnen die trace, zoals een functie-call, een HTTP-request of een model-inference. Een trace is een boomstructuur van spans met parent- en child-relaties, waarbij een child-span meestal wordt veroorzaakt door zijn parent. TrueFoundry biedt een OpenTelemetry collector backend die deze traces opslaat en een UI om ze te bevragen en te analyseren, en het kan traces ontvangen van elke OpenTelemetry-compatibele SDK.

Kun je uitleggen waarom je laatste trage request traag was?

We openen een live trace op je verkeer en lopen samen met jou door de span tree.

Boek een demo

Een enkele trace lezen

De trace-inspectie documentatie doorloopt een echt voorbeeld: een chat completion met een PII-redactie guardrail, vastgelegd als vijf spans die een hiërarchie vormen.

• ChatCompletion span (root) vertegenwoordigt de volledige levenscyclus van de request vanuit het perspectief van de client. In het voorbeeld duurt deze ongeveer 7 seconden en bevat deze token-metrics, kosten, input en output.
  

• Guardrail span is een child van de root en vertegenwoordigt de verwerking van de PII-redactie, wat minder dan een halve seconde duurt.
  

• Guardrail network call span is de daadwerkelijke HTTP-call naar de guardrail-service, inclusief de HTTP-methode en statuscode.
  

• Model span is een sibling van de guardrail span en vertegenwoordigt de model-inference, wat het grootste deel van de request-tijd in beslag neemt.
  

• Model network call span is de daadwerkelijke HTTP-call naar de provider, bijvoorbeeld een POST naar het chat completions endpoint van de provider.

In datzelfde voorbeeld is de input zichtbaar geanonimiseerd van een naam naar een placeholder, wat aantoont dat de PII-guardrail end-to-end werkt binnen de trace.

Van een enkele trace naar organisatiebrede metrics

Individuele traces zijn bedoeld voor debugging. Voor trends voegt het analytics dashboard dezelfde gegevens samen. Tabbladen omvatten Overview, Model Metrics, MCP Metrics, Guardrail Metrics, Routing Metrics en Cache Metrics.

Model metrics kunnen worden gegroepeerd op models, virtual models, users, virtual accounts, teams of metadata, en de latency-weergaven splitsen request latency, time to first token, inter token latency en time per output token op. Samen met traces per request geeft dit je zowel de microscoop als het dashboard.

Geef elk team tracing zonder het werk van instrumentatie

Bekijk request logs, traces op span-niveau en analytics op je eigen gateway-verkeer.

Praat met een expert