Exporteer TrueFoundry AI Gateway-traces naar Opik met OpenTelemetry

Wanneer een LLM-call traag, duur of onjuist is, wilt u de volledige request zien: de prompt, het model, de tokens, de tool-calls en de latency. Als uw traces in de ene tool staan en uw evaluatie in een andere, is dat beeld in tweeën gesplitst. Deze gids laat zien hoe u TrueFoundry AI Gateway-traces naar Comet Opik verzendt via OpenTelemetry, zodat elke request die de gateway verwerkt als een volledige trace in Opik verschijnt, zonder wijzigingen in uw applicatiecode.

Waarom gateway-traces exporteren naar Opik

De TrueFoundry AI Gateway bevindt zich al voor elke model-call en routeert 1.000+ LLM's via één OpenAI-compatibele API met ongeveer 3-4 ms overhead en 350+ RPS op een enkele vCPU. Omdat het zich in het pad van elke request bevindt, is het de logische plek om traces vanuit te verzenden. De gateway is standaard OpenTelemetry-compliant, dus exporteren naar een andere backend is een kwestie van configuratie, niet van engineering.

Opik is een platform voor LLM-observability en -evaluatie, gebouwd door Comet. Het verwerkt OpenTelemetry-spans en geeft ze weer als LLM-traces, met inputs, outputs, tokengebruik, latency en kosten per call. Ook kunt u evaluaties uitvoeren op dat verkeer. Door de gateway naar Opik te verwijzen, worden uw productierequests traces die u kunt inspecteren en scoren in dezelfde tool. Traces komen standaard nog steeds in TrueFoundry terecht; de export spiegelt ze naar Opik.

Zo stelt u het in.

Vereisten

• Een TrueFoundry-account met de AI Gateway geconfigureerd en actief verkeer.
• Een Comet-account voor Opik (cloud, self-hosted of enterprise), met uw API-sleutel, workspacenaam en een doelprojectnaam.
• Toegang tot de AI Gateway-instellingen in het TrueFoundry-dashboard.

Stapsgewijze integratiegids

Opik verwerkt alleen traces en accepteert OTLP via HTTP. De instelling bestaat dus uit één exporter met drie headers. U hoeft geen code te schrijven.

Stap 1: Haal uw Opik-sleutel en workspace op

Open in Opik uw accountinstellingen en kopieer uw API-sleutel. Noteer uw workspacenaam uit de workspace-switcher en bepaal de projectnaam waarin u traces wilt laten binnenkomen. Het project wordt aangemaakt bij de eerste verwerking als het nog niet bestaat.

Stap 2: Configureer de OTEL traces-exporter

Ga in het dashboard naar AI Gateway, vervolgens naar Settings en dan naar OTEL Config. Schakel de traces-exporter in en vul het Opik-endpoint en de headers in.

Om traces naar Opik te exporteren, configureert u uw OpenTelemetry-exporter om het HTTP-protocol te gebruiken met Protobuf (Proto)-codering, verwijzend naar het endpoint https://www.comet.com/opik/api/v1/private/otel/v1/traces. Authenticatie en routing worden afgehandeld via drie request-headers: de Authorization-header moet uw Opik API-sleutel als ruwe waarde bevatten (let op: er mag geen Bearer-prefix worden toegevoegd), terwijl de headers Comet-Workspace en projectName moeten worden ingesteld op respectievelijk uw workspacenaam en projectnaam. Deze headers zorgen ervoor dat inkomende traces worden geauthenticeerd en gelogd naar de juiste workspace en het juiste project binnen Opik.

Laat de metrics-exporter uitgeschakeld. Opik verwerkt traces, geen OTLP-metrics. Sla de instellingen op, waarna nieuwe requests naar Opik worden gespiegeld.

Stap 3: Controleer of de traces binnenkomen

Verstuur een request via de gateway en open vervolgens de Traces-weergave in Opik voor uw project. U zou spans van de gateway moeten zien met ingevulde inputs, outputs, tokenaantallen en latency. Een model-call verschijnt als een chat-completion-trace; agent-runs tonen de geneste structuur van model- en tool-call-spans.

Wat dit oplevert: volledige LLM-observability in Opik

Gedistribueerde tracing over de gehele request

Een agent-run komt binnen als één trace waarin de model-calls en tool-calls onderliggend zijn genest. Zo kunt u een meerstaps request van begin tot eind volgen in plaats van losstaande logregels te lezen.

Evaluatie op echt productieverkeer

Omdat uw live requests nu in Opik worden getracet, kunt u er datasets van bouwen en evaluaties uitvoeren op het verkeer dat u daadwerkelijk bedient, in plaats van op een synthetische steekproef.

Inzicht in kosten en latency

Elke trace bevat tokengebruik, latency en kosten, zodat u trage of dwaze calls kunt opsporen zonder gegevens uit afzonderlijke tools te hoeven samenvoegen.

Geen wijziging in applicatiecode

De export wordt eenmalig ingesteld in de gateway. Elke service die via de gateway routeert, wordt getracet zonder dat u een SDK hoeft toe te voegen of applicaties hoeft aan te passen.

Veelgestelde vragen

V: Wat is LLM-observability via een AI-gateway? A: Het betekent dat elke model-call die uw applicaties maken, wordt getracet bij de gateway, waarbij de prompt, respons, tokens, latency en kosten voor elke request worden vastgelegd. Bij de TrueFoundry AI Gateway is dit gebaseerd op OpenTelemetry, zodat u die traces kunt exporteren naar een backend zoals Comet Opik zonder uw code te hoeven instrumenteren.

V: Stopt het exporteren naar Opik het verzenden van traces naar TrueFoundry? A: Nee. Traces worden standaard nog steeds opgeslagen in TrueFoundry. De OTEL-export spiegelt ze daarnaast naar Opik, zodat u ze op beide plaatsen behoudt.

V: Kan ik naast traces ook metrics naar Opik exporteren? A: Nee. Opik verwerkt alleen traces, dus u configureert de traces-exporter en laat metrics uitgeschakeld. Voor gateway-metrics gebruikt u een metrics-backend zoals Grafana, Datadog of Prometheus.

V: Hoeveel LLM's ondersteunt TrueFoundry? A: Meer dan 1.000 LLM's via één OpenAI-compatibele API. U wisselt van model door de modelnaam in het request aan te passen, met behoud van dezelfde URL en inloggegevens.

V: Integreert het met mijn bestaande observability-stack? A: Ja. De gateway is OpenTelemetry-compliant en sluit aan op Grafana, Datadog, Prometheus of, zoals hier, Comet Opik, waarbij elke request van prompt tot tool- en modeluitvoering wordt getracet.

Gerelateerde artikelen

• What is an LLM Gateway? - de architectuur achter deze integratie
• LLM Cost Tracking Solution - dieper ingaan op inzicht in uitgaven
• Observability in AI Gateway - hoe tracing op gateway-niveau past in het bredere observability-verhaal

Conclusie

Observability zou niet moeten vereisen dat elke service opnieuw wordt geïnstrumenteerd. Doordat de TrueFoundry AI Gateway OpenTelemetry-traces exporteert naar Comet Opik, wordt elke request die de gateway verwerkt een volledige trace die u kunt inspecteren en evalueren — eenmalig ingesteld en overal toegepast. Begin op de TrueFoundry AI Gateway.