Lunary-integratie met TrueFoundry AI Gateway

‍

Lunary-integratie met TrueFoundry AI Gateway

De TrueFoundry AI Gateway biedt één OpenAI-compatibel eindpunt voor meer dan 1.000 LLM's, met slimme routing, fallbacks, rate limiting en kostenbeheersing — en dat alles met slechts 3–4 ms extra latency en 350+ RPS op een enkele vCPU. Die centralisatie is precies wat observability haalbaar maakt: elk verzoek gaat al door één control plane, dus er is één natuurlijke plek om telemetrie uit te sturen.

Lunary is waar die telemetrie verandert in inzicht. In plaats van door ruwe logs te scrollen, krijgt u een gestructureerde trace-weergave: de span-hiërarchie van een verzoek, de exacte prompt en completion, tokenaantallen, latency per stap en de sessie waartoe het behoort. Omdat de gateway OpenTelemetry spreekt, is de export leveranciersneutraal — u verstuurt standaard OTLP-spans en zit niet vast aan een propriëtaire agent of SDK. Als u later een andere OTEL-compatibele backend toevoegt, kan de gateway hiernaar fannen zonder dat er herinstrumentatie nodig is.

In het kort: TrueFoundry regelt de routing, governance en betrouwbaarheid van uw LLM-verkeer; Lunary biedt het perspectief om dit te inspecteren, debuggen en optimaliseren. Zo stelt u het in.

Wat is Lunary?

Lunary is een observability-platform dat specifiek is gebouwd voor LLM- en agent-toepassingen. Het is ontworpen om traces vast te leggen, prompts en responsen te inspecteren, agentgedrag te monitoren en kosten bij te houden voor productie-GenAI-workloads. De functies die het meest van belang zijn voor een gateway-integratie zijn:

• Agent- en LLM-tracing — end-to-end zichtbaarheid in chains, agents, tool calls en modelresponsen, zodat u de volledige structuur van een meerstapsverzoek ziet in plaats van één enkele platte logregel.
• OpenTelemetry-ingestie — Lunary accepteert OTLP/HTTP-traces, en dat is precies wat het mogelijk maakt om spans rechtstreeks vanuit de TrueFoundry-gateway te ontvangen, samen met spans van uw SDK's en aangepaste instrumentatie.
• Monitoring op sessieniveau — volg gesprekken, gebruikers en prestaties in chatbot- en RAG-workflows, niet alleen geïsoleerde calls.
• Evaluatie en analytics — analyseer uitvoeringen, categoriseer outputs en itereer op prompts met meetbare feedbacklussen.

Lunary is zeer geschikt voor teams die een toegewijde, gestructureerde weergave willen van hun LLM- en agentverkeer, uitgevoerd als een beheerd cloudproject. Als u nog opties vergelijkt, is het de moeite waard om ons overzicht van LLM observability tools te lezen om te zien waar Lunary zich bevindt ten opzichte van andere platforms.

Vereisten

Voordat u begint, moet u zorgen voor:

• Een TrueFoundry-account met ten minste één geconfigureerde modelprovider. Als u nieuw bent, volgt u eerst de Gateway Quick Start Guide.
• Een Lunary-account — meld u aan op lunary.ai.
• Uw Lunary project public key (ook wel Project ID / Public Key genoemd), gekopieerd uit uw Lunary-projectinstellingen.

Eén opmerking voordat u begint: deze integratie ondersteunt zowel OTEL-traces als metrics. Traces gaan naar het /v1/traces-eindpunt van Lunary; als u ook metrics wilt, biedt Lunary een /v1/metrics-eindpunt waar u de metrics exporter naartoe kunt verwijzen.

Stap-voor-stap integratiegids

De hele integratie is configuratie, geen code — u verwijst de OpenTelemetry-exporter van de gateway naar het OTLP-eindpunt van Lunary en authenticeert met uw publieke sleutel.

Stap 1: Haal uw Lunary Public Key op

1. Meld u aan bij het Lunary-dashboard.
2. Open uw project en ga naar Settings → API Keys (het gedeelte met projectkeys).
3. Kopieer de Project ID / Public Key. Behandel deze als een credential die wordt gebruikt voor trace-ingestie en sla deze veilig op.

Lunary-projecten bevatten zowel een publieke als een private sleutel. Voor OTLP-trace-export vanuit TrueFoundry wordt de publieke sleutel aanbevolen, maar beide sleutels werken — deze komt in de Authorization-header in Stap 3.

Stap 2: Configureer OTEL Trace Export in TrueFoundry

1. Ga in het TrueFoundry-dashboard naar Settings → Organisation → OTEL Config (onder AI Gateway).
2. Klik op edit in het gedeelte OTEL Config om het exporter-formulier te openen, als dit nog niet open staat.
3. Schakel de optie OTEL Traces Exporter Configuration in.
4. Selecteer HTTP Configuration.
5. Voer het Lunary-traces-eindpunt in: https://api.lunary.ai/v1/traces‍
6. Stel Encoding in op Proto (JSON-encoding werkt ook als u daar de voorkeur aan geeft).

Stap 3: Voeg de Authorization Header toe

Schakel Headers in en voeg uw Lunary-authenticatie toe:

Header Value Authorization Bearer <LUNARY_PUBLIC_KEY>

Vervang <LUNARY_PUBLIC_KEY> door de publieke sleutel die u in Stap 1 hebt gekopieerd en klik vervolgens op Save om de configuratie toe te passen.

Stap 4: Verifieer de integratie

1. Stuur een paar verzoeken via de TrueFoundry AI Gateway — via de Playground of een willekeurige API-call.
2. Open in TrueFoundry Monitor en bevestig dat er traces worden gegenereerd voor die verzoeken.
3. Open in Lunary Explore → Traces en bevestig dat er nieuwe spans verschijnen met de verwachte hiërarchie, tokengebruik en latency-details.

Lunary verwerkt OTLP-spans asynchroon, dus houd rekening met een korte vertraging na uw eerste gateway-verzoek voordat u de Traces-weergave controleert. Als spans niet direct verschijnen, wacht dan een moment en stuur het verzoek opnieuw.

Overzicht van de configuratie

Configuration Values

‍Traces endpoint : https://api.lunary.ai/v1/traces

Authentication : Authorization Bearer <LUNARY_PUBLIC_KEY>

‍Protocol : HTTP

‍Encoding : Proto

Zie Lunary's documentatie voor op SDK gebaseerde instrumentatie, self-hosted Lunary of aanvullende OpenTelemetry-opties.

Wat u hiermee ontgrendelt

Zodra traces stromen, biedt de combinatie van gateway-beheer en observability op trace-niveau u een aantal mogelijkheden die anders moeilijk te realiseren zijn.

LLM Observability op trace-niveau

Elk verzoek dat door de gateway gaat, wordt een gestructureerde trace in Lunary — prompt, completion, model en span-hiërarchie in één overzicht. Dit is het verschil tussen gissen waarom een respons traag of onjuist was en daadwerkelijk de LLM-tracing voor die specifieke call zien.

Zichtbaarheid in kosten en tokens

Spans bevatten tokengebruik en latency, zodat u uitgaven en prestaties kunt toewijzen tot op het niveau van individuele verzoeken en sessies. Dat maakt het veel eenvoudiger om het prompt-template of de modelkeuze te identificeren die ongemerkt uw rekening verhoogt.

Agent- en MCP-monitoring

Voor meerstaps-agents en workflows met tool-calling behoudt de trace-weergave de call-hiërarchie — inclusief details over MCP- en model-calls — zodat een complexe agent-run leest als een samenhangende structuur in plaats van verspreide logregels.

Leveranciersneutraal van opzet

Omdat de export gebaseerd is op standaard OTLP via HTTP, zit u niet vast aan één enkele backend. Dezelfde OpenTelemetry-pijplijn die Lunary voedt, kan elke andere OTEL-compatibele bestemming voeden, wat uw strategie voor AI gateway observability overdraagbaar houdt.

Gecentraliseerde controle, gedecentraliseerd inzicht

De gateway blijft het centrale afdwingingspunt voor routing, rate limits en governance, terwijl uw observability zich bevindt in een speciaal hulpprogramma dat gericht is op LLM- en agentverkeer. U krijgt governance zonder in te boeten op transparantie.

Conclusie

LLM observability zou niet moeten vereisen dat u instrumentatie in elke service moet aanpassen of dat u zich vastlegt op een gesloten platform. Met de Lunary-integratie voor TrueFoundry AI Gateway leidt u al uw LLM-verkeer via één OpenAI-compatibel control plane en exporteert u standaard OpenTelemetry-traces naar Lunary — waarbij u prompts, completions, tokengebruik, latency en volledige agent-hiërarchieën vastlegt in slechts een paar minuten configuratie.

Leid uw LLM-verkeer via de TrueFoundry AI Gateway en begin vandaag nog met het verzenden van traces naar Lunary.

‍