TrueFoundry AI Gateway-integratie met Last9

Nu generatieve AI zich verplaatst naar kritieke klantreizen, zoekopdrachten, ondersteuning, besluitvorming en automatisering, verdwijnt de tolerantie voor "best-effort"-betrouwbaarheid. Platform- en SRE-teams hebben nu hetzelfde niveau van observability voor LLM-verkeer nodig dat ze al verwachten van hun centrale microservices:

• Wat is de end-to-end latentie voor elk verzoekpad?
• Welke modellen, tenants of regio's veroorzaken overschrijdingen van foutbudgetten?
• Hoe correleren we LLM-gedrag met de rest van de stack?

De integratie tussen TrueFoundry AI Gateway en Last9 lost precies dit probleem op. Door OpenTelemetry (OTEL)-traces van de Gateway te exporteren naar Last9, krijgen teams diepe, kostenefficiënte observability in al het LLM-verkeer, zonder applicaties te herschrijven of SDK's over services te verspreiden.

Dit artikel legt uit:

• Wat Last9 en TrueFoundry AI Gateway bieden
• Hoe de integratie werkt op architectuurniveau
• Een praktische, stapsgewijze weergave van de instelling
• De concrete voordelen voor SRE-, platform- en AI-teams

Last9: Observability ontworpen voor systemen met hoge cardinaliteit

Last9 is een modern observability-platform gericht op hoogwaardig telemetriebeheer voor logs, metrics en traces. Het is specifiek ontworpen voor omgevingen waar cardinaliteit en schaalbaarheid onbetwistbaar zijn.

Belangrijke mogelijkheden die relevant zijn voor LLM-workloads zijn onder meer:

• Verwerking van hoge cardinaliteit: Last9 kan telemetrie verwerken en bevragen die is gelabeld met rijke dimensies zoals gebruiker, tenant, route, provider, model en promptversie, zonder onoverkomelijke prestatie- of kostenstraf.
• Geïntegreerde telemetrie: Logs, metrics en traces bevinden zich in één enkel platform, waardoor teams naadloos kunnen navigeren van een SLO-schending of latentiepiek naar de exacte trace en span die deze heeft veroorzaakt.
• OpenTelemetry-native ontwerp: Last9 is gebouwd rond OTEL, waardoor het eenvoudig is om elk OTEL-ondersteunend onderdeel te integreren.

Dit maakt Last9 een natuurlijke keuze voor bedrijven die hun infrastructuur standaardiseren op OTEL en willen dat LLM-observability op diezelfde strategie aansluit.

TrueFoundry AI Gateway: Geünificeerd control plane voor LLM-verkeer

TrueFoundry AI Gateway fungeert als een proxy-laag tussen applicaties en LLM-providers of MCP-servers. Het biedt een geünificeerde, OpenAI-compatibele interface voor honderden modellen, terwijl governance, beveiliging, routing en observability worden gecentraliseerd.

Kernmogelijkheden omvatten:

• Geünificeerde API-toegang tot 250+ modellen en providers
• Lage-latentierouting en geavanceerde load balancing
• Enterprise-beveiliging: RBAC, audit logging, quota- en kostencontroles
• Native observability met verzoek/respons-logging, metrics en traces

Cruciaal is dat AI Gateway OTEL-traces kan exporteren naar externe systemen, zodat uw LLM-telemetrie onderdeel wordt van hetzelfde observability-landschap als de rest van uw infrastructuur.

Belangrijkste metrieken voor het evalueren van een Gateway

Criteria	Wat moet u evalueren?	Prioriteit	TrueFoundry
Latentie	Voegt <10ms p95 overhead toe voor time-to-first-token?	Must Have	✅ Ondersteund
Dataresidentie	Houdt logs binnen uw regio (EU/US)?	Afhankelijk van use case	✅ Ondersteund
Op latentie gebaseerde routing	Stuurt automatisch om op basis van real-time latentie/storingen?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund
Sleutelrotatie & Intrekking	Sleutels roteren of intrekken zonder downtime?	Must Have	✅ Ondersteund

Een AI Gateway evalueren?

Een praktische gids voor platform- & infra-teams

Integratie-overzicht: Hoe TrueFoundry en Last9 samenwerken

Op een hoog niveau is de integratie eenvoudig:

1. Applicaties sturen al het LLM-verkeer naar TrueFoundry AI Gateway in plaats van rechtstreeks naar modelproviders.
2. AI Gateway stuurt het verzoek naar het geconfigureerde model (OpenAI, Claude, Gemini, self-hosted, etc.), waarbij routing, rate limits en guardrails naar behoefte worden toegepast.
3. Voor elk verzoek verzendt AI Gateway OpenTelemetry-traces die spans vastleggen voor gateway-afhandeling, uitgaande modelaanroepen, MCP-operaties en meer.
4. Deze OTEL-traces worden via HTTP geëxporteerd naar het OTLP-eindpunt van Last9.
5. In Last9 worden traces gevisualiseerd in de Traces UI, met duur-heatmaps, gedetailleerde tracelijsten en gegevens op span-niveau voor de tfy-llm-gateway service.

Er zijn geen codewijzigingen in de applicatielogica nodig. Zodra de OTEL-exporter van de Gateway is geconfigureerd, wordt elk LLM-verzoek automatisch waarneembaar in Last9.

Vereisten

Om de integratie in te schakelen, heeft u het volgende nodig:

1. Een TrueFoundry-account waarop AI Gateway is geconfigureerd en ten minste één modelprovider is ingesteld. U kunt de Gateway Snelstartgids in de TrueFoundry-documentatie volgen.
2. Een Last9-account met toegang tot het Last9-dashboard.

Als deze aanwezig zijn, vindt de rest van de configuratie volledig plaats via de respectieve UI's.

Stapsgewijze integratiegids

1. Haal de Last9 Authorization Header op

Vanuit het Last9-dashboard:

1. Log in op Last9.
2. Navigeer naar Integrations in de linker zijbalk.
3. Klik op Connect op de OpenTelemetry-integratiekaart.
4. Zoek in de integratiegids naar “Authentication with Authorization Header.”
5. Kopieer de opgegeven Auth Header-waarde, die al is geformatteerd, bijvoorbeeld:
6. Basic dHJ1ZWZvdW5kcnk6...


Deze header wordt rechtstreeks van TrueFoundry naar Last9 doorgegeven voor OTEL-authenticatie.

2. Configureer OTEL Export in TrueFoundry AI Gateway

In de TrueFoundry-console:

1. Ga naar AI Gateway → Controls → OTEL Config.
2. Schakel de Otel Traces Exporter Configuration-schakelaar in.
3. Selecteer het tabblad HTTP Configuration.

3. Stel het Last9 OTLP-eindpunt in

Geef onder HTTP-configuratie de volgende waarden op:

• Traces-eindpunt
• https://otlp.last9.io/v1/traces

• Codering
• Proto


Dit is het OTLP-ingestie-eindpunt van Last9 voor traces.

4. Voeg de vereiste Authorization Header toe

Klik in hetzelfde configuratiescherm op “+ Add Headers” en voeg toe: Plak de Auth Header precies zoals gekopieerd uit de Last9 UI (bijvoorbeeld Basic dHJ1ZWZvdW5kcnk6...). Er is geen extra opmaak vereist.

5. Sla de configuratie op

Klik op Save om de OTEL-exportinstellingen toe te passen. Vanaf dit moment worden alle LLM-traces van de TrueFoundry AI Gateway geëxporteerd naar Last9.

6. Bekijk LLM-traces in Last9

Zodra LLM-verkeer door de Gateway stroomt, opent u het Last9-dashboard:

1. Navigeer naar het gedeelte Traces.
2. Filter op servicenaam:
3. tfy-llm-gateway

4. Verken:
   • Duur-heatmap – visualiseer latentietrends en uitschieters in de loop van de tijd.
   • Trace-details – bekijk individuele traces met operatienamen, tijdsduur en statuscodes.
   • Span-informatie – inspecteer spans voor HTTP-aanroepen, MCP-operaties en onderliggende LLM-verzoeken.

Dit geeft u een end-to-end overzicht van hoe de Gateway en downstream providers presteren onder echte productieomstandigheden.

Geavanceerde configuratie: Traces verrijken met Resource Attributes

TrueFoundry's OTEL-configuratie ondersteunt Additional Resource Attributes, waarmee u aangepaste metadata kunt toevoegen aan elke geëxporteerde trace. Dit is bijzonder krachtig in combinatie met de mogelijkheden van Last9 voor hoge cardinaliteit.

Typische attributen die u mogelijk wilt toevoegen zijn onder meer:

• env=prod, env=staging
• region=us-east-1, region=eu-west-1
• team=platform, team=search
• tenant_id=enterprise-customer-a

In Last9 kunnen deze attributen worden gebruikt om:

• Latentie- of foutpercentages te vergelijken tussen regio's en omgevingen
• Incidenten te isoleren die invloed hebben op een specifieke tenant of productonderdeel
• Dashboards per team of bedrijfseenheid te bouwen zonder telemetrie te dupliceren

Door vooraf uw attributenstrategie te plannen, maakt u later rijkere query's en snellere oorzaakanalyses mogelijk.

Wat deze integratie oplevert voor uw teams

Voor SRE en Platform Engineering

• Inzichten op productieniveau in LLM-verkeer: Identificeer latentiepieken, fouten hotspots en saturatie in real-time, met de volledige trace-context achter elk evenement.
• Snellere incidentrespons: Ga van een falende SLO rechtstreeks naar de exacte trace en span die de oorzaak is—of dat nu een upstream service, een specifieke modelprovider of een verkeerd geconfigureerde route is.
• Consistent instrumentarium: Houd LLM-observability binnen dezelfde op OTEL gebaseerde workflows en dashboards die u gebruikt voor de rest van uw microservices.

Voor AI- en applicatieteams

• Veilig experimenteren met modellen en prompts: Urolt nieuwe modelversies, routingregels of promptstrategieën uit via TrueFoundry en observeert de impact rechtstreeks in de traces en heatmaps van Last9.
• Prestatie- en kostenbewustzijn: Correleer trage of mislukte interacties met specifieke routes, tenants of modellen, en koppel die inzichten terug naar routing- en cachingbeleid in de Gateway.
• Schonere scheiding van verantwoordelijkheden: Ontwikkelaars richten zich op applicatielogica en agentgedrag; de Gateway en Last9 beheren gezamenlijk de routing, governance en observability.