TrueFoundry AI Gateway-integratie met New Relic

LLM-systemen gedragen zich als gedistribueerde services. Ze aanroepen meerdere model providers. Ze draaien over verschillende apps en agents heen. Ze worden snel uitgeleverd en veranderen vaak. Dit maakt debugging lastig wanneer een gebruiker een slecht antwoord of een trage respons meldt.

Het ontbrekende puzzelstukje is één enkele execution boundary waar elke request doorheen gaat. Zodra je die boundary hebt, kun je policy toepassen. Je kunt routing standaardiseren. Je kunt schone traces vastleggen voor elke call.

TrueFoundry AI Gateway geeft je die boundary. New Relic geeft je een plek om die traces te verkennen naast de rest van je application telemetry. Met OpenTelemetry als het gedeelde formaat kun je gateway-traces in een paar minuten exporteren naar New Relic.

TrueFoundry AI Gateway

TrueFoundry AI Gateway bevindt zich voor je model-verkeer. Apps en agents sturen requests naar de gateway. De gateway stuurt ze door naar de juiste provider en het juiste model. Dit creëert één beheerd toegangspunt voor routing en controls. Het creëert ook één consistent punt waar traces gegenereerd en geëxporteerd kunnen worden.

New Relic

New Relic is een observability-platform dat full stack monitoring en application performance monitoring ondersteunt met real-time analytics. Het kan OpenTelemetry-data verwerken. Dit maakt het een natuurlijke plek om LLM-traces van de gateway te analyseren met dezelfde workflows die je al gebruikt voor services en infrastructuur.

OpenTelemetry

De integratie is gebaseerd op OpenTelemetry. TrueFoundry AI Gateway exporteert traces met behulp van standaard OpenTelemetry-protocollen. New Relic accepteert OTLP-ingestie. Dit houdt de integratie schoon en voorkomt een sterke afhankelijkheid.

Hoe de integratie eruitziet

Je configureert een OpenTelemetry traces exporter in de TrueFoundry AI Gateway UI. Je verwijst deze naar een New Relic OTLP traces endpoint. Je voegt de juiste authenticatie-header toe met behulp van een New Relic ingest license key die is gegenereerd vanuit de OpenTelemetry-integratie in New Relic.

Zodra dit is ingeschakeld, blijft de gateway traces genereren voor zijn eigen monitoringweergaven. Export is een aanvulling. Het stuurt dezelfde traces door naar New Relic, zodat je ze daar eveneens kunt analyseren.

Integratiegids

Stap 1. Haal je New Relic ingest license key op

Open je New Relic dashboard. Ga naar Integrations and Agents. Zoek naar OpenTelemetry en open die integratie. Zoek in het installatieplan naar het gedeelte met ingest credentials en genereer de license key.

Gebruik de ingest license key van de OpenTelemetry-integratiepagina. Een reguliere New Relic API key werkt niet voor OTLP-ingestie.

Stap 2. Schakel de OpenTelemetry exporter in TrueFoundry in

Ga in het TrueFoundry dashboard naar AI Gateway, vervolgens naar Controls en daarna naar Settings. Scroll naar het gedeelte OTEL Config en bewerk de exporter-configuratie.

Stap 3. Stel het New Relic traces endpoint en de encoding in

Schakel de traces exporter in en vul de kernvelden in.

Config type

http


Traces endpoint for US region

https://otlp.nr-data.net:4318/v1/traces


Encoding

Json


New Relic gebruikt regionale endpoints. Als je account zich in de EU-regio bevindt, gebruik dan dit endpoint.

https://otlp.eu01.nr-data.net:4318/v1/traces


Stap 4. Voeg de vereiste header toe

Voeg een header toe met deze key en je ingest license key als de waarde.

api-key: <your New Relic ingest license key>


Stap 5. Sla op en verstuur een paar requests

Sla de configuratie op. Verstuur vervolgens een paar LLM-requests via AI Gateway. Hierna zal de gateway automatisch traces exporteren naar New Relic.

Stap 6. Bekijk traces in New Relic

Ga in New Relic naar Traces en zoek naar traces van de gateway-service. Open vervolgens een trace en inspecteer spans voor het model call path en de timing.

Traces bekijken

Je kunt LLM-traces bekijken naast de rest van je telemetry. Dit helpt wanneer een LLM-probleem eigenlijk een upstream latency spike is. Het helpt ook wanneer een vertraging bij een model provider slechts één onderdeel is van een groter incident.

Je kunt dashboards bouwen die latency en volume voor LLM-verkeer bijhouden. Je kunt alerts maken voor spikes in latency of error rates. Je kunt trace-gedrag correleren met logs en infrastructuursignalen tijdens een incident.

Een paar configuratienotities die van belang zijn in productie

Kies het endpoint dat overeenkomt met je New Relic-regio. Dit is de meest voorkomende oorzaak van ontbrekende traces. Als je rijkere filtering wilt in New Relic, voeg dan aanvullende resource attributes toe in de exporter config. Gebruik deze attributes voor groepering op omgeving- en teamniveau.

New Relic ondersteunt zowel HTTP als gRPC voor OTLP-ingestie. Als je een hogere throughput nodig hebt, kun je gRPC overwegen. Als je gemakkelijker wilt kunnen inspecteren tijdens de instelling, is HTTP met JSON-encoding een eenvoudig uitgangspunt.

Conclusie

Een betrouwbaar LLM-systeem heeft een betrouwbare plek nodig om controls af te dwingen en een betrouwbare plek om gedrag te begrijpen. TrueFoundry AI Gateway biedt één enkele execution boundary voor al het model-verkeer. New Relic biedt een volwassen observability-workflow voor het verkennen van traces en het reageren op incidenten. OpenTelemetry verbindt de twee via een gestandaardiseerd exportpad.

Als je New Relic al gebruikt voor je services, zorgt deze integratie ervoor dat je LLM-verkeer wordt opgenomen in dezelfde operationele cyclus, met minimale wijzigingen in je applicatiecode.