TrueFoundry AI Gateway-Integration mit New Relic

LLM-Systeme verhalten sich wie verteilte Dienste. Sie rufen mehrere Modelanbieter an. Sie stoßen auf Apps und Agenten. Sie werden schnell versendet und ändern sich häufig. Dies erschwert das Debuggen, wenn ein Benutzer eine schlechte oder eine langsame Antwort meldet.

Das verlorene Stück ist ein einzelnes Ausgabelimit, das für jede Anfrage begrenzt ist. Wenn Sie dieses Limit erreicht haben, können Sie die Richtlinie anwenden. Sie können das Routing standardisieren. Sie können für jeden Anruf saubere Spuren erkennen.

TrueFoundry AI Gateway gibt Ihnen diese Grenze. New Relic bietet Ihnen einen Ort, an dem Sie diese Spuren zusammen mit der restlichen Telemetrie Ihrer Anwendung erkunden können. Mit OpenTelemetry als Together-Format lassen sich Gateway-Traces in weniger Minuten nach New Relic exportieren.

TrueFoundry KI-Gateway

TrueFoundry KI-Gateway sitzt vor ihrem Modellverkehr. Apps und Agenten senden Fragen an das Gateway. Das Gateway führt weiter zum richtigen Anbieter und zum richtigen Modell. Dies ist ein kontrollierter Eingangspunkt für Routing und Controller. Außerdem entsteht ein einheitlicher Punkt, an dem die Leiterbahnen generiert und exportiert werden können.

Neues Relikt

Neues Relikt ist eine Observability-Plattform, die die Überwachung des gesamten Stacks und die Überwachung der Anwendungsleistung mit Echtzeitanalysen unterstützt. Sie können OpenTelemetrie-Daten aufnehmen. Damit lassen sich an einem natürlichen Ort, um LLM-Traces vom Gateway aus den gleichen Workflows zu analysieren, die Sie bereits für Dienste und Infrastruktur nutzen.

Telemetrie öffnen

Die Integration basiert auf OpenTelemetry. TrueFoundry AI Gateway exportiert Traces mithilfe von OpenTelemetry-Standardprotokollen. New Relic akzeptiert OTLP-Aufnahme. Dadurch bleibt die Integration sauber und eine enge Kopplung wird vermieden.

So sieht die Integration aus

Sie konfigurieren einen OpenTelemetry-Traces-Exporter in der TrueFoundry AI Gateway-Benutzeroberfläche. Sie verweisen auf einen New Relic OTP-Traces-Endpunkt. Sie fügen den richtigen Authentication Header hinzu, indem Sie einen Ingest-Lizenzschlüssel für New Relic verwenden, der über die OpenTelemetry-Integration in New Relic generiert wurde.

Nach der Aktivierung generierte das Gateway weitere Spuren für seine eigenen Monitoring-Views. Der Export ist additiv. Es leitet dieselben Spuren an New Relic weiter, sodass sie auch dort analysieren können.

Leitfaden zur Integration

Schritt 1. Holt euch ihren New Relic Ingest-Lizenzschlüssel

Öffnen Sie Ihr New Relic Dashboard. Gehe zu Integrationen und Agenten. Suchen Sie mit OpenTelemetry und öffnen Sie diese Integration. Suchen Sie den Bereich mit den Ingest-Login-Daten im Installationsplan und generieren Sie den Lizenzschlüssel.

Verwenden Sie den Inget-Lizenzschlüssel von der OpenTelemetrie-Integrationsseite. Ein regulärer New Relic API-Schlüssel funktioniert nicht für die OTLP-Erfassung.

Schritt 2. Aktivieren Sie den OpenTelemetry-Exporter in TrueFoundry

Gehen Sie im truefoundry-dashboard zu AI Gateway, dann zu Controls und dann zu Settings. Scrollen Sie zum Abschnitt OTEL Config und bearbeiten Sie die Exporter-Konfiguration.

Schritt 3. Stellen Sie den Endpunkt und die Codierung der New Relic Traces ein

Aktiviere den Trace Exporter und fülle die Kernfelder von aus.

Art der Konfiguration

http


Verfolgt den Endpunkt für die US-Region

https://otlp.nr-data.net:4318/v1/traces


Codierung

Json


New Relic verwendet regionale Endpunkte. Wenn sich Ihr Konto in der EU-Region befindet, verwenden Sie diesen Endpunkt.

https://otlp.eu01.nr-data.net:4318/v1/traces


Schritt 4. Fügen Sie den erforderlichen Header hinzu

Fügen Sie einen Header mit diesem Schlüssel und Ihrem Ingest-Lizenzschlüssel als Wert hinzu.

API-Schlüssel: <your New Relic ingest license key>


Schritt 5. Speichern und senden Sie ein paar Anfragen

Speichern Sie die Konfiguration. Sende dann einige LLM-Anfragen über AI Gateway. Danach exportiert das Gateway automatisch Traces von New Relic.

Schritt 6. Spuren in New Relic anzeigen

Gehen Sie in New Relic to Traces und suchen Sie nach Spuren aus dem Gateway-Dienst. Öffne dann einen Trace und überprüfe die Leerzeichen auf dem Pfad und das Timing des Modelllaufs.

Sporen ansehen

Sie können LLM-Traces neben dem Rest Ihrer Telemetrie anzeigen. Das ist nützlich, wenn es sich bei einem LLM-Problem tatsächlich um eine Upstream-Latenzspitze handelt. Es hilft auch, wenn die Anfrage eines Modelanbieters nur ein Teil eines umfassenderen Vorfalls ist.

Sie können Dashboards erstellen, Latenz und Volumen des LLM-Datenverkehrs verfolgen. Dadurch können Warnmeldungen für Latenz- oder Fehlerratenhinweise erstellt werden. Sie können das Trace-Verhalten während eines Vorfalls mit Protokollen und Infrastruktursignalen korrelieren.

Ein paar Konfigurationshinweise, die in der Produktion wichtig sind

Wählen Sie den Endpunkt, der Ihrer New Relic Region entspricht. Das ist der Hauptgrund für verlorene Spuren. Wenn Sie eine vollständige Filterung in New Relic wünschen, fügen Sie zusätzliche Ressourcenattribute in der Exporter-Konfiguration hinzu. Verwenden Sie diese Attribute für die Gruppierung auf Umgebungs- und Teamebene.

New Relic unterstützt sowohl HTTP als auch gRPC für das OTLP-Recording. Wenn Sie einen höheren Durchsatz benötigen, können Sie gRPC in den Warenkorb ziehen. Wenn Sie eine einfachere Überprüfung bei der Einrichtung wünschen, ist HTTP mit JSON-Codierung ein einfacher Ausgangspunkt.

Fazit

Ein zuverlässiges LLM-System benötigt einen zuverlässigen Ort, an dem die Kontrollen durchgeführt werden können, und ein zuverlässiger Ort, an dem das Verhalten verstanden werden kann. TrueFoundry AI Gateway bietet eine einzige Ausführungsgrenze für den gesamten Modellverkehr. New Relic bietet einen ausgereiften Observability-Workflow zur Erfassung von Spuren und zur Reaktion auf Vorfälle. OpenTelemetry verbindet beide mit einem Standard-Exportpfad.

Wenn Sie New Relic bereits für Ihre Dienste verwenden, ermöglicht diese Integration, dass Ihr LLM-Verkehr mit minimalen Änderungen an ihrem Anwendungscode dieselbe Betriebsschleife macht.