TrueFoundry AI Gateway-Integration with Elastic

LLM systems for the production behavior is as distributed systems. A user request can trigger several model views, tool views and repeatments. Ohne eine einzige Ausführungsgrenze wird die Telemetrie fragmentiert und das Debuggen wird zum Rätselraten.

This post shows how TrueFoundry AI Gateway is connected with Elastic Cloud, sodass Gateway-Traces mithilfe von OpenTelemetry in Elastic Observability integriert sind. You configure an OTLP end point and an api key in the gateway.

Die fehlende Steuerungsebene in LLM-Architekturen

If applications directly with the model providers, there there no uniform location, to the guidelines through and traces be documented. Ein Gateway sorgt für eine konsistente Oberfläche, sodass Governance, Routing und Telemetriegenerierung zentralisiert werden.

TrueFoundry KI-Gateway

TrueFoundry KI-Gateway richtet einen einzigen gesteuerten Einstiegspunkt für Model- und Agentenanfragen ein. Applications and Agents communication with the gateway proxy, instead to communicate with the providers. This architecture provides that routing decisions and telemetry generation are consistent by each request.

The Gateway can exportiere Traces using the OpenTelemetrie standard protocols, to you can send the same Trace-Stream to the Observability platform, your teams already use.

Elastische Wolke

Elastische Wolke is a managed service for the Elastic Stack, the search observation and security workflows supports. He can analyse logs, metrics and trace in wide range, as in a specific target for gateway-Traces.

TrueFoundry AI Gateway unterstützt den Export von OpenTelemetry-Traces auf externe Plattformen wie Elastic Cloud, sodass Sie Elastic für Observability verwenden können, während TrueFoundry die einheitliche LLM-Zugriffsebene verbleibt.

OpenTelemetrie als Integrationsschicht

This integration used openTelemetry through. The Gateway exportiert OTEL-Traces and Elastic Cloud takes you about the managed OTLP end point.

Integration with Elastic Cloud

Schritt 1 Holen Sie sich Ihren Elastic Cloud-Endpunkt und den API-Schlüssel

Open in the Elastic Cloud Console Your Deployment or serverless project and go then to data, then to applications and then to openTelemetry. Copy the url of the managed OTLP end points and copy the api key value, that is displayed for the authentication header. Elastic Cloud Hosted Deployments erfordern Version 9.2 oder höher für den verwalteten OTLP-Endpunkt.

Schritt 2 Open the AI Gateway OTEL configuration in TrueFoundry

Go in truefoundry-dashboard to AI Gateway, then to Controls and then to Settings. Scrollen Sie zum Abschnitt OTEL Config und öffnen Sie den Editor für die Exportkonfiguration.

Schritt 3: Den Elastic Cloud-Endpunkt konfigurieren

Activate the OTEL Traces Exporter. Settings the configuration type on http. Set the Traces end point on the managed OTLP end point, the have copied from Elastic Cloud. Select JSON or Protocoding.

Eine Minimalkonfiguration sieht so aus.

Konfigurationstyp: http
Verfolgt den Endpunkt: https://<your motlp endpoint>
Codierung: Json or Proto


Schritt 4 Fügen Sie den benötigten Header hinzu

Fügt einen HTTP-Header namens Authorization with the value in apikey-format hinzu. The apikey prefix is required.

Autorisierung: ApiKey <your api key>


Schritt 5 Konfiguration speichern

Save the hotel export configuration. Danach werden alle Gateway-Traces automatisch in Elastic Cloud exportiert.

Schritt 6 Spuren in Elastic anzeigen

Sende ein paar Anfragen über das Gateway. Open then Kibana and go to Observability, dann to APM, dann to Services and search after the benannten service tfy-llm-gateway. Von dort aus können Sie die Spuren und Transaktionen für jede Anfrage überprüfen.

Betriebliche Hinweise

Choice of the coding

Der von Elastic Cloud verwaltete OTLP-Endpunkt unterstützt Json und Proto. Json is simple to read with debuggen. Proto is efficient for large data mengen.

Add of Resource attributes

You can set in the export program configuration additional resource attributes to add any export trace consistent tags. This is useful for filterung on environment and mandantenlevel in Elastic.

Problembehebung

If you see an authentication error, the a apikey prefix, is the Authorization-Header not correct formatiert and should start with apiKey. If you see HTTP 429, your provision may reach the limit values for the capture rate, and they should take plan changes or stichprobe adjustments.

What they can make with this integration

If AI Gateway trace export in Elastic Cloud, you have an central location, to you can analysis gateway-Traces with same observability workflows, that you already use your stacks for the rest. Elastic vereint Logs, Metriken, Traces und APM-Views auf einer Plattform, sodass Ihr LLM-Verkehr nicht von den Anwendungs- und Infrastruktursignalen isoliert ist.

You can an individual user request from beginning to end debug, when you open the trace in Elastic. The Traces user interface shows verteiltes Tracing, sodass sie den vollständigen Ausführungspfad sehen können. The Service Map hilft Ihnen dabei, Serviceabhängigkeiten zu verstehen. The transaction details give the time and request metadata, to they can detect the long same step quickly.

They can detect regressions before when they trends statt individual cases. Elastic Observability offers dashboards and analysis functions, the teams supports by pure telemetriedata to knowledge. Es umfasst auch Funktionen zur Erkennung von Anomalien, mit denen ungewöhnliche Muster in Signalen erkannt werden können.

You can run LLM-specific monitoring workflows in Elastic. Elastic hebt Anwendungsfälle im Bereich LLM-Observability hervor, wie z. B. das Tracking von Latenzfehlern, Aufforderungen, Antworten, Nutzung und Kosten. With AI Gateway as Executionlimit you can create this cover for each model call, which the gateway runs, consistent.

Sie können Traces filtern und gruppieren, indem Sie Resource attributes in the Gateway-Exporter-Konfiguration hinzufügen. This is useful for environment metadata and Tenant-Tags, sodass Teams die Traces in Elastic nach Produktionsstufen oder Geschäftsbereichen aufteilen können.

Fazit

TrueFoundry AI Gateway provides you an konsistent output limit for the full LLM traffic. Elastic Cloud offers you an ausgereifte Observability interface for Traces and Service Level-Workflows. Da OpenTelemetry sie miteinander verbindet, können Sie LLM-Systeme mit der gleichen Genauigkeit debuggen und betreiben, wie Sie es von jedem verteilten Produktionssystem erwarten.