Arize integration with trueFoundry

Jede LLM-Anfrage, die TrueFoundry AI Gateway durchführt, generiert einen Trace. This trace detect the complete spannbaum of the request: Gateway processing and JWT validation and Authorization resolution as provider-routing as the out model call and the streamed response. This traces are stored internal for the TrueFoundry Monitor user interface. Sie können aber auch über Standard-OpenTelemetry-Protokolle in externe Observability-Backends exportiert werden. Arize ist ein solches Backend.

In this post is explained how the Trace-Export on architecture level: which hotel primitive are including and how the Gateway Traces, without the request load latence, and was Arize to the Trace data, when they arrive. It works also the configuration interface and the privacy checks, with they can remove the prompt content, before leave your infrastructure.

OpenTelemetry und LLM-Observability

OpenTelemetry definiert ein herstellerneutrales Drahtformat für verteilte Leiterbahnen. Eine Spur ist ein Baum von Bereichen, die durch Eltern-Kind-Beziehungen miteinander verbunden sind. Jeder Span stellt eine separate Arbeitseinheit bereit: einen HTTP-Handler oder einen LLM-Aufruf oder einen Tool-Aufruf. Spans include typized key value attributes, which codieren the operating context, as Latenz and status codes and the number of tokens.

The semantic standard conventions of OTEL cover general distributed systems good, were but not designed for LLM workloads. LLM calls include structured inputs (multi-stufige messages fields with system aufforderungen and tool definitions multi-modal content) and structured expenses (completations with final reasons and functional calls). In the token economics, it handle to first operating kennzahlen: Prompt-Token and Completion-Token and zwischengespeicherte Token and Reasoning-Token müssen alle pro Span nachverfolgt werden. Ein einziger Ingabewert Das Zeichenkettenattribut ist unzureichend.

Here come LLM-specific semantical conventions in game. Arize managed the openinference specification, the a specific attribute schema and a specific taxonomy defined, which based on the hotel range. Every openInference-trace is an valid OTLP-Trace. The Conventions give attributnames their KI specific meaning. Spanische Arten wie LLM und KETTE und RETRIEVER und WERKZEUG und EINBETTUNG klassifizieren Sie Operationen, sodass Observability-Plattformen Spuren mit KI-fähigen Visualisierungen und Aggregationen rendern können.

TrueFoundry AI Gateway gibt Traces unter Verwendung seines eigenen Attribut-Namespace aus (tfy.input und tfy.output und tfy.input_short_hand zusammen mit Standard Gen-Ai. * Attributes for tokenzahlen and model metadata as as reasons for the Completion (Completion). Arize nimmt dies als gültige OTLP-Traces auf und ordnet die Attribute seiner Trace-Benutzerschnittstelle zu.

How the Gateway Traces generiert

TrueFoundry AI Gateway used a split architecture: a control level, the configuration managed, and a gateway level, processing inference requirements. The Gateway level based on the HONO framework, an ultraschnellen, for Edge uses optimized HTTP running. Ein einzelner Gateway-Pod auf 1 vCPU und 1 GB RAM verarbeitet mehr als 250 Anfragen pro Sekunde mit einer weiteren Latenz von ca. 3 ms.

The significant design principle is included in that the request but the actual LLM provider call no external views. If any request to an a gateway-pod, following complete in the storage:

1. The Pod validiert das JWT-Token anhand zwischengespeicherter öffentlicher Schlüssel, die von ihrem IdP heruntergeladen wurden. No external authentication order.
2. It checks the In-Memory-Authorization card (the synchronized by the control level via NATS) to ensure that the user access to the required model.
3. It solved the model id on a specific offer end point. If it is work with the model to a virtual model with routing rules, the gateway uses here to a priority based or weight or latence based selection logic.
4. Ein Adapter übersetzt die Anfrage aus dem OpenAI-kompatiblen Format in das native Format des Zielanbieters.
5. The request is entered to the provider and the response is back to the client.

The trace generation is asynchron with this flow. The gateway created hotel around for each phase of the request life cycle: the input http handler and authentication testing as the model resolution and the output provider call and the streaming response. This range attributes, including token use and latence as the model names, the provider and cost assessment and the request metadata. Nach Abschluss der Anfrage veröffentlicht das Gateway die Trace-Daten in einer NATS-Nachrichtenwarteschlange. This is the same NATS bus, which provides the configuration synchronization between the control level and the gateway-pods.

The Hotel-Exporter nimmt Trace-Daten von diesem asynchronen Pfad auf und leitet sie weiter zum konfigurierten externen Endpunkt. Da der Trace-Export vom Anforderungspfad entkoppelt ist, kommt es bei Inferenzanfragen zu keiner Latenz. Das Gateway schlägt bei einer Anfrage niemals fehl, auch wenn der externe Hotelendpunkt nicht erreichbar ist.

Was Arize mit den Spuren macht

Arize ist eine KI-Beobachtungs- und Evaluierungsplattform, die speziell für LLM- und Agenten-Workloads entwickelt wurde. Sie akzeptiert Hotel-Traces via gRPC unter otlp.arize.com:443 and provides additional to the raw data of the trace data several analysis levels.

Verfolgen Sie die Visualisierung. Arize rendert komplette Trace-Wasserfälle und zeigt den Spannbaum für jede Anfrage an. Sie können einzelne Spans untersuchen, um die Token-Nutzung und Latenz-Aufschlüsselung sowie die Eingabe-, Ausgabeeinhalte und Modellmetadaten zu sehen. When agent workflows, when a single user request several LLM vistas and tool visitors, makes this water fall view to the ausführungspfad.

Performance Analysis. Arize calculated aggregated metrics for your Trace-Stream: Latenzverteilungen by model and provider and error rates in time verlauf and flow trends. Sie können Warnungsregeln einrichten, die ausgelöst werden, wenn in diesen Verteilungen Anomalien auftreten. This is useful to detect the loss of the providers before they affect on the end users.

LLM assessment. Nebst der Rohverfolgung unterstützt Arize automatisierte Evaluierungspipelines. Sie können LLM-Workflows als Judge ausführen, wobei Abschlüsse anhand von Dimensionen wie Relevanz, Kohärenz und Faktizität bewertet werden. For a differentiated quality assessment, you can also use working processes for human notes. The traces provides the raw data (Ein- und Ausgaben sowie Modellparameter), die in diese Bewertungsschleifen eingeflossen sind.

The main unterscheidungsmerkmal is, that Arize versteht die LLM-spezifische Semantik von Haus. Es analysierte Token-Zahlen und Modellkennungen und fordert Inhalte aus Span-Attributen heraus und zeigt sie in speziell erstellten Ansichten an, anstatt sie als generisches Zeichenfolgen-Schlüssel-Wertpaar zu behandeln.

The integration area

The integration is an directed GRPC export from Gateway to Arize. Es wird kein Kollektor-Beiwagen benötigt. Es ist kein benutzerdefiniertes SDK beteiligt. You configure the hotel exporter on truefoundry dashboard and the trace start to flow.

You can follow the integration schritte here: https://www.truefoundry.com/docs/ai-gateway/arize

Resource attributes

Sie können jedem exportierten Trace zusätzliche Resource attributes hinzufügen. This are key value pairs, which are attached on the Trace level and useful for filter and grouping in Arize.

Das am häufigsten zu setzende Attribut ist Modell_ID. Arize used this, to grouping track in his dashboard views by model. Wenn Sie den Produktionsverkehr durch ein fein abgestimmtes LAMA-Model leiten, können Sie Folgendes einrichten Modell_ID zu fein abgestimmte Lama-3-Produktion. Sie können auch hinzufügen modell_version wenn sie parallele Bereitstellungen ausführen und die Leistung verschiedener Versionen in Arize vergleichen möchten.

Datenschutzkontrollen

Es gibt Bereitstellungsszenarien, in denen Ihre Infrastruktur nicht verlassen darf, um den Inhalt der Anfrage und Fertigstellung zu verlassen. Complianceanforderungen könnten das Senden von Anforderungstexten an Dienste Dritter verbieten. PII könnte dazu führen, dass der externe Export zum Scheitern verurteilt wird.

TrueFoundry behandelt dies mit dem Schalter „Anforderungsdaten ausschließen“ in der Hotel-Export-Konfiguration. If this option is activated, the gateway before the export three span attributes: tfy.input und tfy.output und tfy.input_short_hand. Arize empfängt immer noch die strukturellen Trace-Daten (Latenz und Token-Anzahl sowie Modellmetadaten und Fehlerstatus), sieht aber nicht den wahren Inhalt von Aufforderungen oder Vervollständigungen.

This is a major architektonical detail. The filterung is on gateway level before the trace data to the GRPC exporter. The content leaves never left the Gateway-Pod. Sie erhalten einen vollständigen Überblick über Leistung, Kosten und Zuverlässigkeit, ohne dass vertrauliche Inhalte einer externen Plattform zugänglich sein müssen.

Overview of the integration

Nachdem Sie die Hotelkonfiguration gespeichert haben, senden Sie einige LLM-Anfragen über das Gateway. Open then the Arize Dashboard and navigate to Traces. Search to trace from the tfy-llm-gateway Bedienung. Jeder Trace sollte den vollständigen Spanbaum mit den Gateway-Verarbeitungsspannen und der Spanne für ausgehende LLM-Provider-Aufrufe anzeigen. Clicken Sie auf einzelne Bereiche, um zu überprüfen, ob die Token-Nutzung und Latenz sowie die Modellmetadaten korrekt ausgefüllt sind.

If you have configured resource attributes, these should be considered in the Trace-Metadaten. Use the Modell_ID attribut, to filtrier and to check the trace list, if the traces are correct by model.

Summary of Architecture

Der Datenfluss ist unkompliziert. Anwendungen senden LLM-Anfragen an TrueFoundry AI Gateway. The Gateway processing the request in the storage (Authentication and Authorization as Routing and Rate Limiting) and direct you to the configurated model providers. Parallel to generated the gateway hotel range for the life cycle of the request, and they published asynchron in the NATS news switch. The Hotel-Exporter liest aus dieser Warteschlange und sendet Traces via gRPC an otlp.arize.com:443. Arize nimmt die OTLP-Traces auf und stellt sie zur Visualisierung, Analyse und Auswertung zur Verfügung.

The inferenzpath are not added external calls. Es muss kein Collector-Beiwagen eingesetzt werden. It are no changes of the application codes required. The gateway is the central instrument point, and the hotel export added the internal trace storage of the gateways. They can export by Arize and parallel use the integrated monitor user interface of trueFoundry for same trace data.

This is the muster, the OTEL as protocol election valuable. Das Gateway sendet Standard-OTLP-Traces aus. Arize akzeptiert Standard-OTLP-Traces. If you decide for tomorrow to change the observability backends, change the end point and the header in the gateway configuration and show on a other OTLP receiver. Your application code, your gateway configuration and your trace instruments stay exact equal.