TrueFoundry AI Gateway integratie met Elastic

Productie-LLM-systemen gedragen zich als gedistribueerde systemen. Eén gebruikersverzoek kan meerdere model calls, tool calls en retries aansturen. Zonder een centrale execution boundary raakt telemetrie gefractioneerd en wordt debugging gokwerk.

In deze post laten we zien hoe u TrueFoundry AI Gateway verbindt met Elastic Cloud, zodat gateway-traces via OpenTelemetry naar Elastic Observability stromen. U configureert hiervoor een OTLP-endpoint en een API-key in de gateway.

Het ontbrekende control plane in LLM-architecturen

Wanneer applicaties rechtstreeks communiceren met modelproviders, is er geen eenduidige plek om beleid af te dwingen en traces vast te leggen. Een gateway creëert dat centrale raakvlak, waardoor governance, routing en het genereren van telemetrie worden gecentraliseerd.

TrueFoundry AI Gateway

TrueFoundry AI Gateway biedt één beheerd toegangspunt voor model- en agentverzoeken. Applicaties en agents communiceren met de gateway-proxy in plaats van rechtstreeks met providers. Deze architectuur zorgt voor consistente routingbeslissingen en telemetriegeneratie voor elk verzoek.

De gateway kan traces exporteren met behulp van standaard OpenTelemetry-protocollen, zodat u dezelfde trace-stream kunt verzenden naar het observability-platform dat uw teams al gebruiken.

Elastic Cloud

Elastic Cloud is een beheerde service voor de Elastic Stack die workflows voor zoeken, observability en beveiliging ondersteunt. Het kan logs, metrics en traces op schaal analyseren, wat het een logische bestemming maakt voor gateway-traces.

TrueFoundry AI Gateway ondersteunt het exporteren van OpenTelemetry-traces naar externe platformen zoals Elastic Cloud, zodat u Elastic kunt gebruiken voor observability terwijl u TrueFoundry behoudt als de uniforme LLM-toegangslaag.

OpenTelemetry als integratielaag

Deze integratie maakt van begin tot eind gebruik van OpenTelemetry. De gateway meent OTEL-traces te exporteren en Elastic Cloud verwerkt deze via het beheerde OTLP-endpoint.

Integreren met Elastic Cloud

Stap 1: Haal uw Elastic Cloud-endpoint en API-key op

Open in de Elastic Cloud-console uw deployment of serverless-project en ga naar Add data, vervolgens Applications en daarna OpenTelemetry. Kopieer de beheerde OTLP-endpoint-URL en kopieer de getoonde API-key-waarde voor authenticatie-headers. Voor Elastic Cloud Hosted-deployments is versie 9.2 of hoger vereist voor het beheerde OTLP-endpoint.

Stap 2: Open de AI Gateway OTEL-configuratie in TrueFoundry

Ga in het TrueFoundry-dashboard naar AI Gateway, vervolgens naar Controls en dan naar Settings. Scroll naar de sectie OTEL Config en open de editor voor de exporter-configuratie.

Stap 3: Configureer het Elastic Cloud-endpoint

Schakel de OTEL Traces Exporter in. Stel Config Type in op http. Stel de traces-endpoint in op het beheerde OTLP-endpoint dat u heeft gekopieerd uit Elastic Cloud. Kies Json- of Proto-codering.

Een minimale configuratie ziet er als volgt uit:

Config type: http
Traces endpoint: https://<your motlp endpoint>
Encoding: Json or Proto


Stap 4: Voeg de vereiste header toe

Voeg een HTTP-header toe genaamd Authorization met de waarde in de ApiKey-indeling. Het voorvoegsel ApiKey is verplicht.

Authorization: ApiKey <your api key>


Stap 5: Sla de configuratie op

Sla de OTEL-exportconfiguratie op. Hierna worden alle gateway-traces automatisch geëxporteerd naar Elastic Cloud.

Stap 6: Bekijk traces in Elastic

Verstuur enkele verzoeken via de gateway. Open vervolgens Kibana, ga naar Observability, daarna naar APM, dan naar Services en zoek naar de service genaamd tfy-llm-gateway. Van daaruit kunt u traces en transacties voor elk verzoek inspecteren.

Operationele opmerkingen

Keuze voor codering

Het beheerde OTLP-endpoint van Elastic Cloud ondersteunt Json en Proto. Json is gemakkelijker te lezen tijdens het debuggen. Proto is efficiënter voor grote hoeveelheden data.

Resource-attributen toevoegen

U kunt Additional Resource Attributes instellen in de exporter-configuratie om consistente tags aan elke geëxporteerde trace te koppelen. Dit is nuttig voor filtering op omgevings- en tenant-niveau in Elastic.

Probleemoplossing

Als u een authenticatiefout ziet die een ApiKey-voorvoegsel vermeldt, is de Authorization-header niet correct geformatteerd en moet deze beginnen met ApiKey. Als u HTTP 429 ziet, bereikt uw deployment mogelijk de limieten voor verwerkingssnelheid (ingest rate limits) en moet u aanpassingen in uw abonnement of sampling overwegen.

Wat u kunt doen met deze integratie

Wanneer AI Gateway traces exporteert naar Elastic Cloud, krijgt u één centrale plek om gateway-traces te analyseren met dezelfde observability-workflows die u al gebruikt voor de rest van uw stack. Elastic brengt logs, metrics, traces en APM-weergaven samen in één platform, zodat uw LLM-verkeer niet geïsoleerd is van applicatie- en infrastructuursignalen.

U kunt een enkel gebruikersverzoek van begin tot eind debuggen door de trace te openen in Elastic. De Traces UI toont distributed tracing, zodat u het volledige uitvoeringspad kunt zien. De servicekaart helpt u service-afhankelijkheden te begrijpen. Transactiedetails bieden timing- en verzoekmetadata, zodat u trage stappen snel kunt opsporen.

U kunt regressies sneller detecteren door trends te volgen in plaats van op losse incidenten te reageren. Elastic Observability biedt dashboards en analysefuncties die teams helpen om van ruwe telemetrie tot inzichten te komen. Het bevat ook functionaliteiten voor anomaliedetectie die ongebruikelijke patronen in verschillende signalen naar voren kunnen brengen.

U kunt LLM-specifieke monitoringworkflows uitvoeren binnen Elastic. Elastic belicht specifieke observability-use-cases voor LLM's, zoals het volgen van latency, fouten, prompts, responsen, gebruik en kosten. Met AI Gateway als execution boundary kunt u deze dekking consistent maken voor elke model call die via de gateway stroomt.

U kunt traces eenvoudiger filteren en groeperen door resource-attributen toe te voegen in de gateway exporter-configuratie. Dit is handig voor omgevingsmetadata en tenant-tags, zodat teams traces binnen Elastic kunnen opsplitsen naar productie, staging of business units.

Conclusie

TrueFoundry AI Gateway biedt u een consistente execution boundary voor al het LLM-verkeer. Elastic Cloud biedt u een volwassen observability-omgeving voor traces en workflows op serviceniveau. Met OpenTelemetry als verbindende factor kunt u LLM-systemen debuggen en beheren met dezelfde nauwkeurigheid die u verwacht van elk gedistribueerd productiesysteem.