Coralogix-integratie met TrueFoundry AI Gateway

Naarmate teams overstappen van AI-experimenten naar productie-waardige toepassingen, komt één thema overal terug: observability is essentieel. Het is niet langer genoeg om alleen te weten of een verzoek is geslaagd of mislukt. Je moet begrijpen waarom een model zich op een bepaalde manier gedroeg, welke prompts of tools daarbij betrokken waren en welke invloed dat heeft op kosten, latency en gebruikerservaring.

Dat is precies waar de integratie tussen TrueFoundry AI Gateway en Coralogix voor gebouwd is. TrueFoundry AI Gateway biedt teams één centraal controle-element voor LLMs en agents over verschillende providers en omgevingen heen, met routing, rate limiting, guardrails, retries en kostenbeheersing op het verzoekpad. Coralogix is een full-stack observability platform dat logs, metrics, traces en beveiligingsdata bundelt, met real-time analytics waarmee je eenvoudig incidenten onderzoekt en prestaties op schaal monitort.

Samen bieden ze end-to-end AI-observability: van een gebruikersverzoek dat de gateway binnenkomt, tot de model- en tool-calls stroomafwaarts, tot de traces en metrics die naar dashboards en alerts stromen.

Waarom Coralogix en TrueFoundry

Moderne AI-systemen bestaan niet langer uit "één model en één endpoint". Echte implementaties strekken zich uit over meerdere model-providers, lokale en gehoste modellen, retrieval-systemen, tool-calls en agent-frameworks. Ze draaien bovendien in dev, staging en productie—vaak verspreid over meerdere regio's—en dezelfde gebruikerservaring kan door meerdere services en afhankelijkheden lopen.

Door deze complexiteit schiet traditionele monitoring snel tekort. Als je alleen gefragmenteerde logs hebt, blijf je gissen: werd de vertraging veroorzaakt door de model-provider, de retrieval, de uitvoering van een tool of je eigen service? Als een nieuwe release voor een piek in het tokenverbruik zorgde, welke route of functionaliteit heeft die verandering veroorzaakt? Bij productie-incidenten moet je binnen enkele minuten van een symptoom naar het exacte verzoekpad kunnen navigeren.

De beste manier om dat te doen, is door AI-verkeer te behandelen als eersteklas applicatieverkeer, met traces die de volledige levenscyclus van het verzoek tonen en metadata waarmee je kunt filteren op model, route, omgeving, latency en resultaten.

De kracht van de TrueFoundry AI Gateway

TrueFoundry AI Gateway bevindt zich voor je LLM- en agent-verkeer als één beheerde laag. Het centraliseert de toegang tot modellen over leveranciers en implementaties heen, past routing-regels, rate limits en guardrails toe, en biedt controle op verzoekniveau waarmee teams AI betrouwbaar in productie kunnen beheren. Het belangrijkste voordeel is consistentie: elk verzoek volgt hetzelfde gecontroleerde pad, waardoor de gateway de logische plek wordt om telemetrie te instrumenteren en te exporteren voor observability.

Coralogix voor productie-observability

Coralogix is ontworpen om grote volumes telemetrie te verwerken en deze in real-time doorzoekbaar te maken. Wanneer traces beschikbaar zijn in hetzelfde systeem als je logs en metrics, worden analyses sneller en nauwkeuriger. In plaats van te proberen een verhaal te reconstrueren uit gedistribueerde logs, kun je de trace volgen, de vertragende span identificeren en deze correleren met infrastructuur-metrics of het gedrag van afhankelijkheden.

Beter samen: end-to-end AI-observability met OpenTelemetry

De integratie is gebaseerd op OpenTelemetry, wat het geheel op standaarden gebaseerd en eenvoudig te onderhouden houdt. TrueFoundry AI Gateway instrumenteert LLM- en agent-verzoeken via OpenTelemetry en meent traces via gRPC te exporteren naar Coralogix, verrijkt met gedetailleerde metadata bij elke trace (zoals model, route, applicatie-/subsystem-identificaties, latency en status). Coralogix verwerkt en analyseert deze gegevens vervolgens, zodat je teams dashboards kunnen bouwen, alerts kunnen instellen en specifieke verzoeken end-to-end kunnen onderzoeken.

Coralogix ondersteunt het ontvangen van OpenTelemetry-compatibele traces via het ingress-endpoint via gRPC. Hierdoor ontstaat een directe integratie tussen exporter en platform, zonder dat je een aangepaste pipeline hoeft te onderhouden.

Hoe de integratie werkt

Op een hoog niveau komt een gebruikersverzoek binnen bij de TrueFoundry AI Gateway. De gateway maakt OpenTelemetry-spans aan voor het verzoek en de stroomafwaartse model-/tool-activiteiten, waarna de exporter deze spans via gRPC naar het OpenTelemetry-ingestion-endpoint van Coralogix stuurt. De traces komen al gestructureerd aan in Coralogix, zodat je teams direct kunnen filteren op applicatie en subsystem, kunnen inzoomen op een specifiek verzoek en snel kunnen zien waar latency, fouten of onverwacht gedrag optraden.

Stap voor stap: Coralogix instellen met TrueFoundry AI Gateway

Verzamel in Coralogix het OpenTelemetry gRPC-endpoint voor jouw regio en je Coralogix API-sleutel, en bepaal de namen voor de application en het subsystem die je wilt gebruiken voor het organiseren van de traces. Het kiezen van stabiele, beschrijvende namen helpt later bij het bouwen van zoekopdrachten en dashboards, omdat je de AI Gateway-traces dan eenvoudig op die labels kunt filteren.

Open in het TrueFoundry AI Gateway-dashboard de OTEL-configuratie voor de gateway en schakel de traces exporter in. Stel het protocol in op gRPC en configureer het endpoint zo dat het wijst naar het Coralogix OpenTelemetry-ingestion-endpoint voor jouw accountregio. Zodra dit is opgeslagen, begint de gateway met het exporteren van traces voor LLM- en agent-verzoeken via het geconfigureerde exporter-pad.

Coralogix verwacht headers die het verzoek verifiëren en helpen traces toe te wijzen aan de juiste application en het juiste subsystem. Stel in de AI Gateway OTEL exporter-configuratie headers in met jouw API-sleutel en de gekozen application/subsystem-identificaties. Een typische configuratie ziet er als volgt uit:

Authorization: Bearer <coralogix-api-key>
CX-Application-Name: <application-name>
CX-Subsystem-Name: <subsystem-name>


Stuur met de configuratie op zijn plek testverkeer door de gateway (bijvoorbeeld een paar chat completions of een agent-run). Bevestig in TrueFoundry dat er traces worden aangemaakt voor de verzoeken, schakel vervolgens over naar Coralogix en open de tracing-omgeving. Filter op de door jou geconfigureerde application/subsystem-namen en controleer of je de spans ziet die overeenkomen met de AI Gateway-activiteit, inclusief attributen zoals route, model, latency en status.

Wat teams doen zodra traces binnenstromen

Met gateway-traces in Coralogix kunnen teams latency over routes en modellen meten op een manier die daadwerkelijk actiegericht is in productie. In plaats van één enkel "API latency"-getal, zie je hoe verschillende modellen presteren onder belasting, welke routes vertraging oplopen en of storingen zich concentreren rond een specifieke provider of afhankelijkheid. Omdat traces van nature correleren met de rest van je telemetrie, kun je AI-latency ook koppelen aan onderliggende infrastructuur of problemen met stroomafwaartse services.

Kostenproblemen bij AI uiten zich vaak in een plotselinge toename van het tokenverbruik, langere gesprekken of een hogere oproepfrequentie die gekoppeld is aan een nieuwe functie of release. Dankzij metadata op verzoekniveau in traces kunnen teams identificeren welke routes of tenants de verandering in gebruik veroorzaken en alerts instellen wanneer het kostengedrag onverwacht verandert. Dat inzicht is nog waardevoller in combinatie met AI Gateway-functionaliteiten zoals routing-regels, rate limits en budgetten, omdat observability zo rechtstreeks kan leiden tot corrigerende maatregelen.

Agents kunnen om verschillende redenen "traag" of "verkeerd" aanvoelen: tool-timeouts, retrieval-problemen, achteruitgang in prompt-kwaliteit of wijzigingen in modellen/providers. Met traces kunnen teams het verzoek door de gehele keten van calls volgen, inzoomen op de trage span en vaststellen of de bottleneck bij het model, een tool, retrieval of de eigen applicatielogica ligt. Dit maakt het verschil tussen gissen en weten.

Bouw AI-specifieke dashboards en alerts

Zodra je gestructureerde traces hebt, wordt het eenvoudig om dashboards te bouwen die laten zien hoe AI daadwerkelijk in je product wordt gebruikt: gateway-verkeer per route en model, foutpercentages en timeout-trends per provider, latency-percentielen voor belangrijke gebruikersreizen en alerts die afgaan wanneer een specifieke provider of route slechter begint te presteren. Dit versnelt incident response en verlaagt het operationele risico bij het snel uitrollen van AI-functies.

De juiste Coralogix-regio kiezen

Voor optimale prestaties en compliance is het belangrijk om traces te exporteren naar het Coralogix-endpoint dat overeenkomt met de regio van jouw account. Coralogix biedt een OpenTelemetry-compatibel ingress-endpoint (via gRPC); het juiste regionale endpoint is afhankelijk van waar jouw Coralogix-account is gehost. (Coralogix)

Conclusie

AI-toepassingen worden snel bedrijfskritisch, en de eisen voor betrouwbaarheid, prestaties en kostenbeheersing worden steeds hoger. De integratie tussen TrueFoundry AI Gateway en Coralogix biedt teams een praktische, op standaarden gebaseerde manier om end-to-end inzicht te krijgen in AI-verkeer. Je centraliseert het beheer van LLM- en agent-verzoeken in de gateway en centraliseert observability in Coralogix met real-time traces die monitoring en debugging aanzienlijk eenvoudiger maken.