تكامل Lunary مع بوابة TrueFoundry للذكاء الاصطناعي

‍

Lunary Integration with TrueFoundry AI Gateway

The TrueFoundry AI Gateway gives you a single OpenAI-compatible endpoint in front of 1,000+ LLMs, with smart routing, fallbacks, rate limiting, and cost controls — all at roughly 3–4 ms of added latency and 350+ RPS on a single vCPU. That centralization is exactly what makes observability tractable: every request already passes through one control plane, so there's one natural place to emit telemetry from.

Lunary is where that telemetry becomes insight. Instead of scrolling raw logs, you get a structured trace view: the span hierarchy of a request, the exact prompt and completion, token counts, latency per step, and the session it belongs to. Because the gateway speaks OpenTelemetry, the export is vendor-neutral — you're sending standard OTLP spans, not locking into a proprietary agent or SDK. If you later add another OTEL-compatible backend, the gateway can fan out to it without re-instrumentation.

In short: TrueFoundry handles the routing, governance, and reliability of your LLM traffic; Lunary gives you the lens to inspect, debug, and optimize it. Here's how to set it up.

What is Lunary?

Lunary is an observability platform built specifically for LLM and agent applications. It's designed to capture traces, inspect prompts and responses, monitor agent behavior, and track cost across production GenAI workloads. The features that matter most for a gateway integration are:

• Agent and LLM tracing — end-to-end visibility into chains, agents, tool calls, and model responses, so you can see the full shape of a multi-step request rather than a single flat log line.
• OpenTelemetry ingestion — Lunary accepts OTLP/HTTP traces, which is precisely what lets it receive spans directly from the TrueFoundry gateway alongside spans from your SDKs and custom instrumentation.
• Session-level monitoring — track conversations, users, and performance across chatbot and RAG workflows, not just isolated calls.
• Evaluation and analytics — analyze runs, categorize outputs, and iterate on prompts with measurable feedback loops.

Lunary is a strong fit for teams that want a dedicated, structured view of their LLM and agent traffic, run as a managed cloud project. If you're still comparing options, it's worth reading our roundup of LLM observability tools to see where Lunary sits relative to other platforms.

Prerequisites

Before you start, make sure you have:

• A TrueFoundry account with at least one model provider configured. If you're new, follow the Gateway Quick Start Guide first.
• A Lunary account — sign up at lunary.ai.
• Your Lunary project public key (also called the Project ID / Public Key), copied from your Lunary project settings.

One note before you begin: this integration supports both OTEL traces and metrics. Traces go to Lunary's /v1/traces endpoint; if you also want metrics, Lunary exposes a /v1/metrics endpoint you can point the metrics exporter at.

Step-by-Step Integration Guide

The whole integration is configuration, not code — you're pointing the gateway's OpenTelemetry exporter at Lunary's OTLP endpoint and authenticating with your public key.

Step 1: Get Your Lunary Public Key

1. Log into the Lunary dashboard.
2. Open your project and go to Settings → API Keys (the project keys section).
3. Copy the Project ID / Public Key. Treat it like a credential used for trace ingestion and store it securely.

Lunary projects include both a public and a private key. For OTLP trace export from TrueFoundry, the public key is recommended, but either key works — it goes into the Authorization header in Step 3.

Step 2: Configure OTEL Trace Export in TrueFoundry

1. In the TrueFoundry dashboard, go to Settings → Organisation → OTEL Config (under AI Gateway).
2. Click edit on the OTEL Config section to open the exporter form, if it isn't already open.
3. Enable the OTEL Traces Exporter Configuration toggle.
4. Select HTTP Configuration.
5. Enter the Lunary traces endpoint: https://api.lunary.ai/v1/traces‍
6. Set Encoding to Proto (JSON encoding also works if you prefer it).

Step 3: Add the Authorization Header

Enable Headers and add your Lunary authentication:

Header Value Authorization Bearer <LUNARY_PUBLIC_KEY>

Replace <LUNARY_PUBLIC_KEY> with the public key you copied in Step 1, then click Save to apply the configuration.

Step 4: Verify the Integration

1. Send a few requests through the TrueFoundry AI Gateway — via the Playground or any API call.
2. In TrueFoundry, open Monitor and confirm traces are being generated for those requests.
3. In Lunary, open Explore → Traces and confirm new spans appear with the expected hierarchy, token usage, and latency details.

Lunary ingests OTLP spans asynchronously, so allow a short delay after your first gateway request before checking the Traces view. If spans don't appear immediately, give it a moment and resend.

Configuration Summary

Configuration Values

‍Traces endpoint : https://api.lunary.ai/v1/traces

Authentication : Authorization Bearer <LUNARY_PUBLIC_KEY>

‍Protocol : HTTP

‍الترميز : بروتو

لأدوات القياس المستندة إلى SDK، أو Lunary المستضاف ذاتيًا، أو خيارات OpenTelemetry الإضافية، انظر وثائق Lunary.

ما ستحصل عليه

بمجرد تدفق التتبعات، يمنحك الجمع بين التحكم في البوابة وإمكانية المراقبة على مستوى التتبع بعض الإمكانيات التي يصعب الحصول عليها بطرق أخرى.

إمكانية مراقبة نماذج اللغة الكبيرة (LLM) على مستوى التتبع

يصبح كل طلب يمر عبر البوابة تتبعًا منظمًا في Lunary — المطالبة، والإكمال، والنموذج، والتسلسل الهرمي للامتدادات في عرض واحد. هذا هو الفرق بين تخمين سبب بطء أو خطأ الاستجابة ورؤية تتبع LLM الفعلي لتلك المكالمة المحددة.

تكلفة الرموز وشفافيتها

تحمل الامتدادات استخدام الرموز وزمن الاستجابة، لذا يمكنك ربط الإنفاق والأداء بكل طلب وجلسة على حدة. وهذا يجعل من الأسهل بكثير اكتشاف قالب المطالبة أو اختيار النموذج الذي يزيد فاتورتك بصمت.

مراقبة الوكلاء وMCP

بالنسبة للوكلاء متعددي الخطوات وسير عمل استدعاء الأدوات، يحافظ عرض التتبع على التسلسل الهرمي للمكالمات — بما في ذلك تفاصيل مكالمات MCP والنموذج — بحيث يُقرأ تشغيل الوكيل المعقد كشجرة متماسكة بدلاً من سطور السجل المتناثرة.

محايد للموردين بطبيعته

نظرًا لأن التصدير هو OTLP قياسي عبر HTTP، فأنت لست مقيدًا بخلفية واحدة. يمكن لمسار OpenTelemetry نفسه الذي يغذي Lunary أن يغذي أي وجهة أخرى متوافقة مع OTEL، مما يحافظ على إمكانية مراقبة بوابة الذكاء الاصطناعي استراتيجية قابلة للنقل.

تحكم مركزي، رؤى لا مركزية

تظل البوابة هي نقطة التنفيذ الوحيدة للتوجيه، وحدود المعدل، والحوكمة، بينما توجد إمكانية المراقبة الخاصة بك في أداة مخصصة تركز على حركة مرور LLM والوكلاء. تحصل على الحوكمة دون التضحية بالشفافية.

الخاتمة

لا ينبغي أن تتطلب مراقبة نماذج اللغة الكبيرة (LLM) إدخال أدوات المراقبة في كل خدمة أو الالتزام بمنصة مغلقة. بفضل تكامل Lunary مع بوابة TrueFoundry AI، يمكنك توجيه كل حركة مرور نماذج اللغة الكبيرة الخاصة بك عبر لوحة تحكم واحدة متوافقة مع OpenAI وتصدير آثار OpenTelemetry القياسية إلى Lunary — لالتقاط المطالبات، والإكمال، واستخدام الرموز، وزمن الاستجابة، وتسلسلات الوكلاء الهرمية الكاملة في بضع دقائق من الإعداد.

وجّه حركة مرور نماذج اللغة الكبيرة الخاصة بك عبر بوابة TrueFoundry للذكاء الاصطناعي وابدأ في إرسال الآثار إلى Lunary اليوم.

‍