Exporta las trazas de TrueFoundry AI Gateway a Opik con OpenTelemetry

Cuando una llamada a un LLM es lenta, costosa o incorrecta, necesitas ver la solicitud completa: el prompt, el modelo, los tokens, las llamadas a herramientas y la latencia. Si tus trazas están en una herramienta y tu evaluación en otra, esa visión queda fragmentada. Esta guía muestra cómo enviar las trazas de TrueFoundry AI Gateway a Comet Opik mediante OpenTelemetry, para que cada solicitud que gestione la pasarela aparezca en Opik como una traza completa, sin necesidad de realizar cambios en el código de tu aplicación.

Por qué exportar las trazas de la pasarela a Opik

ElTrueFoundry AI Gateway se sitúa frente a cada llamada al modelo, enrutando más de 1000 LLMs a través de una única API compatible con OpenAI con una sobrecarga de aproximadamente 3-4 ms y más de 350 RPS en una sola vCPU. Al estar en el camino de cada solicitud, es el lugar natural desde el que emitir trazas. La pasarela es compatible con OpenTelemetry de forma nativa, por lo que exportar a otro backend es una cuestión de configuración, no de ingeniería.

Opik es una plataforma de observabilidad y evaluación de LLMs creada por Comet. Ingiere spans de OpenTelemetry y los renderiza como trazas de LLM, con entradas, salidas, uso de tokens, latencia y coste por llamada, y te permite ejecutar evaluaciones sobre ese tráfico. Apuntar la pasarela a Opik significa que tus solicitudes de producción se convierten en trazas que puedes inspeccionar y puntuar en la misma herramienta. Las trazas siguen llegando a TrueFoundry por defecto; la exportación las replica en Opik.

Aquí tienes cómo configurarlo.

Requisitos previos

• Una cuenta de TrueFoundry con AI Gateway configurado y tráfico fluyendo a través de él.
• Una cuenta de Comet para Opik (en la nube, autohospedada o empresarial), con tu clave de API, nombre de espacio de trabajo y un nombre de proyecto de destino.
• Acceso a la configuración de AI Gateway en el panel de control de TrueFoundry.

Guía de integración paso a paso

Opik solo ingiere trazas y acepta OTLP a través de HTTP, por lo que la configuración consiste en un exportador con tres cabeceras. No hay código que escribir.

Paso 1: Obtén tu clave de Opik y tu espacio de trabajo

En Opik, abre la configuración de tu cuenta y copia tu clave de API. Anota el nombre de tu espacio de trabajo desde el selector de espacios de trabajo y decide el nombre del proyecto en el que quieres que se guarden las trazas. El proyecto se creará en la primera ingesta si no existe.

Paso 2: Configura el exportador de trazas OTEL

En el panel de control, ve a AI Gateway, luego a Settings y después a OTEL Config. Habilita el exportador de trazas y rellena el endpoint y las cabeceras de Opik.

Para exportar trazas a Opik, configura tu exportador de OpenTelemetry para usar el protocolo HTTP con codificación Protobuf (Proto), apuntando al endpoint https://www.comet.com/opik/api/v1/private/otel/v1/traces. La autenticación y el enrutamiento se gestionan a través de tres cabeceras de solicitud: la Authorization cabecera debe contener tu clave de API de Opik como valor sin formato; ten en cuenta que no hay Bearer se debe incluir el prefijo, mientras que Comet-Workspace y projectName los encabezados deben configurarse con el nombre de tu espacio de trabajo y el nombre del proyecto, respectivamente. Estos encabezados garantizan que las trazas entrantes se autentiquen y registren en el espacio de trabajo y proyecto correctos dentro de Opik.

Mantén desactivado el exportador de métricas. Opik ingiere trazas, no métricas OTLP. Guarda los cambios y las nuevas solicitudes comenzarán a replicarse en Opik.

Paso 3: Verifica que las trazas lleguen

Envía una solicitud a través de la puerta de enlace y, a continuación, abre la vista de Trazas en Opik para tu proyecto. Deberías ver los tramos (spans) de la puerta de enlace con las entradas, salidas, recuento de tokens y latencia completados. Una llamada a un modelo aparece como una traza de chat-completion; las ejecuciones de agentes muestran el árbol anidado de llamadas a modelos y herramientas.

Lo que obtienes: observabilidad completa de LLM en Opik

Trazado distribuido en toda la solicitud

La ejecución de un agente aparece como una única traza con las llamadas a modelos y herramientas anidadas debajo, lo que te permite seguir una solicitud de varios pasos de principio a fin en lugar de leer líneas de registro desconectadas.

Evaluación con tráfico de producción real

Dado que tus solicitudes en vivo ahora se rastrean en Opik, puedes crear conjuntos de datos a partir de ellas y ejecutar evaluaciones con el tráfico que realmente sirves, en lugar de utilizar una muestra sintética.

Visibilidad de costes y latencia

Cada traza incluye el uso de tokens, la latencia y el coste, por lo que puedes identificar las llamadas lentas o costosas sin tener que combinar datos de herramientas independientes.

Sin cambios en el código de la aplicación

La exportación se configura una sola vez en la puerta de enlace. Todos los servicios que se enrutan a través de ella quedan registrados, sin necesidad de añadir un SDK ni modificar ninguna aplicación para lograrlo.

Preguntas frecuentes

P: ¿Qué es la observabilidad de LLM a través de una puerta de enlace de IA? R: Significa que cada llamada a un modelo que realizan tus aplicaciones se rastrea en la puerta de enlace, capturando el prompt, la respuesta, los tokens, la latencia y el coste de cada solicitud. En la puerta de enlace de IA de TrueFoundry, esto se basa en OpenTelemetry, por lo que puedes exportar esas trazas a un backend como Comet Opik sin necesidad de instrumentar tu código.

P: ¿Exportar a Opik impide que las trazas lleguen a TrueFoundry? R: No. Las trazas se siguen almacenando en TrueFoundry de forma predeterminada. La exportación OTEL las replica en Opik, por lo que conservas ambas.

P: ¿Puedo exportar métricas a Opik además de trazas? R: No. Opik solo ingiere trazas, por lo que debes configurar el exportador de trazas y dejar las métricas desactivadas. Para las métricas de la pasarela (gateway), deberías utilizar un backend de métricas como Grafana, Datadog o Prometheus.

P: ¿Cuántos LLM admite TrueFoundry? R: Más de 1000 LLM a través de una única API compatible con OpenAI. Puedes cambiar de modelo modificando el nombre del modelo en la solicitud, manteniendo la misma URL y credenciales.

P: ¿Se integra con mi pila de observabilidad actual? R: Sí. La pasarela es compatible con OpenTelemetry y se integra con Grafana, Datadog, Prometheus o, como en este caso, Comet Opik, realizando el seguimiento de cada solicitud desde el prompt hasta la ejecución de la herramienta y el modelo.

Lecturas relacionadas

• ¿Qué es una pasarela de LLM? - la arquitectura detrás de esta integración
• Solución de seguimiento de costes de LLM - profundizando en la visibilidad del gasto
• Observabilidad en AI Gateway - cómo encaja el seguimiento a nivel de pasarela en el panorama general de la observabilidad

Conclusión

La observabilidad no debería requerir volver a instrumentar cada servicio. Con TrueFoundry AI Gateway exportando trazas de OpenTelemetry a Comet Opik, cada solicitud que gestiona la pasarela se convierte en una traza completa que puedes inspeccionar y evaluar, configurada una vez y aplicada en todas partes. Empieza en el TrueFoundry AI Gateway.