Integración de Coralogix con TrueFoundry AI Gateway

A medida que los equipos pasan de los experimentos de IA a las aplicaciones de nivel de producción, aparece un tema en todas partes: la observabilidad no es negociable. Ya no basta con saber si una solicitud se ha realizado correctamente o ha fallado. Tienes que entender por qué un modelo se comportó de cierta manera, qué indicaciones o herramientas estuvieron involucradas y cómo eso afecta al costo, la latencia y la experiencia del usuario.

Eso es exactamente lo que significa la integración entre Puerta de enlace de IA TrueFoundry y Coralogix está diseñado para. TrueFoundry AI Gateway ofrece a los equipos un plano de control único para los LLM y los agentes de todos los proveedores y entornos, con enrutamiento, limitación de velocidad, barreras, reintentos y controles de costos en la ruta de solicitud. Coralogix es una plataforma de observabilidad completa que unifica los registros, las métricas, los seguimientos y los datos de seguridad, con análisis en tiempo real que facilitan la investigación de problemas y la supervisión del rendimiento a gran escala.

En conjunto, ofrecen una capacidad de observación de la IA de principio a fin: desde la solicitud de un usuario que entra en la puerta de enlace hasta las llamadas a modelos y herramientas que se producen en sentido descendente, hasta los seguimientos y las métricas que fluyen hacia los paneles y las alertas.

Por qué elegir Coralogix y TrueFoundry

Los sistemas de IA modernos ya no son «un modelo y un punto final». Las implementaciones reales abarcan varios proveedores de modelos, modelos locales y alojados, sistemas de recuperación, llamadas de herramientas y marcos de agentes. También se aplican al desarrollo, la puesta en escena y la producción (con frecuencia en todas las regiones) y la misma experiencia de usuario puede abarcar varios servicios y dependencias.

Esta complejidad hace que la supervisión tradicional se desmorone rápidamente. Si solo tiene registros dispersos, termina preguntándose: ¿la ralentización se debió al proveedor del modelo, a la recuperación, a la ejecución de la herramienta o a su propio servicio? Si una versión provocó un aumento en el uso de los tokens, ¿qué ruta o función introdujo el cambio? Cuando se producen incidentes de producción, necesitas poder pasar de un síntoma a la ruta exacta de la solicitud en cuestión de minutos.

La forma más clara de hacerlo es tratar el tráfico de IA como si fuera el tráfico de aplicaciones de primera clase, con rastreos que muestren el ciclo de vida completo de las solicitudes y metadatos que ayudan a filtrar por modelo, ruta, entorno, latencia y resultados.

El poder de la puerta de enlace de inteligencia artificial de TrueFoundry

TrueFoundry AI Gateway se encuentra frente a su LLM y al tráfico de agentes como una única capa gobernada. Centraliza el acceso a modelos entre proveedores e implementaciones, aplica reglas de enrutamiento, límites de velocidad y barreras de protección, y proporciona controles a nivel de solicitud que ayudan a los equipos a utilizar la IA de manera confiable en la producción. La ventaja clave es la coherencia: todas las solicitudes siguen la misma ruta controlada y la puerta de enlace se convierte en el lugar natural para instrumentar y exportar la telemetría con fines de observabilidad.

Coralogix para la observabilidad de la producción

Coralogix está diseñado para incorporar telemetría de gran volumen y hacerla explorable en tiempo real. Cuando los rastreos están disponibles en el mismo sistema que los registros y las métricas, las investigaciones se vuelven más rápidas y fundamentadas. En lugar de intentar reconstruir una historia a partir de registros distribuidos, puedes seguir el rastro, identificar el nivel de embotellamiento y correlacionarlo con las métricas de la infraestructura o el comportamiento de las dependencias.

Mejor juntos: observabilidad de la IA de principio a fin con OpenTelemetry

La integración se basa en OpenTelemetry, que mantiene las cosas basadas en estándares y fáciles de mantener. TrueFoundry AI Gateway instrumenta las solicitudes de los agentes y de LLM mediante OpenTelemetry y exporta los rastros a Coralogix a través de gRPC, adjuntando metadatos detallados a cada seguimiento (como el modelo, la ruta, los identificadores de la aplicación/subsistema, la latencia y el estado). Luego, Coralogix ingiere y analiza estos datos para que sus equipos puedan crear paneles, establecer alertas e investigar solicitudes específicas de principio a fin.

Coralogix admite la recepción de rastreos compatibles con OpenTelemetry a través de su punto final de entrada a través de gRPC, lo que hace que se trate de una integración directa del exportador a la plataforma, en lugar de una canalización personalizada que es necesario mantener.

Cómo funciona la integración

En un nivel alto, la solicitud de un usuario llega a TrueFoundry AI Gateway, la puerta de enlace crea intervalos de OpenTelemetry para la solicitud y la actividad posterior del modelo/herramienta, y el exportador envía esos intervalos al punto final de ingestión de OpenTelemetry de Coralogix a través de gRPC. Los rastreos llegan a Coralogix ya estructurados, por lo que sus equipos pueden filtrar por aplicación y subsistema, profundizar en una solicitud específica y ver rápidamente dónde se produjo la latencia, los errores o el comportamiento inesperado.

Paso a paso: configurar Coralogix con TrueFoundry AI Gateway

En Coralogix, recopile el punto final de OpenTelemetry gRPC para su región, su clave de API de Coralogix y decida aplicación y subsistema nombres que desea utilizar para organizar las trazas. Elegir nombres estables y descriptivos ayuda más adelante a la hora de crear consultas y paneles, ya que puedes filtrar los rastros de AI Gateway de forma limpia según esas etiquetas.

En el panel de control de TrueFoundry AI Gateway, abra la configuración de OTEL para la puerta de enlace y habilite el exportador de trazas. Establezca el protocolo en gRPC y configure el punto final para que apunte al punto final de ingesta de OpenTelemetry de Coralogix para la región de su cuenta. Una vez guardada, la pasarela comenzará a exportar los rastros de las solicitudes de LLM y de los agentes a través de la ruta de exportación configurada.

Coralogix espera que los encabezados autentiquen la solicitud y ayuden a atribuir los rastros a la aplicación y al subsistema correctos. En la configuración del exportador OTEL de AI Gateway, defina los encabezados que incluyan su clave de API y los identificadores de la aplicación o el subsistema que haya elegido. Una configuración típica tiene el siguiente aspecto:

Autorización: Portador <coralogix-api-key>
Nombre de la aplicación CX: <application-name>
Nombre del subsistema CX: <subsystem-name>


Con la configuración establecida, envíe el tráfico de prueba a través de la puerta de enlace (por ejemplo, cuando termine algunos chats o ejecute un agente). En TrueFoundry, confirma que se están creando rastreos para las solicitudes, luego cambia a Coralogix y abre la experiencia de rastreo. Filtra por los nombres de las aplicaciones o subsistemas que hayas configurado y comprueba que puedes ver los intervalos correspondientes a la actividad de AI Gateway, incluidos atributos como la ruta, el modelo, la latencia y el estado.

Qué hacen los equipos una vez que las huellas fluyen

Con los rastreos de puerta de enlace en Coralogix, los equipos pueden medir la latencia en todas las rutas y modelos de una manera que sea realmente procesable en producción. En lugar de usar un único número de «latencia de API», puedes ver cómo se comportan los diferentes modelos bajo carga, qué rutas están retrocediendo y si los errores se concentran en torno a un proveedor o dependencia específicos. Como los rastros se correlacionan de forma natural con el resto de la telemetría, también puedes conectar la latencia de la IA con problemas de la infraestructura subyacente o de los servicios posteriores.

Los problemas de costos de la IA suelen aparecer como un aumento repentino en el uso de tokens, conversaciones más largas o una mayor frecuencia de llamadas vinculada a una nueva función o lanzamiento. Al rastrear los metadatos a nivel de solicitud, los equipos pueden identificar qué rutas o inquilinos están provocando cambios en el uso y establecer alertas cuando el comportamiento de los costos cambie inesperadamente. Esa información resulta aún más útil cuando se combina con los controles de AI Gateway, como las reglas de enrutamiento, los límites de tarifas y los presupuestos, ya que la observabilidad puede impulsar directamente la adopción de medidas correctivas.

Los agentes se sienten «lentos» o «equivocados» por muchas razones: tiempos de espera de las herramientas, problemas de recuperación, regresiones rápidas o cambios de modelo/proveedor. El seguimiento permite a los equipos seguir la solicitud a lo largo de toda la cadena de llamadas, analizar con detalle los intervalos más lentos e identificar si el obstáculo es el modelo, una herramienta, la recuperación o la propia lógica de la aplicación. Esta es la diferencia entre adivinar y saber.

Cree paneles y alertas específicos para la IA

Una vez que tienes los rastreos estructurados, resulta sencillo crear paneles que reflejen cómo se usa realmente la IA en tu producto: tráfico de puerta de enlace por ruta y modelo, tendencias de tasa de errores y tiempos de espera por proveedor, percentiles de latencia para los recorridos de los usuarios clave y alertas que se activan cuando un solo proveedor o ruta comienza a degradarse. Esto acelera la respuesta a los incidentes y reduce el riesgo operativo que implica el envío rápido de las funciones de inteligencia artificial.

Elegir la región correcta de Coralogix

Para garantizar el rendimiento y el cumplimiento, es importante exportar los rastros al punto final de Coralogix que coincida con la región de su cuenta. Coralogix proporciona un punto final de entrada compatible con OpenTelemetry (a través de gRPC), y el punto final regional correcto depende de dónde esté alojada su cuenta de Coralogix. (Coralogix)

Conclusión

Las aplicaciones de IA se están convirtiendo rápidamente en algo fundamental, y el nivel de confiabilidad, rendimiento y control de costos sigue aumentando. La integración de TrueFoundry AI Gateway y Coralogix ofrece a los equipos una forma práctica y basada en estándares de obtener una visibilidad integral del tráfico de IA. Centraliza el control de las solicitudes de LLM y de los agentes en la pasarela, y centraliza la observabilidad en Coralogix con rastreos en tiempo real que facilitan enormemente la supervisión y la depuración.