Integración de TrueFoundry con Braintrust

Observabilidad completa de LLM: Braintrust y TrueFoundry AI Gateway

A medida que las organizaciones se apresuran a implementar aplicaciones impulsadas por la IA, el desafío deja de ser rápidamente «¿podemos llamar a un LLM?» y pasa a ser «¿podemos operar este sistema con confianza?» Una vez que tienes varios proveedores, varias versiones de modelos, herramientas de llamadas a los agentes y una lógica empresarial integrada en cada solicitud, los verdaderos riesgos se ponen de manifiesto en la producción: el aumento del gasto sin una atribución clara, las regresiones de latencia difíciles de precisar y los cambios de calidad que los usuarios perciben antes de que los datos los demuestren.

Ahí es donde la combinación de TrueFoundry AI Gateway y Braintrust encaja de forma natural. Puerta de enlace de IA TrueFoundry es la capa de proxy entre sus aplicaciones y los proveedores de modelos, creada para ofrecer a los equipos una interfaz unificada con gobernabilidad y observabilidad de nivel empresarial. Braintrust es una plataforma de observabilidad diseñada para ayudar a los equipos a rastrear, evaluar e iterar el comportamiento real de LLM a lo largo del tiempo. Juntos, crean un bucle práctico: dirigen todo el tráfico de modelos a través de un único punto de control, exportan automáticamente los trazos detallados y los utilizan para mejorar la calidad y la fiabilidad con pruebas en lugar de conjeturas.

Resumen sobre TrueFoundry AI Gateway

Puerta de enlace de IA TrueFoundry es la capa de proxy que se encuentra entre sus aplicaciones y los proveedores de LLM y los servidores MCP. Es una plataforma de nivel empresarial que permite a los usuarios acceder a más de 1000 LLM mediante una interfaz unificada y, al mismo tiempo, cuidar la observabilidad y la gobernanza. AI Gateway es compatible con OpenTelemetry y admite la exportación de los trazos OTEL, lo que significa que puede transmitir los rastreos a nivel de solicitud a un servidor externo de ingeniería de LLM o de observabilidad sin cambiar las rutas del código de la aplicación.

Resumen sobre Braintrust

Braintrust admite su uso como backend de OpenTelemetry: se dirigen los rastros a Braintrust, se autentican con una clave de API y se adjunta un «elemento principal» (como un proyecto o un experimento) para que los rastros lleguen al ámbito organizativo correcto. Una vez que los rastros están en Braintrust, se convierten en el sustrato de los flujos de trabajo de ingeniería diarios: investigan los patrones de latencia y falla, comprenden el uso de los tokens y los factores que generan costos, y realizan evaluaciones que cuantifican la calidad de los resultados a lo largo del tiempo en lugar de basarse en comentarios anecdóticos.

Mejor juntos: una integración perfecta para la visibilidad de la producción y una iteración más rápida

La verdadera ventaja se obtiene cuando la puerta de enlace se convierte en la única fuente confiable de telemetría y Braintrust se convierte en el lugar donde esa telemetría se convierte en información de ingeniería. Con la exportación OTEL habilitada en TrueFoundry AI Gateway, cada solicitud de LLM que pase por la puerta de enlace puede generar automáticamente un rastreo que capture el contexto crítico (los metadatos de la solicitud, la selección del modelo/proveedor y los plazos) sin necesidad de una instrumentación personalizada en cada servicio. Con Braintrust absorbiendo esos rastros, puede pasar de «creemos que este cambio rápido ayudó» a «podemos demostrar el impacto en el tráfico real y podemos detectar las regresiones en forma temprana».

Cómo funciona la integración de Braintrust y TrueFoundry

En un nivel alto, su aplicación envía el tráfico de LLM a TrueFoundry AI Gateway, que reenvía la solicitud al proveedor de modelos seleccionado. Paralelamente, la puerta de enlace emite los rastros de OpenTelemetry de esas interacciones y los exporta a un backend compatible con Otel. Braintrust expone una ruta de ingesta compatible con Otel que acepta estos rastros cuando se proporciona la autenticación y un ámbito principal (proyecto o experimento).

Esto significa que configuras la exportación una vez en la capa de puerta de enlace y, a continuación, el flujo de seguimiento se convierte en un activo compartido entre los equipos, útil para la depuración, la atribución de gastos, la supervisión del rendimiento y la evaluación de la calidad, sin tener que adaptar todas las aplicaciones que requieren un LLM.

Comience: Exporte las trazas de OTEL desde TrueFoundry AI Gateway a Braintrust

Para solucionarlo, configurará la exportación OpenTelemetry de AI Gateway para que apunte al punto final de ingestión de trazas de Braintrust. El AI Gateway de TrueFoundry ofrece una capacidad de primera clase para la exportación de trazas mediante OTEL, que incluye opciones de exportación mediante HTTP/gRPC y la posibilidad de pasar los encabezados personalizados que necesite tu backend. Documentos aquí

En su panel de control de TrueFoundry, abra la configuración OTEL de AI Gateway y habilite la exportación de trazas. A continuación, configure el punto final de rastreo de Braintrust como:

https://api.braintrust.dev/otel/v1/traces

Para la autenticación y el enrutamiento, añada un Autorización encabezado con su clave API de Braintrust y añada x-bt-padre encabezado para especificar el proyecto Braintrust donde deben caer las huellas, por ejemplo:

x-bt-parent: project_id: <YOUR_PROJECT_ID>

Tanto Braintrust como TrueFoundry documentan este concepto de «padre», y TrueFoundry también señala que puedes usar otros prefijos como nombre_proyecto: o id_experimento: en función de cómo desee organizar las trazas.

Tras guardar la configuración, cualquier solicitud de LLM que se dirija a través de TrueFoundry AI Gateway comenzará a exportar las trazas automáticamente y podrás verlas en Braintrust en los registros de tu proyecto.

Conclusión

Los sistemas de LLM de producción son intrínsecamente dinámicos: los proveedores cambian, las solicitudes evolucionan, los gráficos de los agentes crecen y el comportamiento de los usuarios cambia. Los equipos que ganan no son los que nunca rompen las cosas, sino los que pueden ver lo que ha sucedido rápidamente, medir el impacto con confianza y realizar iteraciones de forma segura.

TrueFoundry AI Gateway proporciona un punto de control centralizado y una exportación de telemetría basada en estándares. Braintrust convierte esa telemetría en un flujo de trabajo de ingeniería para el seguimiento, la evaluación y la mejora continua.