Integração TrueFoundry com Braintrust

Observabilidade Full-Stack de LLMs: Braintrust e TrueFoundry AI Gateway

À medida que as organizações correm para implantar aplicações baseadas em IA, o desafio rapidamente deixa de ser “conseguimos chamar um LLM?” e passa a ser “conseguimos operar este sistema com confiança?” Uma vez que se tem múltiplos fornecedores, múltiplas versões de modelos, agentes a chamar ferramentas e lógica de negócio a envolver cada pedido, os verdadeiros riscos surgem em produção: aumento de gastos sem atribuição clara, regressões de latência difíceis de identificar e alterações de qualidade que são sentidas pelos utilizadores antes de serem comprovadas por dados.

É aí que a combinação do TrueFoundry AI Gateway e do Braintrust se encaixa naturalmente. TrueFoundry AI Gateway é a camada de proxy entre as suas aplicações e os fornecedores de modelos, construída para oferecer às equipas uma interface unificada com governança e observabilidade de nível empresarial. Braintrust é uma plataforma de observabilidade projetada para ajudar as equipas a rastrear, avaliar e iterar sobre o comportamento real de LLMs ao longo do tempo. Juntos, eles criam um ciclo prático: encaminhar todo o tráfego do modelo através de um único ponto de controlo, exportar rastreamentos ricos automaticamente e usar esses rastreamentos para melhorar a qualidade e a fiabilidade com evidências em vez de suposições.

Breve descrição sobre o TrueFoundry AI Gateway

TrueFoundry AI Gateway é a camada de proxy que se situa entre as suas aplicações e os fornecedores de LLM e Servidores MCP. É uma plataforma de nível empresarial que permite aos utilizadores aceder a mais de 1000 LLMs usando uma interface unificada, ao mesmo tempo que cuida da observabilidade e governança. O AI Gateway é compatível com OpenTelemetry e suporta a exportação de rastreamentos OTEL, o que significa que pode transmitir rastreamentos de nível de pedido para um backend de observabilidade externo ou de engenharia de LLM sem alterar os caminhos do código da sua aplicação.

Breve descrição sobre o Braintrust

Braintrust suporta ser usado como um backend OpenTelemetry: você encaminha rastreamentos para o Braintrust, autentica com uma chave de API e anexa um “pai” (como um projeto ou experimento) para que os rastreamentos cheguem ao escopo organizacional correto. Uma vez que os rastreamentos estão no Braintrust, eles tornam-se o substrato para os fluxos de trabalho de engenharia diários: investigar padrões de latência e falha, compreender o uso de tokens e os fatores de custo, e executar avaliações que quantificam a qualidade da saída ao longo do tempo, em vez de depender de feedback anedótico.

Melhor Juntos: Uma Integração Perfeita para Visibilidade em Produção e Iteração Mais Rápida

A verdadeira vantagem surge quando o gateway se torna a única fonte de verdade para a telemetria, e o Braintrust se torna o local onde essa telemetria se transforma em insights de engenharia. Com a exportação OTEL ativada no TrueFoundry AI Gateway, cada pedido de LLM que passa pelo gateway pode produzir automaticamente um rastreamento que captura contexto crítico (metadados do pedido, seleção de modelo/fornecedor e tempo) sem instrumentação personalizada em cada serviço. Com o Braintrust a ingerir esses rastreamentos, pode passar de “achamos que esta alteração de prompt ajudou” para “podemos provar o impacto no tráfego real e podemos detetar regressões precocemente.”

Como funciona a integração do Braintrust e do TrueFoundry

Num nível elevado, a sua aplicação envia tráfego de LLM para o TrueFoundry AI Gateway, que encaminha o pedido para o fornecedor de modelo selecionado. Em paralelo, o gateway emite rastreamentos OpenTelemetry para essas interações e os exporta para um backend compatível com OTEL. O Braintrust expõe um caminho de ingestão compatível com OTEL que aceita esses rastreamentos quando fornece autenticação e um escopo pai (projeto ou experimento).

Isto significa que configura a exportação uma única vez na camada do gateway, e então o fluxo de rastreamento torna-se um ativo partilhado entre as equipas, útil para depuração, atribuição de gastos, monitorização de desempenho e avaliação de qualidade, sem ter de adaptar cada aplicação que chama um LLM.

Primeiros Passos: Exportar Rastreamentos OTEL do TrueFoundry AI Gateway para o Braintrust

Para configurar isso, você configurará a exportação OpenTelemetry do AI Gateway para apontar para o endpoint de ingestão de rastreamentos do Braintrust. O AI Gateway da TrueFoundry possui a exportação de rastreamentos OTEL como uma funcionalidade de primeira classe, incluindo opções de exportação HTTP/gRPC e suporte para passar cabeçalhos personalizados necessários pelo seu backend. Documentação aqui

No seu painel TrueFoundry, abra a configuração OTEL do AI Gateway e ative a exportação de rastreamentos. Em seguida, configure o endpoint de rastreamentos do Braintrust como:

https://api.braintrust.dev/otel/v1/traces

Para autenticação e roteamento, adicione um Authorization cabeçalho usando sua chave de API do Braintrust, e adicione o x-bt-parent cabeçalho para especificar o projeto Braintrust onde os rastreamentos devem ser enviados, por exemplo:

x-bt-parent: project_id:<YOUR_PROJECT_ID>

Tanto o Braintrust quanto o TrueFoundry documentam este conceito de “pai”, e o TrueFoundry também observa que você pode usar outros prefixos como project_name: ou experiment_id: dependendo de como você deseja organizar os rastreamentos.

Após salvar a configuração, quaisquer requisições LLM roteadas através do TrueFoundry AI Gateway começarão a exportar rastreamentos automaticamente, e você poderá visualizá-los dentro do Braintrust, nos logs do seu projeto.

Conclusão

Sistemas LLM em produção são inerentemente dinâmicos: provedores mudam, prompts evoluem, grafos de agentes crescem e o comportamento do usuário se altera. As equipes que vencem não são aquelas que nunca quebram nada, são aquelas que conseguem ver o que aconteceu rapidamente, medir o impacto com confiança e iterar com segurança.

O TrueFoundry AI Gateway fornece o ponto de controle centralizado e a exportação de telemetria baseada em padrões. O Braintrust transforma essa telemetria em um fluxo de trabalho de engenharia para rastreamento, avaliação e melhoria contínua.