Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Integração de middleware com o TrueFoundry AI Gateway

By Rishiraj Dutta Gupta

Updated: novembro 5, 2026

Published: maio 22, 2026

Integração de middleware com o TrueFoundry AI Gateway

À medida que as organizações escalam suas aplicações de AI, saber o que seus modelos estão fazendo em produção é tão importante quanto colocá-los em funcionamento. Engenheiros precisam de visibilidade sobre cada requisição de inferência   latência, uso de tokens, comportamento do modelo, motivo de finalização (finish reason)   mas conectar ferramentas de observabilidade a cada modelo e provedor significa um trabalho de instrumentação complexo e repetitivo para cada integração.

A grande questão: como obter visibilidade full-stack em todos os modelos que suas equipes estão usando sem engenharia personalizada para cada um?

Na Middleware, o objetivo é tornar a observabilidade tão simples quanto poderosa. É por isso que estamos entusiasmados em anunciar a integração do Middleware com o TrueFoundry AI Gateway. Essa integração oferece à sua organização visibilidade completa de cada requisição de inferência de AI   correlacionada com métricas de infraestrutura, traces de aplicações e logs   tudo a partir de uma plataforma única e centralizada, ajudando a garantir que suas operações de AI sejam transparentes e estejam sob controle.

O Poder do TrueFoundry AI Gateway

O TrueFoundry AI Gateway é uma maneira poderosa para desenvolvedores e equipes de plataforma gerenciarem, monitorarem e escalarem suas aplicações de AI. Ele reúne acesso unificado a centenas de large language models, roteamento inteligente e aplicação centralizada de políticas   tudo em um só lugar. Um único pod do gateway lida com mais de 250 requisições por segundo enquanto adiciona aproximadamente 3 ms de latência, tornando-o pronto para produção desde o primeiro dia.

À medida que a adoção de AI acelera, o verdadeiro desafio não é acessar modelos   é gerenciar a complexidade resultante. Múltiplos provedores, APIs em constante evolução e requisitos rígidos de conformidade podem desacelerar as equipes rapidamente. O TrueFoundry AI Gateway traz ordem a essa complexidade, atuando como o plano de controle (control plane) para AI empresarial. Ele unifica o acesso, aplica políticas e entrega observabilidade compatível com OpenTelemetry em todos os modelos e ambientes   sem exigir nenhuma alteração nas aplicações que chamam o gateway.

Middleware: Observabilidade Full-Stack Construída sobre OpenTelemetry

O Middleware é uma plataforma de observabilidade full-stack construída sobre o OpenTelemetry como seu padrão essencial de instrumentação. Ele aceita traces, logs, métricas de infraestrutura e dados de monitoramento de usuários reais (RUM) por meio do OTEL Collector, armazenando-os em uma camada de dados correlacionada única que oferece às equipes de engenharia uma visão completa de seus sistemas em um só lugar.

O que diferencia o Middleware é o que ele faz após a chegada de um trace. Em vez de armazenar spans de forma isolada, o Middleware os correlaciona com sinais de infraestrutura do host ou cluster onde o serviço é executado. Um engenheiro investigando um pico de latência em um span do gateway pode navegar diretamente da visualização do trace para as métricas de CPU e memória daquele pod   sem alternar de painel. O Middleware também constrói um mapa de topologia de serviços em tempo real a partir dos dados de spans recebidos, tornando cada serviço instrumentado visível como um nó no mapa de serviços, com latência e taxa de erro calculadas automaticamente a partir de seus spans.

Melhores Juntos: Uma Integração Perfeita para Visibilidade Completa

A integração do Middleware com o TrueFoundry AI Gateway simplifica e fortalece sua observabilidade de AI. Essa combinação facilita a inclusão de visibilidade de nível de produção diretamente no seu fluxo de trabalho de AI, garantindo que seus sistemas sejam observáveis desde o momento do deploy.

Com essa solução integrada, cada requisição de inferência que passa pelo TrueFoundry AI Gateway gera automaticamente um conjunto estruturado de spans OpenTelemetry. Esses spans carregam conteúdo do prompt, conteúdo do completion, contagem de tokens, nome do modelo, latência e finish reason como atributos consultáveis   e depois fluem de forma assíncrona para o Middleware via OTLP/HTTP. O Middleware os ingere junto com o restante da telemetria da sua infraestrutura, tornando o tráfego do gateway imediatamente visível como um serviço de primeira classe no mapa de topologia e nas visualizações de APM ao lado dos serviços de aplicação que o chamam.

Para controle total sobre dados sensíveis, a opção Exclude Request Data do gateway TrueFoundry remove o conteúdo do prompt e do completion dos atributos do span antes da exportação. A contagem de tokens, a latência e os metadados do modelo são mantidos independentemente disso, para que você preserve a visibilidade operacional completa sem expor as entradas dos usuários a sistemas externos. Para organizações com requisitos rígidos de saída de rede (egress), o exportador do gateway também pode ser apontado para um OpenTelemetry Collector gerido pelo próprio cliente que faz o encaminhamento para o Middleware   sem exigir nenhuma alteração além da URL do endpoint.

‍

Como Funciona a Integração entre Middleware e TrueFoundry

Integração entre Middleware e TrueFoundry AI Gateway

O Middleware e o TrueFoundry AI Gateway trabalham juntos para entregar observabilidade sem adicionar complexidade ao seu caminho de inferência.

Como Funciona o Fluxo de Traces

‍

  1. Sua aplicação envia uma requisição de inferência para o TrueFoundry AI Gateway. O gateway lida com autenticação, resolução do modelo e roteamento inteiramente em memória   nenhuma chamada externa acontece no caminho crítico.

  2. O gateway encaminha a requisição para o provedor de LLM configurado   a única chamada externa no caminho da requisição   e retorna a resposta para sua aplicação imediatamente.

  3. Após a entrega da resposta, o gateway publica de forma assíncrona o evento completo de trace em um barramento interno NATS. A exportação acontece totalmente fora do caminho da requisição, portanto a latência de inferência nunca é afetada pela disponibilidade ou lentidão do endpoint OTEL.

  4. Um processo exportador OTEL dedicado lê os dados do barramento NATS, serializa os spans como um payload OTLP/HTTP codificado em protobuf e os envia para o endpoint do seu tenant no Middleware em https://<seu-dominio>.middleware.io:443/v1/traces com sua chave de API do Middleware no cabeçalho Authorization.

  5. O Middleware recebe o payload em sua camada de ingestão OTLP e armazena os spans em seu backend de telemetria correlacionada, onde ficam imediatamente disponíveis para consulta junto com logs, métricas de infraestrutura e dados de APM para o restante do seu stack.

A configuração é igualmente simples. Navegue até AI Engineering → Settings → OTEL Config no painel do TrueFoundry, insira o endpoint do seu tenant no Middleware e sua chave de API, defina o protocolo como HTTP com codificação protobuf e você estará pronto para começar.

Comece com Observabilidade de AI Full-Stack

A observabilidade de AI não precisa significar um trabalho de instrumentação complexo. Com o Middleware integrado ao TrueFoundry AI Gateway, todo o seu tráfego de inferência torna-se visível   correlacionado com sinais de infraestrutura, filtrável por nome do modelo ou contagem de tokens, e mapeado em uma topologia de serviço em tempo real   a partir do momento em que a configuração é salva. É uma observabilidade completa e de nível de produção que é fácil de configurar, parecendo mais o acionamento de um interruptor do que um projeto de engenharia sob medida.

Para saber mais, visite a documentação do Middleware e a referência de integração do TrueFoundry para ver como é simples obter visibilidade full-stack em suas aplicações de AI.

Pronto para começar? Conecte seu gateway TrueFoundry ao Middleware hoje mesmo e transforme cada requisição de inferência em um evento de observabilidade estruturado e consultável.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

agosto 31, 2026
|
5 min read

Otimização de Custo de LLM: O Guia Completo (2026)

agosto 26, 2026
|
5 min read

Engenharia de Contexto: Projetando o que seu agente de IA vê

outubro 5, 2023
|
5 min read

<Webinar> Vitrine de GenAI para Empresas

Best Fine Tuning Tools for Model Training
maio 3, 2024
|
5 min read

As 6 Principais Ferramentas de Ajuste Fino (Fine-Tuning) para Treinamento de Modelos em 2026

novembro 20, 2026
|
5 min read

AI Gateway Observability for Agents: Oodle on TrueFoundry

Integrations
novembro 20, 2026
|
5 min read

AI Gateway Security for Agents: Straiker on TrueFoundry

No items found.
novembro 18, 2026
|
5 min read

Limites do Claude Code Explicados (Edição 2026)

No items found.
Analyzing how Cloudflare detects MCP traffic
novembro 18, 2026
|
5 min read

How Cloudflare Detects MCP Traffic and Helps Secure It

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour