Integração Coralogix com TrueFoundry AI Gateway

À medida que as equipes passam de experimentos de IA para aplicações de nível de produção, um tema se destaca em todos os lugares: a observabilidade não é negociável. Não basta mais saber se uma solicitação foi bem-sucedida ou falhou. É preciso entender por que um modelo se comportou de determinada maneira, quais prompts ou ferramentas foram envolvidos e como isso impacta custo, latência e experiência do usuário.

É exatamente para isso que a integração entre TrueFoundry AI Gateway e Coralogix foi construída. O TrueFoundry AI Gateway oferece às equipes um único plano de controle para LLMs e agentes em todos os provedores e ambientes, com roteamento, limitação de taxa, guardrails, novas tentativas e controles de custo no caminho da solicitação. O Coralogix é uma plataforma de observabilidade full-stack que unifica logs, métricas, rastreamentos e dados de segurança, com análises em tempo real que facilitam a investigação de problemas e o monitoramento de desempenho em escala.

Juntos, eles oferecem observabilidade de IA de ponta a ponta: desde uma solicitação do usuário entrando no gateway, passando pelas chamadas de modelo e ferramenta que ocorrem a jusante, até os rastreamentos e métricas fluindo para painéis e alertas.

Por que Coralogix e TrueFoundry

Os sistemas de IA modernos não são mais "um modelo e um endpoint". Implantações reais abrangem múltiplos provedores de modelos, modelos locais e hospedados, sistemas de recuperação, chamadas de ferramentas e frameworks de agentes. Eles também são executados em desenvolvimento, staging e produção — muitas vezes em diferentes regiões — e a mesma experiência do usuário pode atravessar múltiplos serviços e dependências.

Essa complexidade faz com que o monitoramento tradicional se desfaça rapidamente. Se você tem apenas logs dispersos, acaba adivinhando: a lentidão foi causada pelo provedor do modelo, recuperação, execução da ferramenta ou pelo seu próprio serviço? Se um lançamento fez o uso de tokens disparar, qual rota ou recurso introduziu a mudança? Quando incidentes de produção acontecem, você precisa da capacidade de ir de um sintoma ao caminho exato da solicitação em minutos.

A maneira mais limpa de fazer isso é tratar o tráfego de IA como tráfego de aplicação de primeira classe, com rastreamentos que mostram o ciclo de vida completo da solicitação e metadados que ajudam a filtrar por modelo, rota, ambiente, latência e resultados.

O Poder do TrueFoundry AI Gateway

O TrueFoundry AI Gateway se posiciona na frente do seu tráfego de LLM e agentes como uma única camada governada. Ele centraliza o acesso a modelos entre fornecedores e implantações, aplica regras de roteamento, limites de taxa e guardrails, e fornece controles no nível da solicitação que ajudam as equipes a operar a IA de forma confiável em produção. A principal vantagem é a consistência: cada solicitação segue o mesmo caminho controlado, e o gateway se torna o local natural para instrumentar e exportar telemetria para observabilidade.

Coralogix para observabilidade em produção

O Coralogix é construído para ingerir telemetria de alto volume e torná-la explorável em tempo real. Quando os rastreamentos estão disponíveis no mesmo sistema que seus logs e métricas, as investigações se tornam mais rápidas e fundamentadas. Em vez de tentar reconstruir uma história a partir de logs distribuídos, você pode seguir o rastreamento, identificar o gargalo e correlacioná-lo com métricas de infraestrutura ou comportamento de dependência.

Melhor Juntos: observabilidade de IA de ponta a ponta com OpenTelemetry

A integração é baseada no OpenTelemetry, o que garante que tudo seja baseado em padrões e fácil de manter. O TrueFoundry AI Gateway instrumenta solicitações de LLM e de agentes usando OpenTelemetry e exporta rastreamentos para o Coralogix via gRPC, com metadados ricos anexados a cada rastreamento (como modelo, rota, identificadores de aplicação/subsistema, latência e status). O Coralogix então ingere e analisa esses dados para que suas equipes possam criar painéis, definir alertas e investigar solicitações específicas de ponta a ponta.

O Coralogix suporta o recebimento de rastreamentos compatíveis com OpenTelemetry através de seu endpoint de entrada via gRPC, o que torna esta uma integração direta do exportador para a plataforma, em vez de um pipeline personalizado que você precise manter.

Como a integração funciona

Em termos gerais, uma solicitação de usuário atinge o TrueFoundry AI Gateway, o gateway cria spans OpenTelemetry para a solicitação e a atividade do modelo/ferramenta downstream, e o exportador envia esses spans para o endpoint de ingestão OpenTelemetry do Coralogix via gRPC. Os rastreamentos chegam ao Coralogix já estruturados, para que suas equipes possam filtrar por aplicação e subsistema, aprofundar-se em uma solicitação específica e ver rapidamente onde ocorreram latência, erros ou comportamento inesperado.

Passo a passo: Configurando o Coralogix com o TrueFoundry AI Gateway

No Coralogix, colete o endpoint gRPC do OpenTelemetry para sua região, sua chave de API do Coralogix e decida os nomes de aplicação e subsistema que você deseja usar para organizar os rastreamentos. Escolher nomes estáveis e descritivos ajuda mais tarde ao criar consultas e painéis, porque você pode filtrar seus rastreamentos do AI Gateway de forma limpa por esses rótulos.

No painel do TrueFoundry AI Gateway, abra a configuração OTEL para o gateway e habilite o exportador de rastreamentos. Defina o protocolo como gRPC e configure o endpoint para apontar para o endpoint de ingestão OpenTelemetry do Coralogix para a região da sua conta. Uma vez salvo, o gateway começará a exportar rastreamentos para solicitações de LLM e de agentes através do caminho do exportador configurado.

O Coralogix espera cabeçalhos que autentiquem a solicitação e ajudem a atribuir rastreamentos à aplicação e subsistema corretos. Na configuração do exportador OTEL do AI Gateway, defina cabeçalhos que incluam sua chave de API mais os identificadores de aplicação/subsistema que você escolheu. Uma configuração típica se parece com isto:

Authorization: Bearer <coralogix-api-key>
CX-Application-Name: <application-name>
CX-Subsystem-Name: <subsystem-name>


Com a configuração em vigor, envie tráfego de teste através do gateway (por exemplo, algumas conclusões de chat ou uma execução de agente). No TrueFoundry, confirme que os rastreamentos estão sendo criados para as solicitações, então mude para o Coralogix e abra a experiência de rastreamento. Filtre pelos nomes de aplicação/subsistema que você configurou e verifique se você pode ver os spans correspondentes à atividade do AI Gateway, incluindo atributos como rota, modelo, latência e status.

O que as equipes fazem quando os rastreamentos estão fluindo

Com os rastreamentos do gateway no Coralogix, as equipes podem medir a latência em rotas e modelos de uma forma que seja realmente acionável em produção. Em vez de um único número de “latência da API”, você pode ver como diferentes modelos se comportam sob carga, quais rotas estão regredindo e se as falhas se agrupam em torno de um provedor ou dependência específica. Como os rastreamentos se correlacionam naturalmente com o restante da sua telemetria, você também pode conectar a latência da IA a problemas de infraestrutura subjacente ou de serviço downstream.

Problemas de custo de IA frequentemente se manifestam como um aumento repentino no uso de tokens, conversas mais longas ou maior frequência de chamadas ligadas a um novo recurso ou lançamento. Com metadados em nível de solicitação nos rastreamentos, as equipes podem identificar quais rotas ou locatários estão impulsionando as mudanças de uso e definir alertas quando o comportamento de custo muda inesperadamente. Essa percepção se torna ainda mais útil quando combinada com controles do AI Gateway, como regras de roteamento, limites de taxa e orçamentos, porque a observabilidade pode impulsionar diretamente ações corretivas.

Agentes parecem “lentos” ou “errados” por muitas razões: timeouts de ferramentas, problemas de recuperação, regressões de prompt ou mudanças de modelo/provedor. Os rastreamentos permitem que as equipes sigam a solicitação por toda a cadeia de chamadas, aprofundem-se no span lento e identifiquem se o gargalo é o modelo, uma ferramenta, a recuperação ou a lógica da sua própria aplicação. Esta é a diferença entre adivinhar e saber.

Crie dashboards e alertas específicos para IA

Com rastreamentos estruturados, torna-se simples criar dashboards que refletem como a IA é realmente utilizada em seu produto: tráfego do gateway por rota e modelo, taxas de erro e tendências de timeout por provedor, percentis de latência para as principais jornadas do usuário, e alertas que são acionados quando um único provedor ou rota começa a degradar. Isso torna a resposta a incidentes mais rápida e reduz o risco operacional de lançar recursos de IA rapidamente.

Escolhendo a região Coralogix correta

Para desempenho e conformidade, é importante exportar rastreamentos para o endpoint Coralogix que corresponde à região da sua conta. A Coralogix oferece um endpoint de entrada compatível com OpenTelemetry (via gRPC), e o endpoint regional correto depende de onde sua conta Coralogix está hospedada. (Coralogix)

Conclusão

As aplicações de IA estão rapidamente se tornando de missão crítica, e o nível de exigência para confiabilidade, desempenho e controle de custos continua a aumentar. A integração do TrueFoundry AI Gateway com a Coralogix oferece às equipes uma maneira prática e baseada em padrões de obter visibilidade de ponta a ponta sobre o tráfego de IA. Você centraliza o controle das solicitações de LLM e de agentes no gateway, e centraliza a observabilidade na Coralogix com rastreamentos em tempo real que tornam o monitoramento e a depuração dramaticamente mais fáceis.