Integração do TrueFoundry AI Gateway com LangSmith

As empresas estão a colocar aplicações de IA em produção mais rapidamente do que nunca e a realidade operacional do outro lado é muito diferente de um protótipo. As equipas de aplicação precisam de lançar e iterar rapidamente. As equipas de plataforma e qualidade precisam de saber o que cada chamada de modelo fez, porquê e se o resultado estava correto. A questão mais difícil é esta: como observar e avaliar centenas de chamadas de modelo em vários fornecedores e múltiplos frameworks de agentes sem escrever instrumentação personalizada dentro de cada aplicação?

Na TrueFoundry, a nossa abordagem é manter a camada de execução uniforme e permitir que as equipas integrem o sistema de observabilidade e avaliação que já utilizam. É por isso que estamos a anunciar uma integração nativa entre o TrueFoundry AI Gateway e LangSmith da LangChain. O gateway torna-se o único limite de execução por onde cada chamada de modelo e cada passo do agente passa e o LangSmith torna-se o sistema de registo onde essas chamadas se transformam em rastreamentos, avaliações e execuções de conjuntos de dados sobre os quais a equipa pode agir.

Apresentando o TrueFoundry AI Gateway

O TrueFoundry AI Gateway estabelece um ponto de entrada único e governado para todos os pedidos de modelos e agentes. As aplicações e os agentes já não comunicam diretamente com os fornecedores de modelos. Eles comunicam com o proxy do gateway. Esta decisão arquitetónica é importante porque cria uma superfície consistente para a aplicação de políticas, decisões de encaminhamento e geração de telemetria. O gateway determina qual modelo é utilizado, sob que restrições, em que ambiente e com que salvaguardas. Torna-se também o único local onde o comportamento em produção pode ser observado de forma abrangente.

Para os líderes de plataforma, este é o ponto em que os sistemas de IA deixam de ser uma coleção de scripts Python e começam a comportar-se como infraestrutura.

​​Apresentando o LangSmith

Enquanto o gateway governa onde e como os pedidos são executados, LangSmith é o local onde se reconstrói o que realmente aconteceu como dados de rastreamento estruturados, em vez de logs dispersos. Na terminologia do LangSmith, um rastreamento captura a sequência de passos de ponta a ponta para um único pedido (desde a entrada até à saída final), e cada passo dentro desse rastreamento é uma execução, uma única unidade de trabalho, como uma chamada LLM, uma etapa de cadeia, formatação de prompt ou qualquer outra operação na qual você deseja ter visibilidade. Os rastreamentos são organizados em projetos (um contêiner para tudo relacionado a um determinado aplicativo ou serviço), e conversas de várias etapas podem ser vinculadas como threads para que você possa inspecionar o comportamento em um diálogo inteiro, em vez de uma única solicitação isolada. Leia aqui se quiser se aprofundar: Conceitos de observabilidade

O LangSmith também trata o feedback como um conceito de primeira classe, permitindo que você anexe pontuações e critérios a execuções - seja esse feedback vindo de humanos, avaliadores automatizados ou avaliadores online executando em tráfego de produção. Isso é o que o torna mais do que “monitoramento”: ele suporta um ciclo de avaliação onde você pode executar avaliações offline em conjuntos de dados selecionados antes do lançamento, e avaliações online em interações reais de usuários em produção para detectar regressões e rastrear a qualidade em tempo real. 

É assim que os rastreamentos do TrueFoundry AI Gateway aparecem na interface do usuário do LangSmith. Cada chamada de modelo aparece como sua própria execução com o tipo de operação e a latência capturados no nível do gateway.

Como TrueFoundry e LangSmith trabalham juntos

A maioria das empresas já opera uma pilha de observabilidade centralizada que serve de base para sua resposta a incidentes e prática de SRE. O desafio com os sistemas LLM é que a telemetria gerada pelas chamadas de modelo (prompts, conclusões, uso de tokens, acertos de cache, decisões de guardrail, gráficos de etapas do agente) não se alinha perfeitamente com as métricas e rastreamentos para os quais essas ferramentas foram originalmente projetadas. As equipes geralmente acabam escolhendo entre duas opções insatisfatórias:

1. Instrumentar cada aplicativo com um SDK específico para LLM
2. Enviar rastreamentos para a pilha existente, perdendo execuções, threads e avaliações.

No lado do TrueFoundry, você habilita o exportador de rastreamentos OpenTelemetry do AI Gateway. O gateway permanece responsável por gerar e armazenar rastreamentos que você pode visualizar na interface do usuário do TrueFoundry Monitor, e a exportação desses rastreamentos é uma operação aditiva que não altera o comportamento de armazenamento próprio do TrueFoundry. Verifique a documentação de exportação OTEL aqui: TrueFoundry

No lado do LangSmith, você fornece uma chave de API para autenticação e (opcionalmente) um nome de projeto para que os rastreamentos cheguem a um projeto previsível, em vez do padrão. O guia OpenTelemetry do LangSmith documenta os cabeçalhos OTLP usados para autenticação e roteamento de projetos. Documentação: LangChain

Integrando com LangSmith gerenciado (SaaS)

Consulte nossa documentação aqui: LangSmith

Auto-hospedagem do LangSmith em uma VPC e exportação de rastreamentos do AI Gateway

Se você estiver implantando no Kubernetes, o guia oficial “Auto-hospedagem do LangSmith no Kubernetes” é baseado em Helm e é explícito sobre o que você deve fornecer antecipadamente: uma chave de licença LangSmith, um salt de chave de API e (se estiver usando autenticação básica) um segredo JWT. Ele também recomenda o uso de Postgres/Redis/ClickHouse gerenciados externamente para produção, em vez dos padrões no cluster, porque o volume de rastreamentos pode crescer rapidamente. Para uma leitura mais aprofundada, recomendamos consultar a documentação de auto-hospedagem do LangSmith no Kubernetes: Auto-hospedagem no Kubernetes.

Para simplificar esta configuração no TrueFoundry, mantemos um repositório de gráficos Helm em github.com/truefoundry/tfy-langsmith-charts que empacota o LangSmith juntamente com os serviços de backend necessários.

Conclusão

Para líderes de IA, a integração TrueFoundry–LangSmith oferece uma base comum onde a execução, observabilidade e avaliação permanecem alinhadas à medida que os sistemas escalam. Ela permite que as equipes gerenciem aplicações LLM com o mesmo rigor que os serviços distribuídos, atendendo aos requisitos corporativos sem desacelerar o desenvolvimento, pois a IA em produção exige infraestrutura de nível de produção.

A parceria é intencionalmente composível: o TrueFoundry governa e roteia a execução, o LangSmith registra e avalia o comportamento, e o OpenTelemetry os conecta. Juntos, eles funcionam como um plano de controle prático que leva as organizações de demos promissoras a uma IA confiável e responsável em produção.