Integração LangChain com Truefoundry

Potencialize Seus Aplicativos LangChain com a Plataforma Pronta para Produção da TrueFoundry

LangChain surgiu como um framework poderoso para construir aplicativos inovadores impulsionados por Grandes Modelos de Linguagem (LLMs). Sua modularidade e integrações extensivas permitem que os desenvolvedores criem IA conversacional sofisticada, ferramentas de análise de dados e muito mais. No entanto, implementar e gerenciar esses aplicativos LangChain em um ambiente de produção introduz complexidades relacionadas a escalabilidade, observabilidade, gerenciamento de custos e suporte a múltiplos LLMs.

Esta publicação do blog irá guiá-lo sobre como aproveitar o TrueFoundry com seus projetos LangChain para desbloquear um fluxo de trabalho de desenvolvimento para produção contínuo e eficiente.

Por que usar o TrueFoundry para Seus Aplicativos LangChain?

TrueFoundry aborda os desafios críticos de executar aplicativos LangChain em escala:

• Acesso Unificado a LLMs: Conecte-se a vários provedores de LLM líderes (OpenAI, Anthropic e mais em breve) através de um único e consistente endpoint de API, simplificando integrações e permitindo experimentação fácil.
• Implantação Descomplicada de Modelos: Implante e sirva seus modelos baseados em LangChain com escalonamento automático, garantindo alta disponibilidade e utilização otimizada de recursos sem a complexidade do Kubernetes.
• Observabilidade Profunda com Rastreamento de LLM: Obtenha visibilidade sem precedentes sobre as interações LLM do seu aplicativo LangChain. Monitore, depure e otimize cada etapa de suas cadeias e agentes em produção.
• Rastreamento de Custo e Desempenho: Monitore de perto seus gastos com LLM e métricas de desempenho em diferentes modelos, permitindo decisões baseadas em dados para otimização de custos e melhoria da experiência do usuário.
• Confiabilidade de Nível de Produção: Implemente mecanismos inteligentes de fallback e de nova tentativa sem esforço, garantindo que seus aplicativos LangChain sejam resilientes e confiáveis em cenários do mundo real.

Criteria	What should you evaluate ?	Priority	TrueFoundry
Latency	Adds <10ms p95 overhead for time-to-first-token?	Must Have	✅ Supported
Data Residency	Keeps logs within your region (EU/US)?	Depends on use case	✅ Supported
Latency-Based Routing	Automatically reroutes based on real-time latency/failures?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported

AI Gateway Evaluation Checklist

A practical guide used by platform & infra teams

Início Rápido: Conectando LangChain ao TrueFoundry

Começar com TrueFoundry e LangChain é incrivelmente simples devido à compatibilidade de assinatura OpenAI do TrueFoundry. Você pode integrar-se perfeitamente simplesmente configurando seu ChatOpenAI interface.

Instalação

Primeiro, certifique-se de ter a integração LangChain OpenAI instalada:

pip install langchain-openai

Configuração Básica

Conecte sua aplicação LangChain ao gateway LLM unificado da TrueFoundry atualizando seu ChatOpenAI modelo:

from langchain_openai import ChatOpenAI

TRUEFOUNDRY_PAT = "YOUR_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN"
TRUEFOUNDRY_BASE_URL = "YOUR_TRUEFOUNDRY_UNIFIED_ENDPOINT"

llm = ChatOpenAI(api_key=TRUEFOUNDRY_PAT,base_url=TRUEFOUNDRY_BASE_URL,model="openai-main/gpt-4o")
response = llm.invoke("What's the weather like today in Bengaluru?")

print(response.content)

Pontos Chave:

• Substitua "YOUR_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN" com o seu TrueFoundry real Token de Acesso Pessoal (PAT).
• Defina "YOUR_TRUEFOUNDRY_UNIFIED_ENDPOINT" para o URL base fornecido pela sua configuração TrueFoundry.
• Utilize a convenção de nomenclatura de modelos da TrueFoundry: provider-main/model-name. Por exemplo, openai-main/gpt-4o para o GPT-4o da OpenAI.

Com esta configuração mínima, todas as requisições feitas através do llm objeto serão automaticamente roteadas através do seu TrueFoundry AI Gateway, beneficiando-se de autenticação, balanceamento de carga e registro abrangente.

Integração Perfeita com LangGraph

TrueFoundry integra-se perfeitamente com LangGraph, o framework da LangChain para construir fluxos de trabalho multiagente, e entender LangChain vs LangGraph ajuda as equipes a escolher o padrão de orquestração certo para sistemas de IA em produção. Basta configurar seus nós LLM dentro do seu LangGraph para usar o ChatOpenAI cliente TrueFoundry, e a TrueFoundry lidará automaticamente com a infraestrutura subjacente e a observabilidade.

from langchain_openai import ChatOpenAI
from langgraph.graph import StateGraph, MessagesState
from langchain_core.messages import HumanMessage

TRUEFOUNDRY_PAT = "YOUR_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN"
TRUEFOUNDRY_BASE_URL = "YOUR_TRUEFOUNDRY_UNIFIED_ENDPOINT"

def call_model(state: MessagesState):
	model = ChatOpenAI(api_key=TRUEFOUNDRY_PAT,base_url=TRUEFOUNDRY_BASE_URL,model="openai-main/gpt-4o")
	response = model.invoke(state["messages"])
	return {"messages": [response]}

workflow = StateGraph(MessagesState)
workflow.add_node("agent", call_model)
workflow.set_entry_point("agent")
workflow.set_finish_point("agent")
app = workflow.compile()
result = app.invoke({"messages": [HumanMessage(content="Tell me a short story.")]})
    
print(result)

Desbloqueando Observabilidade e Insights

Uma das vantagens mais significativas de usar o TrueFoundry com LangChain são seus recursos integrados de monitoramento e observabilidade. Todas as requisições que fluem através do TrueFoundry AI Gateway são automaticamente:

• Registro: Fornecendo insights detalhados sobre requisições e respostas.
• Rastreamento: Permitindo que você siga o fluxo de execução em seus componentes LangChain.
• Monitoramento: Acompanhando os principais indicadores de desempenho e custos.

Acesse seu painel de monitoramento intuitivo na plataforma TrueFoundry para obter visibilidade abrangente sobre o comportamento de sua aplicação LangChain em produção. Explore logs de requisições, analise métricas de desempenho como latência e uso de tokens, acompanhe a discriminação de custos por modelo e identifique padrões de erro para depuração mais rápida.

Comece a usar TrueFoundry e LangChain hoje mesmo!

A TrueFoundry oferece a infraestrutura e as ferramentas essenciais para levar suas aplicações inovadoras LangChain do desenvolvimento à produção com confiança e eficiência. Ao simplificar a integração de LLMs, automatizar implantações e oferecer observabilidade profunda, a TrueFoundry capacita sua equipe a focar na construção de soluções de IA de ponta, em vez de lutar com as complexidades da infraestrutura.

Pronto para experimentar o poder da TrueFoundry para seus projetos LangChain?

• Visite o site da TrueFoundry para saber mais e se inscrever para um teste gratuito.
• Explore a abrangente Documentação da TrueFoundry para guias detalhados e referências de API.
• Aprofunde-se em Rastreamento de LLM e Rastreamento de LangGraph com a TrueFoundry.

Para quaisquer dúvidas ou suporte, não hesite em entrar em contato com a equipe TrueFoundry em support@truefoundry.com

Desbloqueie todo o potencial de suas aplicações LangChain com a TrueFoundry e construa o futuro da IA, hoje!