LangChain-Integration mit Truefoundry

Optimieren Sie Ihre LangChain-Anwendungen mit der produktionsbereiten Plattform von TrueFoundry

LangChain hat sich zu einem leistungsstarken Framework für die Entwicklung innovativer Anwendungen entwickelt, die auf Large Language Models (LLMs) basieren. Die Modularität und die umfassenden Integrationen ermöglichen es Entwicklern, ausgefeilte Konversations-KI, Datenanalysetools und mehr zu entwickeln. Die Bereitstellung und Verwaltung dieser LangChain-Anwendungen in einer Produktionsumgebung bringt jedoch Komplexität in Bezug auf Skalierbarkeit, Beobachtbarkeit, Kostenmanagement und Multi-LLM-Unterstützung mit sich.

Dieser Blogbeitrag führt Sie durch die Nutzung von TrueFoundry in Ihren LangChain-Projekten, um einen nahtlosen und effizienten Arbeitsablauf von der Entwicklung bis zur Produktion zu ermöglichen.

Warum sollten Sie TrueFoundry für Ihre LangChain-Anwendungen verwenden?

TrueFoundry begegnet den kritischen Herausforderungen beim Betrieb von LangChain-Anwendungen in großem Maßstab:

• Einheitlicher LLM-Zugriff: Stellen Sie über einen einzigen, konsistenten API-Endpunkt eine Verbindung zu verschiedenen führenden LLM-Anbietern (OpenAI, Anthropic und weitere in Kürze) her, was Integrationen vereinfacht und einfache Experimente ermöglicht.
• Mühelose Modellbereitstellung: Stellen Sie Ihre LangChain-basierten Modelle mit automatischer Skalierung bereit und stellen Sie so eine hohe Verfügbarkeit und optimale Ressourcennutzung ohne die Kubernetes-Komplexität sicher.
• Umfassende Beobachtbarkeit mit LLM Tracing: Verschaffen Sie sich einen beispiellosen Einblick in die LLM-Interaktionen Ihrer LangChain-Anwendung. Überwachen, debuggen und optimieren Sie jeden Schritt Ihrer Ketten und Agenten in der Produktion.
• Kosten- und Leistungsverfolgung: Behalten Sie Ihre LLM-Ausgaben und Leistungskennzahlen in verschiedenen Modellen genau im Auge und ermöglichen Sie so datengestützte Entscheidungen zur Kostenoptimierung und zur Verbesserung der Benutzererfahrung.
• Zuverlässigkeit auf Produktionsniveau: Implementieren Sie mühelos intelligente Fallbacks und Wiederholungsmechanismen, um sicherzustellen, dass Ihre LangChain-Anwendungen in realen Szenarien robust und zuverlässig sind.

Criteria	What should you evaluate ?	Priority	TrueFoundry
Latency	Adds <10ms p95 overhead for time-to-first-token?	Must Have	✅ Supported
Data Residency	Keeps logs within your region (EU/US)?	Depends on use case	✅ Supported
Latency-Based Routing	Automatically reroutes based on real-time latency/failures?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported

AI Gateway Evaluation Checklist

A practical guide used by platform & infra teams

Schnellstart: LangChain mit TrueFoundry verbinden

Der Einstieg in TrueFoundry und LangChain ist aufgrund der OpenAI-Signaturkompatibilität von TrueFoundry unglaublich einfach. Sie können eine nahtlose Integration vornehmen, indem Sie einfach Ihre konfigurieren Chatten Sie auf Enai Schnittstelle.

Installation

Stellen Sie zunächst sicher, dass Sie die LangChain OpenAI-Integration installiert haben:

pip install langchain-openai

Grundlegende Einrichtung

Verbinden Sie Ihre LangChain-Anwendung mit dem einheitlichen LLM-Gateway von TrueFoundry, indem Sie Ihr aktualisieren Chatten Sie auf Enai modell:

from langchain_openai import ChatOpenAI

TRUEFOUNDRY_PAT = "YOUR_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN"
TRUEFOUNDRY_BASE_URL = "YOUR_TRUEFOUNDRY_UNIFIED_ENDPOINT"

llm = ChatOpenAI(api_key=TRUEFOUNDRY_PAT,base_url=TRUEFOUNDRY_BASE_URL,model="openai-main/gpt-4o")
response = llm.invoke("What's the weather like today in Bengaluru?")

print(response.content)

Wichtige Punkte:

• Ersetzen „DEIN_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN“ mit deiner aktuellen TrueFoundry Persönliches Zugriffstoken (PAT).
• Set „IHR_TRUEFOUNDRY_UNIFIED_ENDPUNKT“ zu der Basis-URL, die von Ihrem TrueFoundry-Setup bereitgestellt wird.
• Verwenden Sie die Modellbenennungskonvention von TrueFoundry: Anbieter-Haupt/Modellname. Zum Beispiel openai-main/gpt-4o für OpenAis GPT-4o.

Mit dieser minimalen Konfiguration werden alle Anfragen über die llm Das Objekt wird automatisch durch Ihr TrueFoundry AI Gateway geleitet und profitiert von Authentifizierung, Lastenausgleich und umfassender Protokollierung.

Nahtlose Integration mit LangGraph

TrueFoundry lässt sich problemlos in LangGraph integrieren, das Framework von LangChain zum Erstellen von Workflows mit mehreren Agenten und zum Verständnis LangChain gegen LangGraph hilft Teams bei der Auswahl des richtigen Orchestrierungsmusters für KI-Systeme in der Produktion. Konfigurieren Sie einfach Ihre LLM-Knoten in Ihrem LangGraph, um TrueFoundry zu verwenden Chatten Sie auf Enai Client, und TrueFoundry kümmert sich automatisch um die zugrunde liegende Infrastruktur und Beobachtbarkeit.

from langchain_openai import ChatOpenAI
from langgraph.graph import StateGraph, MessagesState
from langchain_core.messages import HumanMessage

TRUEFOUNDRY_PAT = "YOUR_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN"
TRUEFOUNDRY_BASE_URL = "YOUR_TRUEFOUNDRY_UNIFIED_ENDPOINT"

def call_model(state: MessagesState):
	model = ChatOpenAI(api_key=TRUEFOUNDRY_PAT,base_url=TRUEFOUNDRY_BASE_URL,model="openai-main/gpt-4o")
	response = model.invoke(state["messages"])
	return {"messages": [response]}

workflow = StateGraph(MessagesState)
workflow.add_node("agent", call_model)
workflow.set_entry_point("agent")
workflow.set_finish_point("agent")
app = workflow.compile()
result = app.invoke({"messages": [HumanMessage(content="Tell me a short story.")]})
    
print(result)

Beobachtbarkeit und Einblicke freischalten

Einer der wichtigsten Vorteile der Verwendung von TrueFoundry mit LangChain sind die integrierten Überwachungs- und Beobachtbarkeitsfunktionen. Alle Anfragen, die über das TrueFoundry AI Gateway fließen, erfolgen automatisch:

• Protokollierung: Bereitstellung detaillierter Einblicke in Anfragen und Antworten.
• Rückverfolgung: Ermöglicht es Ihnen, den Ausführungsablauf über Ihre LangChain-Komponenten hinweg zu verfolgen.
• Überwachung: Verfolgung wichtiger Leistungsindikatoren und Kosten.

Greifen Sie auf Ihr intuitives Monitoring-Dashboard auf der TrueFoundry-Plattform zu, um einen umfassenden Überblick über das Verhalten Ihrer LangChain-Anwendung in der Produktion zu erhalten. Erkunden Sie Anforderungsprotokolle, analysieren Sie Leistungskennzahlen wie Latenz und Token-Nutzung, verfolgen Sie Kostenaufschlüsselungen nach Modellen und identifizieren Sie Fehlermuster für ein schnelleres Debugging.

Beginnen Sie noch heute mit TrueFoundry und LangChain!

TrueFoundry bietet die notwendige Infrastruktur und Tools, um Ihre innovativen LangChain-Anwendungen sicher und effizient von der Entwicklung zur Produktion zu führen. Durch die Vereinfachung der LLM-Integration, die Automatisierung von Bereitstellungen und die Bereitstellung umfassender Beobachtbarkeit ermöglicht TrueFoundry Ihrem Team, sich auf die Entwicklung modernster KI-Lösungen zu konzentrieren, anstatt sich mit der Komplexität der Infrastruktur auseinanderzusetzen.

Sind Sie bereit, die Leistungsfähigkeit von TrueFoundry für Ihre LangChain-Projekte zu erleben?

• Besuchen Sie die TrueFoundry-Webseite um mehr zu erfahren und sich für eine kostenlose Testversion anzumelden.
• Erkunden Sie das Umfassende TrueFoundry-Dokumentation für detaillierte Anleitungen und API-Referenzen.
• Tauchen Sie tiefer ein LLM-Verfolgung und LangGraph-Ablaufverfolgung mit TrueFoundry.

Bei Fragen oder Support wenden Sie sich bitte an das TrueFoundry-Team unter support@truefoundry.com

Schöpfen Sie mit TrueFoundry das volle Potenzial Ihrer LangChain-Anwendungen aus und gestalten Sie noch heute die Zukunft der KI!