TrueFoundryとのLangChain統合

TrueFoundryのプロダクション対応プラットフォームでLangChainアプリケーションを強化

LangChainは、大規模言語モデル（LLM）を活用した革新的なアプリケーションを構築するための強力なフレームワークとして登場しました。そのモジュール性と広範な統合機能により、開発者は高度な会話型AI、データ分析ツールなどを構築できます。しかし、これらのLangChainアプリケーションを本番環境でデプロイおよび管理するには、スケーラビリティ、可観測性、コスト管理、マルチLLMサポートに関する複雑さが伴います。

このブログ記事では、LangChainプロジェクトでTrueFoundryを活用し、シームレスで効率的な開発から本番環境へのワークフローを実現する方法をご案内します。

LangChainアプリケーションにTrueFoundryを使用する理由

TrueFoundryは、大規模なLangChainアプリケーションの実行における重要な課題に対処します。

• 統合LLMアクセス単一の一貫したAPIエンドポイントを通じて、さまざまな主要LLMプロバイダー（OpenAI、Anthropic、その他近日公開予定）に接続し、統合を簡素化し、簡単な実験を可能にします。
• 簡単なモデルデプロイLangChainを活用したモデルを自動スケーリングでデプロイおよび提供し、Kubernetesの複雑さなしに高い可用性と最適なリソース利用率を確保します。
• LLMトレースによる詳細な可観測性LangChainアプリケーションのLLMインタラクションに対する前例のない可視性を獲得します。本番環境でチェーンとエージェントのあらゆるステップを監視、デバッグ、最適化します。
• コストとパフォーマンスの追跡さまざまなモデルにおけるLLMの費用とパフォーマンス指標を綿密に監視し、コスト最適化とユーザーエクスペリエンス向上のためのデータに基づいた意思決定を可能にします。
• プロダクションレベルの信頼性インテリジェントなフォールバックと再試行メカニズムを簡単に実装し、実際のシナリオでLangChainアプリケーションが回復力があり信頼できるものとなるようにします。

Criteria	What should you evaluate ?	Priority	TrueFoundry
Latency	Adds <10ms p95 overhead for time-to-first-token?	Must Have	✅ Supported
Data Residency	Keeps logs within your region (EU/US)?	Depends on use case	✅ Supported
Latency-Based Routing	Automatically reroutes based on real-time latency/failures?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported

AI Gateway Evaluation Checklist

A practical guide used by platform & infra teams

クイックスタート：LangChainをTrueFoundryに接続する

TrueFoundryとLangChainの利用開始は、TrueFoundryのOpenAIシグネチャ互換性により非常に簡単です。設定するだけでシームレスに統合できます。 ChatOpenAI インターフェース。

インストール

まず、LangChain OpenAI統合がインストールされていることを確認してください。

pip install langchain-openai

基本設定

LangChainアプリケーションをTrueFoundryの統合LLMゲートウェイに接続するには、お使いの ChatOpenAI モデルを更新してください。

from langchain_openai import ChatOpenAI

TRUEFOUNDRY_PAT = "YOUR_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN"
TRUEFOUNDRY_BASE_URL = "YOUR_TRUEFOUNDRY_UNIFIED_ENDPOINT"

llm = ChatOpenAI(api_key=TRUEFOUNDRY_PAT,base_url=TRUEFOUNDRY_BASE_URL,model="openai-main/gpt-4o")
response = llm.invoke("What's the weather like today in Bengaluru?")

print(response.content)

重要な点:

• 「 "YOUR_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN" 」を実際のTrueFoundryの パーソナルアクセストークン (PAT)に置き換えてください。
• 「 "YOUR_TRUEFOUNDRY_UNIFIED_ENDPOINT" 」を、TrueFoundryのセットアップで提供されるベースURLに設定してください。
• TrueFoundryのモデル命名規則を使用してください: provider-main/model-name。例えば、 openai-main/gpt-4o OpenAIのGPT-4o向け。

この最小限の設定により、 を介して行われるすべてのリクエストは、 llm オブジェクトは、認証、ロードバランシング、および包括的なロギングの恩恵を受けながら、TrueFoundry AI Gatewayを介して自動的にルーティングされます。

LangGraphとのシームレスな統合

TrueFoundryは、マルチエージェントワークフローを構築するためのLangChainのフレームワークであるLangGraphと完璧に統合されており、 を理解することで、 LangChain vs LangGraph チームが本番AIシステムに適したオーケストレーションパターンを選択するのに役立ちます。LangGraph内のLLMノードをTrueFoundry の使用に設定するだけで、 ChatOpenAI クライアントを使用すると、TrueFoundryが基盤となるインフラストラクチャと可観測性を自動的に処理します。

from langchain_openai import ChatOpenAI
from langgraph.graph import StateGraph, MessagesState
from langchain_core.messages import HumanMessage

TRUEFOUNDRY_PAT = "YOUR_TRUEFOUNDRY_PERSONAL_ACCESS_TOKEN"
TRUEFOUNDRY_BASE_URL = "YOUR_TRUEFOUNDRY_UNIFIED_ENDPOINT"

def call_model(state: MessagesState):
	model = ChatOpenAI(api_key=TRUEFOUNDRY_PAT,base_url=TRUEFOUNDRY_BASE_URL,model="openai-main/gpt-4o")
	response = model.invoke(state["messages"])
	return {"messages": [response]}

workflow = StateGraph(MessagesState)
workflow.add_node("agent", call_model)
workflow.set_entry_point("agent")
workflow.set_finish_point("agent")
app = workflow.compile()
result = app.invoke({"messages": [HumanMessage(content="Tell me a short story.")]})
    
print(result)

可観測性とインサイトの解放

LangChainでTrueFoundryを使用する最も重要な利点の1つは、その組み込みの監視および可観測性機能です。TrueFoundry AI Gatewayを介して流れるすべてのリクエストは、自動的に次のようになります。

• ロギング：リクエストとレスポンスに関する詳細なインサイトを提供します。
• トレース：LangChainコンポーネント全体の実行フローを追跡できます。
• モニタリング：主要なパフォーマンス指標とコストを追跡します。

TrueFoundryプラットフォームの直感的な監視ダッシュボードにアクセスして、本番環境でのLangChainアプリケーションの動作を包括的に可視化できます。リクエストログを探索し、レイテンシやトークン使用量などのパフォーマンスメトリクスを分析し、モデルごとのコスト内訳を追跡し、エラーパターンを特定してデバッグを高速化できます。

TrueFoundryとLangChainを今すぐ始めましょう！

TrueFoundryは、革新的なLangChainアプリケーションを開発から本番環境へ、自信を持って効率的に移行させるために不可欠なインフラとツールを提供します。LLM統合の簡素化、デプロイの自動化、そして高度な可観測性を提供することで、TrueFoundryはチームがインフラの複雑さに悩まされることなく、最先端のAIソリューションの構築に集中できるよう支援します。

LangChainプロジェクトでTrueFoundryの力を体験する準備はできていますか？

• 詳細は TrueFoundryウェブサイト をご覧いただき、無料トライアルにお申し込みください。
• 包括的な TrueFoundryドキュメント で、詳細なガイドとAPIリファレンスをご確認ください。
• TrueFoundryで LLMトレーシング と LangGraphトレーシング をさらに深く掘り下げましょう。

ご質問やサポートが必要な場合は、TrueFoundryチーム（ support@truefoundry.com

）までお気軽にお問い合わせください。TrueFoundryでLangChainアプリケーションの可能性を最大限に引き出し、今すぐAIの未来を築きましょう！