LangChainの紹介

LangChainは、モジュール式のコンポーネントと、チャットボットや要約ツールなどのアプリケーション構築用の事前設計されたテンプレートを提供することで、大規模言語モデル（LLM）を活用したAI開発を簡素化します。GPT-3.5やチャットモデルなどのLLMとシームレスに統合し、テキスト補完や会話生成といったタスクを可能にします。LangChainは一連のアクション（チェーン）を通じて動作し、構造化された方法で効率的な実装を保証します。

LangChainは、大規模言語モデル（LLM）を搭載したアプリケーションの開発を促進するオープンソースのフレームワークであり、自然言語処理（NLP）の進化における現在の頂点に位置します。

本記事では、LangChainの核となる構造と主要な機能、そしてAIを活用した言語ソリューションの開発をいかに簡素化してきたかについて解説します。さらに、LangChainを活用して独自のアプリケーションを構築するのに役立つ詳細も掘り下げて説明します。

LangChainとLLM

LLMは本質的に深層学習モデルであり、自然言語処理（NLP）の分野における言語ベースのタスクに使用され、元々は言語翻訳のために開発されました。

これらはトランスフォーマーモデルを使用し、大規模なデータセットで訓練されており、自然言語を理解し、様々な言語関連タスクを実行する能力を持っています。主要なLMには、GPT-3.5、LLaMA、Bard、Falconなどがあります。

「LangChainは、統一されたインターフェースと、'チェーン化'できるモジュール式コンポーネントを提供するものです。」

これにより、チャットボット、画像拡張ツール、感情分析ツールなどの高度なシステムの作成が簡素化されます。これらのシステムは、言語を理解し、コードを分析し、情報を取得し、その他様々なタスクを実行できます。

LangChainの柔軟性、拡張性、そしてLLMとの統合は、自然言語処理の分野、さらにはそれ以外の分野においても、貴重なツールとなっています。

アクションとエージェント

どのソフトウェアフレームワークにおいても、「アクション」と「エージェント」は構成要素のようなものです。これらは基本的な概念ですが、実装によって動作が異なります。

LangChainでは：

• アクション：コードが実行する特定のタスクや操作を指します。計算の実行からメールの送信まで、あらゆるものが該当します。
• エージェント：仮想アシスタントに似ており、ユーザーまたは別のプログラムに代わってタスクを実行したり、意思決定を行ったりするために自律的に動作するプログラムまたはコンポーネントです。

LangChainエコシステム

LangChainエコシステムには、主に5つのセクションがあります。

1. LangChainライブラリ: レゴブロックで組み立てるようなものだと考えてください。それらを組み合わせて様々な構造物を作ることができます。LangChainライブラリを使えば、毎回ゼロから始めることなく、アクションやエージェントのチェーンを作成できます。
2. LangChainテンプレート: これらは、様々なプロジェクトやタスク向けに事前に設計されたフレームワークで、ゼロから始めることなくすぐに実装できます。レゴのデス・スターモデルをテンプレート、ライブラリをレゴブロックと考えると分かりやすいでしょう。
3. LangServe: これは、LangChainのチェーンをREST APIとしてデプロイするために使用されます。
4. LangSmith: LangChainだけでなく、あらゆるフレームワークで構築されたチェーンのデバッグ、テスト、評価、監視を可能にする開発者プラットフォームです。
5. LangGraph: 物事を記憶し、連携して動作できる賢いコンピュータープログラムを作るためのツールボックスのようなものです。これらのプログラムが互いに通信できるように、LangChainと呼ばれるものを使用します。LangGraphを使えば、これらのプログラムに多くのステップを賢く繰り返し実行させることができます。

こちらもご覧ください: LangChainとLangGraph

LangChainの主要コンポーネント

人々がLangChainについて話すとき、多くの場合、LangChainエコシステム全体ではなく、LangChainライブラリを指しています。

LangChainライブラリ

LangChainライブラリは、主に2つの方法でAIの構築を支援します。

1. コンポーネント: これらは、言語モデルとの連携のために設計された、適応性の高いツールと接続機能です。使いやすく、単独で、またはLangChainフレームワーク内で利用できます。
2. 既成のチェーン: これらは、特定のタスクを達成するために事前に構築されたコンポーネントの組み合わせです。これらにより、開始プロセスが効率化され、コンポーネントはカスタマイズや新しいチェーンの作成を可能にします。

コンポーネントはさらに3つのタイプに分類されます。

モデルI/O：

このコンポーネントは、入力の構築と出力の処理（プロンプト管理など）のための明確なインターフェースとユーティリティを提供することで、モデルとの通信を容易にします。

LangChainは主に、LLMとチャットモデルという2種類のモデルと統合されます。LangChainにおけるLLMはテキスト補完に焦点を当て、文字列プロンプトを受け取り文字列補完を生成します。一方、チャットモデルは会話用途に特化しており、メッセージのリストを入力として受け入れ、AIが生成したメッセージを返します。これらのモデル間ではプロンプト戦略が異なります。

Human-MessageやAI-Messageといった役割に分類されるメッセージは、モデルとの通信において極めて重要な役割を果たし、特定の機能のためのfunction_callのような追加パラメータも持ちます。

検索：

LLMのような言語モデルを使用する際、元のトレーニングに含まれていなかったとしても、個々のユーザーに関する特定の詳細を理解させる必要がある場合があります。Retrieval Augmented Generation (RAG) は、これを実現するために使用する技術の専門用語です。本質的に、これは外部ソースから関連情報を取得し、テキストを生成する際にモデルに供給することを意味します。

LangChainは、この種のアプリケーションを構築するために必要なすべてのツールを提供するツールキットです。

エージェント：

「エージェント」は、意思決定の背後にある頭脳のようなものです。言語モデルと指示を使って、次に何をすべきかを判断します。一連の固定されたアクションではなく、より柔軟で、言語モデルに最善の行動方針を決定させます。つまり、プロセスにおける賢い意思決定者と考えてください。チェーンでは、一連のアクションがハードコードされています。

LangChainはどのように機能しますか？

LangChainは、食事のレシピを作るのと非常によく似た方法で機能します。料理を作る手順に従うのと同じように、LangChainは一連のアクションを「チェーン」と呼び、特定のAI駆動タスクを達成します。

映画の提案を探していると想像してみてください。LangChainはまず、あなたが何を求めているかを理解することから始めます。次に、あなたが好きな映画や以前に見た映画に関する詳細を収集します。言語モデル、高度なアルゴリズム、データ処理技術の助けを借りて、視聴履歴と好みを分析することで、LangChainはパーソナライズされた提案を生成します。最後に、確認すべきパーソナライズされたおすすめのリストを提供します。

この「チェーン」の各リンクは、レシピの手順に従うのと同様に重要です。LangChainはプロセスを効率化し、最初から最後までシームレスな実行を保証します。

LangChainでのプロンプト作成

LangChainを使ってシンプルな質問応答システムを構築し、テキスト生成のためにHugging Face Hub（LLMが利用可能）と統合する方法を見ていきます

LangChainのインストール

!pip install langchain

プロンプトテンプレートの設定

from langchain import PromptTemplate

template = """Question: {question}

Answer: """
prompt = PromptTemplate(
       template=template,
   input_variables=['question']
)

Hugging Face Hub LLMの使用

まず、Hugging FaceのAPIキーを用意してください。次に、それを環境に設定します

import os

os.environ['HUGGINGFACEHUB_API_TOKEN'] = 'HF_API_KEY'

Hugging Face Hubライブラリのインストール

!pip install huggingface_hub


テキスト生成のためにHugging Face Hubを初期化して使用します

from langchain import HuggingFaceHub, LLMChain

# ハブLLMを初期化
hub_llm = HuggingFaceHub(
       repo_id='google/flan-t5-xl',
   model_kwargs={'temperature':1e-10}
)

LangChainとの連携

プロンプトテンプレートとHugging Face HubモデルをLangChainを使って組み合わせます。

# プロンプトテンプレート > LLMチェーンを作成
llm_chain = LLMChain(
   prompt=prompt,
   llm=hub_llm
)

回答の生成

では、IPL 2023シーズンについて質問し、回答を得てみましょう。

# ユーザーの質問
question = "Which team won the IPL 2023 season?"# IPL 2023に関するユーザーの質問
print(llm_chain.run(question))

この質問に対しては、正しい回答として「chennai super kings」が出力されます。

LangChainの応用例：

LangChainはチャットボット作成のための専門チュートリアルを提供しています。リストの見出しをクリックしてアクセスしてください。

1. チャットボット：チャットボットは、文脈を維持しながら長く継続的な会話を行う能力があるため、広く利用されています。ユーザーの問い合わせに対して適切な情報を提供するのに優れています。
2. 合成データ生成：合成データとは、現実世界の出来事から収集されたものではなく、人工的に生成されたデータです。その目的は、プライバシーを侵害したり、現実世界の制約を受けたりすることなく、実際のデータを模倣することにあります。
3. 要約機能：PDF、Notionのメモ、顧客からの問い合わせなど、大量のドキュメントがあり、その要点を短い要約にまとめる必要がある場合、LLMが最適です。LLMはテキストの意味を理解し、効果的に要約することに優れています。
4. APIとの連携：LLMが外部APIを利用する必要がある場面を想像してみてください。関連するコンテキストを取り込むことでLLMの理解を深める強力な方法です。さらに、平易な言葉でAPIと対話する可能性を開き、これは非常に便利です！