Einführung in Langchain

LangChain vereinfacht die KI-Entwicklung mit Large Language Models (LLMs), indem es modulare Komponenten und vorgefertigte Vorlagen für die Erstellung von Anwendungen wie Chatbots und Zusammenfassern anbietet. Es lässt sich nahtlos in LLMs wie GPT-3.5 und Chat Models integrieren und ermöglicht so Aufgaben wie Textvervollständigung und Konversationsgenerierung. LangChain arbeitet über Aktionsketten und gewährleistet so eine effiziente Implementierung auf strukturierte Weise.

Langchain ist ein Open-Source-Framework, das die Entwicklung von Anwendungen erleichtert, die auf Large Language Models (LLMs) basieren — dem aktuellen Höhepunkt der Entwicklung von Natural Language Processing (NLP).

Dieser Artikel wird es dem Leser ermöglichen, die Kernstruktur und die wichtigsten Funktionen von LangChain zu verstehen und zu verstehen, wie es die Entwicklung KI-gesteuerter Sprachlösungen vereinfacht hat. Es geht auch auf die Details ein, die Ihnen helfen, Ihre eigene Anwendung mithilfe von LangChain zu erstellen.

LangChain und LLMs

Im Kern ist LLM ein Deep-Learning-Modell, das für sprachbasierte Aufgaben im Bereich NLP verwendet wird und ursprünglich für die Sprachübersetzung entwickelt wurde.

Sie verwenden Transformatormodelle und werden mit großen Datensätzen trainiert, wodurch sie in die Lage versetzt werden, natürliche Sprache zu verstehen und verschiedene sprachbezogene Aufgaben auszuführen. Zu den bekanntesten LMs gehören GPT-3.5, LLama, Bard, Falcon usw.

„LangChain ist ein Python-Framework, das es ermöglicht, LLMs einfach und effizient zu verwenden, indem es eine einheitliche Schnittstelle und modulare Komponenten bereitstellt, die 'angekettet'zusammen.“

Dies wiederum vereinfacht die Erstellung fortschrittlicher Systeme wie Chatbots, Bildverbesserer, Stimmungsanalysatoren usw. Diese Systeme können Sprache verstehen, Code analysieren, Informationen abrufen und verschiedene andere Aufgaben ausführen.

LangChains Flexibilität, Erweiterbarkeit und Integration mit LLMs machen es zu einem wertvollen Tool im Bereich der natürlichen Sprachverarbeitung und darüber hinaus.

Aktion und Agent

In jedem Software-Framework sind „Aktion“ und „Agent“ wie die Bausteine. Sie sind die Grundideen, aber sie funktionieren je nach Implementierung unterschiedlich.

In LangChain:

• Aktion: Es bezieht sich auf eine bestimmte Aufgabe oder Operation, die ein Codeabschnitt ausführt. Das kann alles sein, von der Durchführung von Berechnungen bis hin zum Senden einer E-Mail.
• Agentin: Es ist vergleichbar mit einem virtuellen Assistenten, einem Programm oder einer Komponente, die autonom handelt, um Aufgaben auszuführen oder Entscheidungen im Namen des Benutzers oder eines anderen Programms zu treffen.

LangChain-Ökosystem

Das LangChain-Ökosystem besteht aus fünf Hauptabschnitten:

1. LangChain-Bibliotheken: Stellen Sie sich vor, Sie bauen mit LEGO-Steinen. Sie können sie kombinieren, um verschiedene Strukturen zu schaffen. Mit LangChain-Bibliotheken können Sie Aktionsketten und Agenten erstellen, ohne jedes Mal bei Null anfangen zu müssen.
2. LangChain-Vorlagen: Dies sind vorgefertigte Frameworks für verschiedene Projekte oder Aufgaben, die Sie sofort implementieren können, ohne bei Null anfangen zu müssen. Stellen Sie sich das wie ein LEGO-Todesstern-Modell vor und die Bibliotheken als LEGO-Steine.
3. LangServe: Dies wird verwendet, um LangChain-Ketten als REST-API bereitzustellen.
4. Lang Smith: Es ist eine Entwicklerplattform, die das Debuggen, Testen, Evaluieren und Überwachen von Ketten ermöglicht, die mit einem beliebigen Framework erstellt wurden, nicht nur mit LangChain.
5. LangGraph: Es ist wie ein Werkzeugkasten, um intelligente Computerprogramme zu erstellen, die sich Dinge merken und zusammenarbeiten können. Es verwendet etwas namens LangChain, um diesen Programmen zu helfen, miteinander zu kommunizieren. Mit LangGraph können Sie diese Programme auf clevere Weise dazu bringen, viele Schritte immer wieder auszuführen.

Lesen Sie auch: LangChain gegen LangGraph

Hauptkomponenten von Langchain

Wenn Leute über LangChain sprechen, beziehen sie sich oft auf LangChain-Bibliotheken und nicht auf das gesamte LangChain-Ökosystem im Allgemeinen.

LangChain-Bibliotheken

LangChain Libraries hilft beim Aufbau von KI mit zwei Hauptmethoden:

1. Komponenten: Dies sind anpassungsfähige Tools und Verbindungen, die für die Interaktion mit Sprachmodellen entwickelt wurden. Sie sind einfach zu verwenden und können unabhängig voneinander oder innerhalb des LangChain-Frameworks verwendet werden.
2. Vorgefertigte Ketten: Dies sind vorgefertigte Kombinationen von Komponenten zur Erfüllung bestimmter Aufgaben. Sie vereinfachen den Einstiegsprozess, während die Komponenten die Anpassung und die Erstellung neuer Ketten ermöglichen.

Komponenten werden weiter in drei Typen eingeteilt:

Modell I/O:

Diese Komponente erleichtert die Kommunikation mit dem Modell, indem sie klare Schnittstellen und Hilfsprogramme für die Konstruktion von Eingaben und die Verarbeitung von Ausgaben bereitstellt, d. h. für die schnelle Verwaltung.

LangChain lässt sich hauptsächlich in zwei Haupttypen von Modellen integrieren: LLMs und Chat-Modelle. LLMs in LangChain konzentrieren sich auf die Textvervollständigung, indem sie eine Zeichenkettenaufforderung entgegennehmen und eine Zeichenkettenvervollständigung erzeugen, während Chat-Modelle auf Konversationszwecke zugeschnitten sind. Sie akzeptieren eine Liste von Nachrichten als Eingabe und geben eine KI-generierte Nachricht zurück. Die Strategien zur Aufforderung variieren zwischen diesen Modellen.

Nachrichten, die in Rollen wie Human-Message und AI-Message unterteilt sind, spielen eine zentrale Rolle bei der Kommunikation mit Modellen, mit zusätzlichen Parametern wie function_call für bestimmte Funktionen.

Abruf:

Bei der Verwendung von Sprachmodellen wie LLMs benötigen wir manchmal, dass sie bestimmte Details über einzelne Benutzer verstehen, auch wenn diese Details nicht Teil ihrer ursprünglichen Schulung waren. Retrieval Augmented Generation (RAG) ist ein ausgefallener Begriff für eine Technik, die wir verwenden, um dies zu ermöglichen. Im Wesentlichen bedeutet dies, dass wir relevante Informationen aus externen Quellen abrufen und sie dem Modell bei der Texterstellung zur Verfügung stellen.

LangChain ist ein Toolkit, das alle Tools enthält, die für die Erstellung dieser Art von Anwendungen benötigt werden.

Agenten:

Das“Agentin„ist wie das Gehirn hinter der Entscheidungsfindung. Es verwendet ein Sprachmodell und Anweisungen, um herauszufinden, was als Nächstes zu tun ist. Anstatt einer festgelegten Abfolge von Aktionen ist es flexibler und überlässt das Sprachmodell die beste Vorgehensweise. Stellen Sie es sich also als den intelligenten Entscheidungsträger in diesem Prozess vor. In Ketten ist eine Abfolge von Aktionen fest codiert

Wie funktioniert Langchain?

LangChain funktioniert ähnlich wie das Erstellen eines Essensrezepts. So wie Sie die Schritte beim Zubereiten eines Gerichts befolgen, ordnet LangChain eine Abfolge von Aktionen an, die als“ bezeichnet werdenKette„, um eine bestimmte KI-gesteuerte Aufgabe zu erfüllen.

Stellen Sie sich vor, Sie suchen nach Filmvorschlägen. LangChain greift ein, indem es zunächst versteht, wonach Sie fragen. Anschließend werden Details zu den Filmen gesammelt, die Ihnen gefallen, und zu denen, die Sie zuvor gesehen haben. LangChain untersucht Ihren Zuschauerverlauf und Ihre Präferenzen mithilfe von Sprachmodellen, ausgeklügelten Algorithmen und Datenverarbeitungstechniken und generiert personalisierte Vorschläge. Schließlich erhalten Sie eine Liste mit personalisierten Empfehlungen, die Sie sich ansehen sollten.

Jedes Glied in dieser „Kette“ hat eine Bedeutung, ähnlich wie das Einhalten der Schritte in einem Rezept. LangChain rationalisiert den Prozess und gewährleistet eine reibungslose Ausführung von Anfang bis Ende.

Prompts in LangChain erstellen

Wir werden untersuchen, wie Sie mit LangChain ein einfaches Frage-Antwort-System einrichten und es in den Hugging Face Hub (LLMs sind hier vorhanden) zur Textgenerierung integrieren

LangChain installieren

! pip installiere Langchain

Prompt-Vorlage einrichten

aus Langchain importiere PromptTemplate

template = „" "Frage: {question}

Antwort: „"“
prompt = promptTemplate (
template=Vorlage,
input_variables= ['Frage']
)

Verwenden von Hugging Face Hub LLM

Stellen Sie zunächst sicher, dass Sie Ihren Hugging Face API-Schlüssel bereit haben. Richten Sie ihn dann in Ihrer Umgebung ein

Betriebssystem importieren

os.environ ['HUGGINGFACEHUB_API_TOKEN'] = 'HF_API_SCHLÜSSEL'

Installieren Sie die Hugging Face Hub-Bibliothek

! pip installiere huggingface_hub


Ich initialisiere und verwende den Hugging Face Hub für die Textgenerierung

aus Langchain importieren HuggingFaceHub, LLMChain

# Hub LLM initialisieren
hub_llm = HuggingFaceHub (
repo_id='google/flan-t5-xl',
model_kwargs= {'Temperatur':1e-10}
)

Integration mit LangChain

Kombinieren Sie die Prompt-Vorlage und das Hugging Face Hub-Modell mithilfe von LangChain

# Prompt-Vorlage erstellen > LLM-Kette
llm_chain = llmChain (
prompt=Eingabeaufforderung,
llm=hub_llm
)

Antwort generieren

Lassen Sie uns nun eine Frage zur IPL-Saison 2023 stellen und die Antwort erhalten

# Benutzerfrage
question = „Welches Team hat die IPL-Saison 2023 gewonnen?“ # Stellen Sie dem Benutzer eine Frage zu IPL 2023
print (llm_chain.run (Frage))

Für diese Frage erhalten wir die richtige Antwort von“Chennai Super Kings“ in der Ausgabe.

Anwendungen von LangChain:

LangChain bietet spezielle Tutorials für die Erstellung von Chatbots. Klicken Sie auf die Überschrift der Liste, um auf sie zuzugreifen.

1. Chatbot: Chatbots sind weithin bekannt für ihre Fähigkeit, lange, fortlaufende Gespräche zu führen und gleichzeitig den Kontext beizubehalten. Sie zeichnen sich durch die Bereitstellung relevanter Informationen als Antwort auf Benutzeranfragen aus.
2. Synthetische Datengenerierung: Synthetische Daten sind Daten, die künstlich generiert werden und nicht aus realen Ereignissen stammen. Ihr Zweck besteht darin, reale Daten nachzuahmen, ohne die Privatsphäre zu verletzen oder durch reale Einschränkungen eingeschränkt zu werden.
3. Summarizer: Wenn Sie eine Reihe von Dokumenten wie PDFs, Notizen von Notion oder Kundenanfragen haben und deren Inhalt in kürzeren Zusammenfassungen zusammenfassen müssen, sind LLMs die beste Wahl. Sie sind gut darin, die Bedeutung des Textes zu verstehen und ihn effektiv zusammenzufassen.
4. Interaktion mit APIs: Stellen Sie sich vor, Sie benötigen ein LLM, um externe APIs zu nutzen. Es ist eine leistungsstarke Möglichkeit, das Verständnis des LLM zu erweitern, indem der relevante Kontext berücksichtigt wird. Außerdem eröffnet es die Möglichkeit, mit APIs in einfacher Sprache zu kommunizieren, was unglaublich praktisch sein kann!