Bereitstellung Ihres ersten Langgraph-Agenten auf TrueFoundry

In diesem Handbuch zeigen wir Ihnen, wie Sie eine bereitstellen Langgraph Agent auf Wahre Gießerei, eine Plattform zur Vereinfachung der KI-Bereitstellung mit minimalem DevOps- oder MLOps-Fachwissen. TrueFoundry automatisiert das Infrastrukturmanagement, die Skalierung und die Überwachung, sodass Sie sich darauf konzentrieren können, Erkenntnisse zu gewinnen, anstatt sich um die Komplexität der Bereitstellung zu kümmern. Mit nur wenigen Klicks können Sie Anfragen in natürlicher Sprache in SQL-Abfragen und dynamische Diagramme umwandeln und so die Datenexploration nahtlos und intelligent gestalten. Keine manuelle Abfrage erforderlich!

Wenn Sie das direkt ausprobieren möchten, besuchen Sie bitte die TrueFoundry-Plattform und navigieren Sie zu Live-Demos und Langgraph-Streamlit: Live-Demo unseres Agenten-Workflows

Überblick über die Architektur

Dieses Projekt besteht aus mehreren Schlüsselkomponenten, die zusammenarbeiten:

Abfrage-Agent

• Verwendet GPT-4o für das Verständnis natürlicher Sprache
• Generiert entsprechende SQL-Abfragen für ClickHouse
• Führt die SQL-Abfrage für eine vorkonfigurierte Datenbank aus
• Gibt die Daten im tabellarischen Format als Eingabe für den Visualisierungsagenten zurück

Visualisierungsagent: Ein zweiter KI-Agent, der

• Ermittelt den für die Daten am besten geeigneten Visualisierungstyp
• Generiert Plots mit matplotlib/seaborn
• Behandelt das Formatieren und Stylen von Visualisierungen

FastAPI-Backend: RESTful-API, die

• Koordinaten zwischen Agenten, die Langgraph verwenden
• Verwaltet die asynchrone Auftragsverarbeitung
• Serviert Plotbilder und Ergebnisse

Streamlit-Frontend: Benutzeroberfläche, die

• Bietet eine intuitive Abfrageschnittstelle
• Zeigt den Verarbeitungsstatus in Echtzeit an
• Zeigt interaktive Visualisierungen

‍

Datenfluss

1. Der Benutzer sendet eine Anfrage in natürlicher Sprache über die Streamlit-Benutzeroberfläche
2. Die Abfrage wird vom SQL-Agenten verarbeitet, um SQL zu generieren
3. SQL wird gegen die ClickHouse-Datenbank ausgeführt
4. Die Ergebnisse werden an Plot Agent weitergegeben
5. Plot Agent erstellt entsprechende Plots
6. Die Ergebnisse werden in der Streamlit-Benutzeroberfläche angezeigt

‍Erste Schritte

Klonen Sie das Repository

Navigieren Sie zunächst zum Beispiele für die ersten Schritte mit TrueFoundry Repository und klone es:

Navigieren Sie zum Plot Agent-Verzeichnis

Wechseln Sie in das plot_agent-Verzeichnis:

Einrichtung der Umgebung

Um eine virtuelle Umgebung zu erstellen und zu aktivieren:

Abhängigkeiten installieren

Konfiguration der Umgebung

Kopieren Sie die Beispiel-Umgebungsdatei:

Erstellen Sie eine .env Datei mit Ihren Zugangsdaten

Hinweis: Bei Verwendung des TrueFoundry LLM Gateways sollte das Modell-ID-Format wie folgt lauten provider-name/model-name (z. B. openai-main/gpt-4o). Stellen Sie sicher, dass Ihre .env Die Datei enthält die richtigen LLM-Gateway-Anmeldeinformationen, wie im Abschnitt Umgebungskonfiguration gezeigt.

Um Clickhouse-Zugangsdaten zu erhalten, erstellen Sie ein Konto unter Clickhouse, melden Sie sich an und erstellen Sie einen Dienst. Nachdem Sie auf den Dienst geklickt haben, wird in der Mitte der linken Seitenleiste eine Verbindungsschaltfläche angezeigt, auf die Sie klicken können, um die unten gezeigten Anmeldeinformationen anzuzeigen. Sie können entweder eine Datenbank erstellen, indem Sie Ihre Dateien hochladen, oder eine vordefinierte verwenden.

Implementierung von Langgraph Agent

Das Projekt verwendet zwei LangGraph-Agenten, was es auch zu einer nützlichen praktischen Referenz bei der Bewertung macht AutoGen gegen LangGraph für das Workflow-Design mit mehreren Agenten. Wenn Sie lieber nur Openai verwenden möchten, ersetzen Sie:

Mit:

So werden sie in einem Setup konfiguriert, in dem Langflow gegen LangGraph kommt oft auf Orchestrierungsentscheidungen an.

Ausführen der Dienste

Starten Sie den FastAPI-Server:

Starten Sie Streamlit UI (neues Terminal):

Bereitstellung auf TrueFoundry

Voraussetzungen

Installieren Sie TrueFoundry CLI:

Loggen Sie sich bei TrueFoundry ein:

Schritte zur Bereitstellung

1. Navigieren Sie in TrueFoundry zum Abschnitt Deployments.

2. Klicken Sie unten auf Service.
3. Wählen Sie Ihren Cluster-Workspace aus.
4. Sie können die Bereitstellung von Ihrem Laptop, GitHub oder Docker aus durchführen. Wenn Sie die Bereitstellung von Ihrem Laptop aus vornehmen, stellen Sie sicher, dass Sie die oben genannten Voraussetzungen erfüllt haben.
5. Die TrueFoundry-Plattform generiert eine Datei deploy.py und fügt sie Ihrem Projekt hinzu. Sie müssen diese Datei bearbeiten, um Ihre Umgebungsvariablen hinzuzufügen. Suchen Sie den Abschnitt env in der generierten Datei und fügen Sie Ihre Anmeldeinformationen hinzu:

Stellen Sie sicher, dass Sie die Platzhalterwerte durch Ihre tatsächlichen Anmeldeinformationen ersetzen. Ohne diese Umgebungsvariablen funktioniert Ihre Anwendung nicht richtig.

6. Führen Sie den Bereitstellungsbefehl aus:

Ihre SQL- und Plot-Workflow-API ist jetzt auf TrueFoundry bereitgestellt und läuft!

7. Um zu bestätigen, dass alles funktioniert, können Sie eine Testabfrage mit curl senden:

Wenn alles richtig eingerichtet ist, sollten Sie eine Antwort erhalten wie:

Überwachung und Verwaltung

Greifen Sie auf das TrueFoundry-Dashboard zu, um:

• Überwachen Sie die Ressourcennutzung
• Anwendungsprotokolle anzeigen
• Ressourcen nach Bedarf skalieren
• Regeln für die automatische Skalierung konfigurieren

Überprüfen Sie den Zustand der Anwendung:

• Gesundheit im Backend: /health
• API-Dokumentation: /docs
• Metriken: /Metriken

Beispiel für die Verwendung:

1. Senden Sie eine Anfrage über die API:

2. Über die Streamlit-Benutzeroberfläche:

• Navigiere zur UI-URL
• Geben Sie Ihre Anfrage in die Texteingabe ein
• Abfrageverarbeitung und Ergebnisse in Echtzeit anzeigen

API-Endpunkte

Senden Sie eine Anfrage

‍

Antwort

‍

Jobstatus überprüfen

‍

Plotbild abrufen

Streamlit separat bereitstellen

Um eine ordnungsgemäße Kommunikation zwischen FastAPI und Streamlit sicherzustellen, müssen Sie Streamlit als separaten Dienst auf der TrueFoundry-Plattform bereitstellen.

1. Stellen Sie das Streamlit-Frontend getrennt von FastAPI auf TrueFoundry bereit.
2. CORS in FastAPI konfigurieren:

3. Definieren Sie eine Umgebungsvariable in Streamlit

Ihre Streamlit-Anwendung sollte eine Umgebungsvariable verwenden, um auf das FastAPI-Backend zu verweisen: In Ihrem Optimierte Umgebung Konfiguration:

Ändern Sie dann Ihre Streamlit-App um diese Umgebungsvariable zu lesen:

Dadurch wird sichergestellt, dass Streamlit dynamisch auf die richtige FastAPI-Instanz verweist.

4. Verwenden Sie separate Anschlüsse

Stellen Sie sicher, dass bei der lokalen Bereitstellung oder wenn TrueFoundry Portkonflikte nicht automatisch behandelt FastAPI und Streamlit laufen auf separaten Ports.

Beispiel:

Schnelle API: https://langgraph-plot-agent-demo-8000.aws.demo.truefoundry.cloud

Streamlit: https://langgraph-streamlit-demo-8501.aws.demo.truefoundry.cloud

Um Streamlit lokal auf einem anderen Port auszuführen:

Fügen Sie Ihrem Agenten Spuren hinzu

Tracing hilft Ihnen zu verstehen, was unter der Haube passiert, wenn ein Agent Run aufgerufen wird. Sie erhalten einen Überblick über den Pfad, die getätigten Tools-Aufrufe, den verwendeten Kontext und die Latenz, die entsteht, wenn Sie Ihren Agenten mithilfe der Tracing-Funktion von Truefoundry ausführen, indem Sie nur sehr wenige Codezeilen hinzufügen.

Sie müssen Folgendes installieren

Fügen Sie dann die erforderlichen Umgebungsvariablen hinzu, um die Ablaufverfolgung zu aktivieren

In Ihrer Codebasis, in der Sie Ihren Agenten definieren, benötigen Sie nur diese Zeilen, um das Tracing zu aktivieren

Letzte Anmerkungen

Stellen Sie nach der Bereitstellung beider Dienste Folgendes sicher:

• Testen Sie die API-Konnektivität von Streamlit zu FastAPI.
• Streamlit's aktualisieren .env Datei mit dem richtigen FastAPI-Endpunkt.
• Bestätigen Sie, dass die CORS-Einstellungen Anfragen von Streamlit zulassen.

Dadurch wird sichergestellt, dass Ihre SQL- und Plot-Workflow-API in beiden Diensten ordnungsgemäß funktioniert.

‍

‍