So stellen Sie den MultiAgent-Workflow mit CrewAI auf TrueFoundry bereit

In diesem Handbuch zeigen wir Ihnen, wie Sie eine bereitstellen Crew A Agent auf TrueFoundry, einer Plattform, die entwickelt wurde, um die KI-Bereitstellung mit minimalem DevOps- oder MLOps-Fachwissen zu vereinfachen. TrueFoundry automatisiert Infrastrukturmanagement, Skalierung und Überwachung, sodass Sie sich darauf konzentrieren können, Erkenntnisse zu gewinnen, anstatt sich um die Komplexität der Bereitstellung zu kümmern. Mit nur wenigen Klicks können Sie Anfragen in natürlicher Sprache in SQL-Abfragen und dynamische Diagramme umwandeln und so die Datenexploration nahtlos und intelligent gestalten. Keine manuelle Abfrage erforderlich!

Wenn Sie dies direkt ausprobieren möchten, besuchen Sie bitte die TrueFoundry-Plattform und navigieren Sie zu Live-Demos und CrewAI-StreamLit: Live-Demo unseres Agenten-Workflows

Überblick über die Architektur

Dieses Projekt besteht aus mehreren Schlüsselkomponenten, die zusammenarbeiten:

Abfrage-Agent

• Verwendet GPT-4o für das Verständnis natürlicher Sprache
• Generiert entsprechende SQL-Abfragen für ClickHouse
• Führt die SQL-Abfrage für eine vorkonfigurierte Datenbank aus
• Gibt die Daten im tabellarischen Format als Eingabe für den Visualisierungsagenten zurück

Visualisierungsagent: Ein zweiter KI-Agent, der

• Ermittelt den für die Daten am besten geeigneten Visualisierungstyp
• Generiert Plots mit matplotlib/seaborn
• Behandelt das Formatieren und Stylen von Visualisierungen

FastAPI-Backend: RESTful-API, die

• Koordinaten zwischen Agenten, die CrewAI verwenden
• Verwaltet die asynchrone Auftragsverarbeitung
• Serviert Plotbilder und Ergebnisse

Streamlit-Frontend: Benutzeroberfläche, die

• Bietet eine intuitive Abfrageschnittstelle
• Zeigt den Verarbeitungsstatus in Echtzeit an
• Zeigt interaktive Visualisierungen

Datenfluss

Der Benutzer sendet eine Anfrage in natürlicher Sprache über Streamlit.

• Query Agent verwendet CrewAI mit GPT-4o, um SQL-Abfragen für ClickHouse zu generieren
• Führt die SQL-Abfrage für die ClickHouse-Datenbank aus
• Ergebnisse werden in tabellarischer Form als Eingabe für den Visualization Agent zurückgegeben
• Visualization Agent generiert Visualisierungen und gibt Bilder zur Anzeige zurück

Erste Schritte

Klonen Sie das Repository

Navigieren Sie zunächst zum Beispiele für die ersten Schritte mit TrueFoundry Repository und klone es:

Navigieren Sie zum CrewAI Plot Agent-Verzeichnis:

Einrichtung der Umgebung

Erstellen und aktivieren Sie eine virtuelle Umgebung:

Abhängigkeiten installieren:

Umgebungsvariablen konfigurieren

Erstellen Sie eine .env datei:

Hinweis: Bei Verwendung des TrueFoundry LLM Gateways sollte das Modell-ID-Format wie folgt lauten provider-name/model-name (z. B. openai-main/gpt-4o). Stellen Sie sicher, dass Ihre .env Die Datei enthält die richtigen LLM-Gateway-Anmeldeinformationen, wie im Abschnitt Umgebungskonfiguration gezeigt.

Um Clickhouse-Zugangsdaten zu erhalten, erstellen Sie ein Konto unter Clickhouse, melden Sie sich an und erstellen Sie einen Dienst. Nachdem Sie auf den Dienst geklickt haben, wird in der Mitte der linken Seitenleiste eine Verbindungsschaltfläche angezeigt, auf die Sie klicken können, um die unten gezeigten Anmeldeinformationen anzuzeigen. Sie können entweder eine Datenbank erstellen, indem Sie Ihre Dateien hochladen, oder eine vordefinierte verwenden.

Implementierung von CrewAI Agent

Die Dekorateure @Crewbase, @agent, @task usw. dienen dazu, das Tracing in Truefoundry zu ermöglichen, das später ausführlich erwähnt wird.

Ausführen der Dienste

CrewAI Workflow starten

Starten Sie das FastAPI-Backend:

Starten Sie Streamlit UI (neues Terminal):

Bereitstellung auf TrueFoundry

Voraussetzungen

Installieren Sie TrueFoundry CLI:

Loggen Sie sich bei TrueFoundry ein:

Schritte zur Bereitstellung

1. Navigieren Sie in TrueFoundry zum Abschnitt Deployments.

2. Klicken Sie unten auf Service.
3. Wählen Sie Ihren Cluster-Workspace aus.
4. Sie können die Bereitstellung von Ihrem Laptop, GitHub oder Docker aus durchführen. Wenn Sie die Bereitstellung von Ihrem Laptop aus vornehmen, stellen Sie sicher, dass Sie die oben genannten Voraussetzungen erfüllt haben.
5. Die TrueFoundry-Plattform generiert eine Datei deploy.py und fügt sie Ihrem Projekt hinzu. Sie müssen diese Datei bearbeiten, um Ihre Umgebungsvariablen hinzuzufügen. Suchen Sie den Abschnitt env in der generierten Datei und fügen Sie Ihre Anmeldeinformationen hinzu:
6. Benutze das generierte deploy.py und bearbeite die env Abschnitt:

Ersetzen Sie Platzhalter durch Ihre Anmeldeinformationen und Umgebungskonfigurationen.

Bereitstellung testen

Senden Sie eine Testanfrage:

Beispiel für eine erfolgreiche Antwort:

API-Endpunkte

• Senden Sie eine Anfrage:

• Abfragestatus überprüfen:

• Plotbild abrufen:

Frontend und CORS

CORS in FastAPI konfigurieren:

Definieren Sie die Umgebungsvariable in Streamlit:

Hinweise nach der Bereitstellung

• Testen Sie die API-Konnektivität von Streamlit zu FastAPI.
• Streamlit's aktualisieren .env Datei mit dem FastAPI-Endpunkt.
• Bestätigen Sie, dass die CORS-Einstellungen Streamlit-Anfragen zulassen.

Überwachen und verwalten Sie Ihre Bereitstellung über TrueFoundry, indem Sie:

• Protokolle anzeigen
• Überwachung der Ressourcennutzung
• Regeln für die automatische Skalierung festlegen
• Überprüfung des Backend-Zustands (/health), API-Dokumentation (/docs) und Metriken unter /metrics

Fügen Sie Ihrem Agenten Spuren hinzu

Tracing hilft Ihnen zu verstehen, was unter der Haube passiert, wenn ein Agent Run aufgerufen wird. Sie erhalten einen Überblick über den Pfad, die getätigten Tools-Aufrufe, den verwendeten Kontext und die Latenz, die entsteht, wenn Sie Ihren Agenten mithilfe der Tracing-Funktion von Truefoundry ausführen, indem Sie nur sehr wenige Codezeilen hinzufügen.

Sie müssen Folgendes installieren

Fügen Sie dann die erforderlichen Umgebungsvariablen hinzu, um die Ablaufverfolgung zu aktivieren

In Ihrer Codebasis, in der Sie Ihren Agenten definieren, benötigen Sie nur diese Zeilen, um das Tracing zu aktivieren

Fügen Sie dann Decorator zum Agenten und den Workflows wie folgt hinzu

Mit diesen Schritten ist Ihr CrewAI-Agent-Workflow jetzt erfolgreich auf TrueFoundry bereitgestellt!

‍