Bereitstellung Ihres Agno-Agents auf TrueFoundry

In dieser Anleitung zeigen wir Ihnen, wie Sie einen Agno-Agenten auf TrueFoundry bereitstellen – einer Plattform, die entwickelt wurde, um die AI-Bereitstellung mit minimalem DevOps- oder MLOps-Aufwand zu vereinfachen. TrueFoundry automatisiert das Infrastrukturmanagement, die Skalierung und das Monitoring, sodass Sie sich darauf konzentrieren können, Erkenntnisse zu gewinnen, anstatt sich mit komplexen Deployment-Prozessen zu beschäftigen. Mit nur wenigen Klicks können Sie Anfragen in natürlicher Sprache in SQL-Abfragen und dynamische Diagramme umwandeln. Das macht die Datenexploration nahtlos und intelligent – ganz ohne manuelle Abfragen!

Wenn Sie dies direkt ausprobieren möchten, besuchen Sie bitte die TrueFoundry-Plattform und navigieren Sie zu den Live Demos und agno-Streamlit: Live-Demo unseres Agenten-Workflows.

Architektur-Überblick

Dieses Projekt besteht aus mehreren Schlüsselkomponenten, die zusammenarbeiten:

Query Agent

• Nutzt GPT-4o für das Verständnis natürlicher Sprache
• Generiert passende SQL-Abfragen für ClickHouse
• Führt die SQL-Abfrage auf einer vorkonfigurierten SQL-Datenbank aus
• Gibt die Daten im Tabellenformat als Eingabe für den Visualisierungs-Agenten zurück

Visualization Agent: Ein zweiter AI-Agent, der

• Die am besten geeignete Visualisierungsart basierend auf den Daten bestimmt
• Diagramme mit matplotlib/seaborn erstellt
• Das Formatieren und Styling der Visualisierungen übernimmt

FastAPI Backend: RESTful API, die

• Die Koordinierung zwischen den Agenten mittels agno übernimmt
• Die asynchrone Auftragsverarbeitung verwaltet
• Diagrammbilder und Ergebnisse bereitstellt

Streamlit Frontend: Benutzeroberfläche, die

• Eine intuitive Abfrageschnittstelle bietet
• Den Verarbeitungsstatus in Echtzeit anzeigt
• Interaktive Visualisierungen darstellt

Datenfluss

Der Benutzer sendet eine Anfrage in natürlicher Sprache über Streamlit.

• Der Query Agent nutzt agno mit GPT-4o, um SQL-Abfragen für ClickHouse zu generieren
• Führt die SQL-Abfrage in der ClickHouse-Datenbank aus
• Die Ergebnisse werden im Tabellenformat als Eingabe für den Visualization Agent zurückgegeben
• Der Visualization Agent generiert Visualisierungen und gibt Bilder zur Anzeige zurück

Erste Schritte

Klonen Sie das Repository

Navigieren Sie zunächst zum Repository TrueFoundry Getting Started Examples und klonen Sie es:

Navigieren Sie in das agno Plot Agent-Verzeichnis:

Einrichtung der Umgebung

Erstellen und aktivieren Sie eine virtuelle Umgebung:

Abhängigkeiten installieren:

Umgebungsvariablen konfigurieren

Erstellen Sie eine .env-Datei:

‍
Hinweis: Bei Verwendung des TrueFoundry LLM Gateway sollte das Modell-ID-Format provider-name/model-name lauten (z. B. openai-main/gpt-4o). Stellen Sie sicher, dass Ihre .env-Datei die korrekten LLM Gateway-Anmeldedaten enthält, wie im Abschnitt Umgebungskonfiguration gezeigt.

Um ClickHouse-Anmeldedaten zu erhalten, erstellen Sie ein Konto auf ClickHouse, melden Sie sich an und erstellen Sie einen Service. Nach dem Anklicken des Services sehen Sie in der Mitte der linken Seitenleiste eine Connect-Schaltfläche. Klicken Sie darauf, um die Anmeldedaten wie unten gezeigt anzuzeigen. Sie können entweder eine Datenbank erstellen, indem Sie Ihre Dateien hochladen, oder eine vordefinierte verwenden.

Agno Agent-Implementierung

Ausführen der Services

Starten Sie den agno-Workflow

Starten Sie das FastAPI-Backend:

Starten Sie die Streamlit-UI (neues Terminal):

Bereitstellung auf TrueFoundry

Voraussetzungen

Installieren Sie die TrueFoundry CLI:

Melden Sie sich bei TrueFoundry an:

Schritte zur Bereitstellung

1. Navigieren Sie zum Bereich Deployments in TrueFoundry.

2. Klicken Sie unten auf Service.
3. Wählen Sie Ihren Cluster-Workspace aus.
4. Sie können von Ihrem Laptop, GitHub oder Docker aus bereitstellen. Wenn Sie von Ihrem Laptop aus bereitstellen, stellen Sie sicher, dass Sie die oben genannten Voraussetzungen erfüllt haben.
5. Die TrueFoundry-Plattform generiert eine deploy.py-Datei und fügt sie Ihrem Projekt hinzu. Sie müssen diese Datei bearbeiten, um Ihre Umgebungsvariablen einzufügen. Suchen Sie den env-Abschnitt in der generierten Datei und fügen Sie Ihre Anmeldedaten hinzu:
6. Verwenden Sie das generierte deploy.py und bearbeiten Sie den Abschnitt env:

Testen der Bereitstellung

Senden Sie eine Testabfrage:

Beispiel für eine erfolgreiche Antwort:

API-Endpunkte

• Eine Abfrage senden:

• Abfragestatus prüfen:

• Diagrammbild abrufen:

Frontend und CORS

Konfigurieren Sie CORS in FastAPI:

Definieren Sie die Umgebungsvariable in Streamlit:

Hinweise nach der Bereitstellung

• Testen Sie die API-Konnektivität von Streamlit zu FastAPI.
• Aktualisieren Sie die .env-Datei von Streamlit mit dem FastAPI-Endpunkt.
• Bestätigen Sie, dass die CORS-Einstellungen Streamlit-Anfragen zulassen.

Überwachen und verwalten Sie Ihre Bereitstellung über TrueFoundry durch:

• Anzeigen von Logs
• Überwachung der Ressourcennutzung
• Einrichten von Auto-Scaling-Regeln
• Überprüfung des Backend-Zustands (/health), der API-Dokumentation (/docs) und der Metriken unter /metrics

Fügen Sie Traces zu Ihrem Agenten hinzu

Tracing hilft Ihnen zu verstehen, was hinter den Kulissen passiert, wenn ein Agenten-Lauf aufgerufen wird. Mit der Tracing-Funktionalität von TrueFoundry verstehen Sie den Pfad, die getätigten Tool-Aufrufe, den verwendeten Kontext und die benötigte Latenz, wenn Sie Ihren Agenten ausführen – und das mit nur sehr wenigen Zeilen Code.

Sie müssen Folgendes installieren

Fügen Sie dann die erforderlichen Umgebungsvariablen hinzu, um Tracing zu aktivieren

In Ihrer Codebasis, in der Sie Ihren Agenten definieren, benötigen Sie nur diese Zeilen, um Tracing zu aktivieren

Fügen Sie dann dem Agenten und den Workflows wie folgt einen Decorator hinzu

Mit diesen Schritten ist Ihr Agno-Agenten-Workflow nun erfolgreich auf TrueFoundry bereitgestellt!