Hoe je een MultiAgent-workflow met CrewAI implementeert op TrueFoundry

In deze gids laten we je zien hoe je een CrewAI-agent implementeert op TrueFoundry, een platform dat is ontworpen om AI-deployment te vereenvoudigen met minimale DevOps- of MLOps-expertise. TrueFoundry automatiseert het beheer van infrastructuur, schalen en monitoring, zodat jij je kunt richten op het verkrijgen van inzichten in plaats van het afhandelen van complexe deploymentvraagstukken. Met slechts een paar kliks transformeer je natuurlijke taalverzoeken in SQL-query's en dynamische grafieken, waardoor data-exploratie naadloos en intelligent wordt. Geen handmatige query's vereist!

Als je dit rechtstreeks wilt uitproberen, bezoek dan het TrueFoundry-platform en navigeer naar Live Demos en CrewAI-Streamlit: Live demo van onze agent-workflow

Overzicht van de architectuur

Dit project bestaat uit verschillende sleutelcomponenten die samenwerken:

Query Agent

• Gebruikt GPT-4o voor het begrijpen van natuurlijke taal
• Genereert geschikte SQL-query's voor ClickHouse
• Voert de SQL-query uit op een vooraf geconfigureerde database
• Retourneert de gegevens in tabelvorm als invoer voor de visualisatie-agent

Visualization Agent: Een tweede AI-agent die

• Het meest geschikte visualisatietype bepaalt op basis van de data
• Plots genereert met behulp van matplotlib/seaborn
• De opmaak en styling van visualisaties afhandelt

FastAPI Backend: RESTful API die

• De agents coördineert met behulp van CrewAI
• Asynchrone jobverwerking beheert
• Plot-afbeeldingen en resultaten levert

Streamlit Frontend: Gebruikersinterface die

• Biedt een intuïtieve query-interface
• De realtime verwerkingsstatus toont
• Interactieve visualisaties laat zien

Datastroom

De gebruiker dient een query in natuurlijke taal in via Streamlit.

• Query Agent gebruikt CrewAI met GPT-4o om SQL-query's voor ClickHouse te genereren
• Voert de SQL-query uit op de ClickHouse-database
• Resultaten worden geretourneerd in tabelvorm als invoer voor de Visualization Agent
• Visualization Agent genereert visualisaties en retourneert afbeeldingen voor weergave

Aan de slag

Kloon de repository

Navigeer eerst naar de TrueFoundry Getting Started Examples-repository en kloon deze:

Navigeer naar de CrewAI Plot Agent-directory:

Omgevingsinstelling

Maak een virtuele omgeving aan en activeer deze:

Installeer afhankelijkheden:

Configureer omgevingsvariabelen

Maak een .env-bestand aan:

Opmerking: Bij het gebruik van de TrueFoundry LLM Gateway moet het model ID-formaat provider-name/model-name zijn (bijv. openai-main/gpt-4o). Zorg ervoor dat je .env-bestand de juiste LLM Gateway-referenties bevat, zoals getoond in de sectie Omgevingsconfiguratie.

Om ClickHouse-referenties te verkrijgen, maak je een account aan op clickhouse, meld je je aan en maak je een service aan. Nadat je op de service hebt geklikt, zie je een connect-knop in het midden van de linkerzijbalk, waar je op kunt klikken om de referenties te bekijken zoals hieronder weergegeven. Je kunt een database aanmaken door je bestanden te uploaden of een vooraf gedefinieerde database gebruiken.

CrewAI Agent-implementatie

De decorators @Crewbase, @agent, @task etc. dienen voor het inschakelen van tracing in TrueFoundry, wat later in detail wordt besproken.

De services uitvoeren

Start de CrewAI-workflow

Start de FastAPI Backend:

Start de Streamlit UI (nieuwe terminal):

Deployment op TrueFoundry

Vereisten

Installeer de TrueFoundry CLI:

Logle in bij TrueFoundry:

Deploymentstappen

1. Navigeer naar de sectie Deployments in TrueFoundry.

2. Klik onderaan op Service.
3. Selecteer je cluster-workspace.
4. Je kunt deployen vanaf je laptop, GitHub of Docker. Als je vanaf je laptop deployt, zorg er dan voor dat je aan de bovenstaande vereisten hebt voldaan.
5. Het TrueFoundry-platform genereert een deploy.py-bestand en voegt dit toe aan je project. Je moet dit bestand bewerken om je omgevingsvariabelen toe te voegen. Zoek de env-sectie in het gegenereerde bestand en voeg je referenties toe:
6. Gebruik het gegenereerde deploy.py en bewerk de env-sectie:

Vervang placeholders door je eigen referenties en omgevingsconfiguraties.

Deployment testen

Stuur een test-query:

Voorbeeld van een succesvolle respons:

API Endpoints

• Dien een query in:

• Controleer de query-status:

• Haal de plot-afbeelding op:

Frontend en CORS

Configureer CORS in FastAPI:

Definieer de omgevingsvariabele in Streamlit:

Opmerkingen na deployment

• Test de API-connectiviteit van Streamlit naar FastAPI.
• Update het .env-bestand van Streamlit met het FastAPI-endpoint.
• Bevestig dat de CORS-instellingen Streamlit-verzoeken toestaan.

Bewaak en beheer je deployment via TrueFoundry door:

• Logs te bekijken
• Het resourcegebruik te monitoren
• Auto-scaling regels in te stellen
• De status van de backend te controleren (/health), de API-documentatie te bekijken (/docs), en metrics in te zien op /metrics

Traces toevoegen aan je agent

Tracing helpt je te begrijpen wat er onder de motorkap gebeurt wanneer een agent-run wordt aangeroepen. Je krijgt inzicht in het pad, de tool calls die zijn gemaakt, de gebruikte context en de opgelopen latentie wanneer je je agent uitvoert met de tracing-functionaliteit van TrueFoundry, door slechts enkele regels code toe te voegen.

Je moet het volgende installeren

En voeg vervolgens de benodigde omgevingsvariabelen toe om tracing in te schakelen

In je codebase waar je je agent definieert, heb je alleen deze regels nodig om tracing in te schakelen

Voeg vervolgens decorators toe aan de agent en workflows zoals hieronder

Met deze stappen is je CrewAI agent-workflow nu succesvol gedeployed op TrueFoundry!

‍