Je eerste Langgraph Agent implementeren op TrueFoundry

In deze gids laten we je zien hoe je een Langgraph-agent kunt implementeren op TrueFoundry, een platform dat is ontworpen om AI-implementatie te vereenvoudigen met minimale DevOps- of MLOps-expertise. TrueFoundry automatiseert het beheer, het schalen en de monitoring van infrastructuur, zodat jij je kunt richten op het verkrijgen van inzichten in plaats van het afhandelen van ingewikkelde implementatieprocessen. Met slechts een paar kliks zet je verzoeken in natuurlijke taal om in SQL-query's en dynamische grafieken, wat gegevensverkenning naadloos en intelligent maakt. Geen handmatige query's vereist!

Als je dit rechtstreeks wilt uitproberen, bezoek dan het TrueFoundry-platform en navigeer naar Live Demos en Langgraph-Streamlit: Live demo van onze agent-workflow

Architectuuroverzicht

Dit project bestaat uit verschillende sleutelcomponenten die samenwerken:

Query Agent

• Gebruikt GPT-4o voor het begrijpen van natuurlijke taal
• Genereert geschikte SQL-query's voor ClickHouse
• Voert de SQL-query uit op een vooraf geconfigureerde database
• Retourneert de gegevens in tabelvorm als invoer voor de visualisatie-agent

Visualization Agent: Een tweede AI-agent die

• Het meest geschikte visualisatietype bepaalt op basis van de gegevens
• Plots genereert met behulp van matplotlib/seaborn
• De opmaak en styling van visualisaties afhandelt

FastAPI Backend: RESTful API die

• Coördineert tussen agenten met behulp van Langgraph
• Asynchrone taakverwerking beheert
• Plotafbeeldingen en resultaten serveert

Streamlit Frontend: Gebruikersinterface die

• Biedt een intuïtieve query-interface
• Toont de realtime verwerkingsstatus
• Laat interactieve visualisaties zien

‍

Gegevensstroom

1. Gebruiker dient een query in natuurlijke taal in via de Streamlit-UI
2. Query wordt verwerkt door de SQL Agent om SQL te genereren
3. SQL wordt uitgevoerd op de ClickHouse-database
4. Resultaten worden doorgegeven aan de Plot Agent
5. Plot Agent maakt de juiste plots aan
6. Resultaten worden weergegeven in de Streamlit-UI

‍Aan de slag

Kloon de repository

Navigeer eerst naar de TrueFoundry Getting Started Examples-repository en kloon deze:

Navigeer naar de map Plot Agent

Ga naar de map plot_agent:

Instellen van de omgeving

Een virtuele omgeving aanmaken en activeren:

Afhankelijkheden installeren

Omgevingsconfiguratie

Kopieer het voorbeeld-omgevingsbestand:

Maak een .env-bestand met je inloggegevens

Opmerking: Bij het gebruiken van de TrueFoundry LLM Gateway moet het model ID-formaat provider-name/model-name zijn (bijv. openai-main/gpt-4o). Zorg ervoor dat je .env-bestand de juiste LLM Gateway-inloggegevens bevat, zoals weergegeven in het gedeelte Omgevingsconfiguratie.

Om clickhouse-inloggegevens te krijgen, maak je een account aan op clickhouse, meld je je aan en maak je een service aan. Nadat je op de service hebt geklikt, zie je een connect-knop in het midden van de linkerzijbalk, waar je op kunt klikken om de inloggegevens te bekijken, zoals hieronder weergegeven. Je kunt een database maken door je bestanden te uploaden of een vooraf gedefinieerde database gebruiken.

Langgraph Agent-implementatie

Het project maakt gebruik van twee LangGraph-agenten, wat het ook een nuttige praktische referentie maakt bij het evalueren van AutoGen vs LangGraph voor de opzet van multi-agent workflows. Als je liever alleen openai gebruikt, vervang dan:

Door:

Hier is hoe ze geconfigureerd zijn in een opzet waarin Langflow vs LangGraph vaak naar voren komt bij keuzes voor orchestratie. 

De services uitvoeren

Start de FastAPI-server:

Start de Streamlit-UI (nieuw terminalvenster):

Implementatie op TrueFoundry

Vereisten

Installeer de TrueFoundry CLI:

Meld je aan bij TrueFoundry:

Stappen voor implementatie

1. Navigeer naar het gedeelte Deployments in TrueFoundry.

2. Klik onderaan op Service.
3. Selecteer je cluster-workspace.
4. Je kunt implementeren vanaf je laptop, GitHub of Docker. Zorg er bij implementatie vanaf je laptop voor dat je de bovenstaande vereisten hebt voltooid.
5. Het TrueFoundry-platform genereert een deploy.py-bestand en voegt dit toe aan je project. Je moet dit bestand bewerken om je omgevingsvariabelen toe te voegen. Zoek het gedeelte env in het gegenereerde bestand en voeg je inloggegevens toe:

Zorg ervoor dat je de tijdelijke aanduidingen vervangt door je daadwerkelijke inloggegevens. Zonder deze omgevingsvariabelen zal je applicatie niet correct functioneren.

6. Voer het implementatiecommando uit:

Je SQL en Plot Workflow API is nu geïmplementeerd en draait op TrueFoundry!

7. Om te controleren of alles werkt, kun je een test-query verzenden met curl:

Als alles correct is ingesteld, zou je een antwoord moeten ontvangen zoals:

Monitoring en beheer

Open het TrueFoundry-dashboard om:

• Resourcegebruik te monitoren
• Applicatielogs te bekijken
• Resources te schalen waar nodig
• Regels voor automatisch schalen te configureren

Controleer de status van de applicatie:

• Backend-status: /health
• API-documentatie: /docs
• Metrieken: /metrics

Voorbeeld van gebruik:

1. Dien een query in via de API:

2. Via de Streamlit-UI:

• Navigeer naar de URL van de UI
• Voer je query in het tekstinvoerbedrijf in
• Bekijk de realtime verwerking van de query en de resultaten

API-eindpunten

Een query indienen

‍

Antwoord

‍

Taakstatus controleren

‍

Plotafbeelding ophalen

Streamlit afzonderlijk implementeren

Om te zorgen voor een goede communicatie tussen FastAPI en Streamlit, moet je Streamlit als een afzonderlijke service implementeren op het TrueFoundry-platform.

1. Implementeer de Streamlit-frontend afzonderlijk van FastAPI op TrueFoundry.
2. Configureer CORS in FastAPI:

3. Definieer een omgevingsvariabele in Streamlit

Je Streamlit-applicatie moet een omgevingsvariabele gebruiken om naar de FastAPI-backend te verwijzen:  In je Streamlit-omgevingsconfiguratie:

Pas vervolgens je Streamlit-app aan om deze omgevingsvariabele uit te lezen:

Dit zorgt ervoor dat Streamlit dynamisch naar de juiste FastAPI-instantie verwijst.

        4. Gebruik afzonderlijke poorten

Als je lokaal implementeert of als TrueFoundry poortconflicten niet automatisch afhandelt, zorg er dan voor dat FastAPI en Streamlit op afzonderlijke poorten draaien.

Voorbeeld:

FastAPI: https://langgraph-plot-agent-demo-8000.aws.demo.truefoundry.cloud

Streamlit: https://langgraph-streamlit-demo-8501.aws.demo.truefoundry.cloud

Om Streamlit lokaal op een andere poort uit te voeren:

Traces toevoegen aan je agent

Tracing helpt je te begrijpen wat er achter de schermen gebeurt wanneer een agent-run wordt aangeroepen. Met de tracingfunctionaliteit van TrueFoundry krijg je inzicht in het pad, de aanroepen van tools, de gebruikte context en de opgelopen latentie wanneer je je agent uitvoert, door slechts enkele regels code toe te voegen.

Je moet het volgende installeren:

Voeg vervolgens de benodigde omgevingsvariabelen toe om tracing in te schakelen

In je codebase waar je je agent definieert, heb je alleen deze regels nodig om tracing in te schakelen

Laatste opmerkingen

Zorg er na het implementeren van beide services voor dat je het volgende doet:

• Test de API-connectiviteit van Streamlit naar FastAPI.
• Werk het .env-bestand van Streamlit bij met het juiste FastAPI-eindpunt.
• Bevestig dat de CORS-instellingen verzoeken van Streamlit toestaan.

Dit zorgt ervoor dat je SQL en Plot Workflow API naar behoren functioneert over beide services heen.

‍

‍