Agent Gateway Series (Deel 7 van 7) | Agent DevOps: CI/CD, Evals en Canary Deployments

In de wereld van microservices hebben we de kunst van CI/CD geperfectioneerd. Unittests zijn deterministisch: assert(2 + 2 == 4). Als de tests slagen, kan de code veilig worden gedeployed.

In de wereld van Agentic AI bestaan "Unittests" niet op dezelfde manier.

• Code: 2 + 2 is altijd 4.
• Agent: "Wees behulpzaam" kan vandaag "Schrijf een gedicht" betekenen en morgen "Verwijder de database", afhankelijk van de modelversie of een kleine wijziging in de prompt.

Je kunt een agent niet simpelweg deployen omdat de code compileert. De prompt is een Hyperparameter van Gedrag. Een kleine aanpassing aan de system prompt ("Wees beknopter") kan een enorme regressie veroorzaken in het redeneervermogen ("De agent is gestopt met controleren op fouten omdat hij beknopt wilde zijn").

Om dit op te lossen, ondersteunt de TrueFoundry Agent Gateway Agent DevOps—een gespecialiseerde lifecycle management-laag die "Shadow Mode," "Online Evals" en "Canary Rollouts" naar de cognitieve stack brengt.

Het probleem: Het "Tone Shift"-incident

Laten we kijken naar een concreet voorbeeld van waarom standaard CI/CD faalt voor agents.

Het scenario: Je hebt een Customer Support Agent in productie. Hij is beleefd en behulpzaam. De Product Manager wil dat hij efficiënter wordt. De wijziging: Je werkt de System Prompt bij van "Je bent een behulpzame assistent" naar "Je bent een beknopte, directe assistent. Verspil geen woorden."

De standaard deployment:

1. Je commit de promptwijziging naar Git.
2. De pipeline bouwt de container.
3. kubectl apply werkt de service bij.

De catastrofe: De agent interpreteert "direct" als "onbeschoft".

• Klant: "Mijn pakket is kwijt, ik maak me zo'n zorgen!"
• Agent (v2): "Track & trace zegt bezorgd. Controleer je veranda. Tot ziens."

De Customer Satisfaction (CSAT)-score stort in. Je hebt je merk beschadigd omdat je een cognitieve verandering behandelde als een codeverandering.

De oplossing: Shadow Mode (Dark Launching)

De TrueFoundry Gateway ondersteunt Traffic Mirroring (Shadow Mode). In plaats van v1 te vervangen door v2, deployen we v2 naast v1.

• Echt gebruikersverkeer: Gaat naar v1. De gebruiker ziet het antwoord van v1.
• Shadow-verkeer: De Gateway dupliceert het verzoek onzichtbaar naar v2.

De Gateway vergelijkt de outputs vervolgens asynchroon. Je kunt een "Auto-Eval" uitvoeren (met een Judge Model) om het verschil te beoordelen.

• v1 Output: "Ik begrijp je bezorgdheid. Laat me de track & trace controleren..." (Empathiescore: 9/10)
• v2 Output: "Track & trace zegt bezorgd." (Empathiescore: 2/10)

Het dashboard geeft een melding: "v2 Empathy Regression Detected." Je draait de deployment terug voordat één enkele klant het onbeschofte bericht ziet.

‍

De "Eval"-gate: CI voor cognitie

Voordat een agent überhaupt Shadow Mode bereikt, moet deze slagen voor de Evaluation Pipeline. Net zoals je pytest uitvoert voor code, moet je deepeval of ragas uitvoeren voor cognitie.

De TrueFoundry Registry behandelt "Evaluation Datasets" als eersteklas burgers.

• Dataset: 500 historische klantvragen + "Golden Answers."
• Metric: "Faithfulness," "Answer Relevancy," "Tool Usage Accuracy."

Wanneer je een Pull Request pusht, start het CI-systeem de agent op en voert het de 500 vragen uit. Criteria voor slagen:

• Faithfulness > 0.9
• Latency < 2s
• Regressie: Score mag niet >5% lager zijn dan de main branch.

Als de "Beknopte Prompt" ervoor zorgt dat de "Faithfulness"-score met 10% daalt, faalt de build. "Merge Blocked: Agent creates hallucinations."

‍

Canary Rollouts: Progressief vertrouwen

Zodra de agent slaagt voor CI en Shadow Mode, ben je klaar voor de echte wereld. Maar je omzeilt de knop niet direct naar 100%. Je gebruikt Canary Routing.

De Gateway maakt een "Virtual Service" die het verkeer splitst op basis van gewichten.

• Fase 1: 1% van de gebruikers krijgt v2. (Interne medewerkers of bètagebruikers).
• Monitor: Controleer het percentage "Feedback Thumbs Up/Down".
• Fase 2: 10% van de gebruikers.
• Monitor: Controleer de "Tool Error Rate" (Heeft de nieuwe prompt de JSON-output gebroken?).
• Fase 3: 50%... 100%.

De Gateway automatiseert dit. Als de "Error Rate" piekt in de 10%-fase, kan de Gateway helpen om  automatisch terug te rollen naar v1 en de on-call engineer op te roepen.

‍

Fig 1: Een voorbeeld van een Canary Rollout

Prompt Versioning vs. Code Versioning

Een grote uitdaging in Agent DevOps is dat de Prompt en de Code vaak op verschillende plaatsen staan.

• Code: main.py (Git).
• Prompt: system_prompt.txt (Vaak in een DB of UI).

De TrueFoundry Agent Registry dwingt Immutable Artifacts af. Wanneer je deployt, bundelen we: Artifact ID = Hash(Code + Prompt + Model Config + Dependencies)

Je kunt de prompt van v1 in productie niet wijzigen. Je moet v1.1 aanmaken. Deze strikte versiebeheer zorgt voor Reproduceerbaarheid. Als er een incident optreedt, weet je precies welke combinatie van Code+Prompt dit heeft veroorzaakt.

Conclusie

Agent DevOps is de discipline van het toepassen van engineering-striktheid op probabilistische software. Door over te stappen van "Vibes-based Deployment" (het voelt sneller) naar "Metrics-based Deployment" (Shadow Mode bevestigde 5% hogere nauwkeurigheid), stelt TrueFoundry ondernemingen in staat om snel te innoveren op hun prompts zonder het vertrouwen van hun gebruikers te schaden.

‍