Agent Gateway-Serie (Teil 7 von 7) | Agent DevOps: CI/CD-, Evals- und Canary-Bereitstellungen

In der Welt der Microservices haben wir die Kunst des CI/CD perfektioniert. Komponententests sind deterministisch: assert (2 + 2 == 4). Wenn die Tests erfolgreich sind, kann der Code sicher bereitgestellt werden.

In der Welt von Agentische KI, „Unit Tests“ existieren nicht auf die gleiche Weise.

• Kode: 2+2 ist immer 4.
• Bevollmächtigter: „Sei hilfreich“ könnte heute „Schreiben Sie ein Gedicht“ und morgen „Die Datenbank löschen“ bedeuten, abhängig von der Modellversion oder einer geringfügigen Änderung in der Aufforderung.

Sie können einen Agenten nicht einfach bereitstellen, da der Code kompiliert wird. Die Eingabeaufforderung ist ein Hyperparameter des Verhaltens. Eine geringfügige Änderung der Systemaufforderung („Seien Sie prägnanter“) kann zu einer massiven Verschlechterung der Argumentationsfähigkeit führen („Der Agent hat aufgehört, nach Fehlern zu suchen, weil er sich kurz fassen wollte“).

Um dieses Problem zu lösen, unterstützt das TrueFoundry Agent Gateway DevOps Agent—eine spezielle Lifecycle-Management-Ebene, die „Shadow Mode“, „Online Evals“ und „Canary Rollouts“ in den kognitiven Stack integriert.

Das Problem: Der „Tone Shift“ -Vorfall

Schauen wir uns ein konkretes Beispiel dafür an, warum Standard-CI/CD bei Agenten fehlschlägt.

Das Szenario: Du hast eine Mitarbeiter des Kundensupports in der Produktion. Es ist höflich und hilfreich. Der Produktmanager möchte, dass es effizienter ist. Die Änderung: Sie aktualisieren die Systemaufforderung von „Du bist ein hilfreicher Assistent“ zu „Du bist eine präzise, direkte Assistentin. Verschwende keine Worte.“

Die Standardbereitstellung:

1. Sie übertragen die Änderung der Eingabeaufforderung an Git.
2. Die Pipeline baut den Container.
3. kubectl apply aktualisiert den Dienst.

Die Katastrophe: Der Agent interpretiert „direkt“ als „unhöflich“.

• Kunde: „Mein Paket ist verloren, ich mache mir solche Sorgen!“
• Agent (v2): „Das Tracking sagt geliefert. Überprüfe deine Veranda. Auf Wiedersehen.“

Der Kundenzufriedenheitswert (CSAT) stürzt ab. Sie haben Ihre Marke verdorben, weil Sie eine behandelt haben kognitive ändere dich wie ein Code ändern.

Die Lösung: Schattenmodus (Dark Launching)

Das TrueFoundry Gateway unterstützt Spiegelung des Datenverkehrs (Schattenmodus). Anstatt v1 durch v2 zu ersetzen, setzen wir v2 zusammen mit v1 ein.

• Echter Benutzerverkehr: Geht zu v1. Der Benutzer sieht die Antwort von v1.
• Schattenverkehr: Das Gateway dupliziert die Anfrage unsichtbar an v2.

Das Gateway vergleicht dann die Ausgaben asynchron. Sie können einen „Auto-Eval“ (unter Verwendung eines Judge-Modells) durchführen, um die Differenz zu bewerten.

• v1-Ausgabe: „Ich verstehe deine Besorgnis. Lass mich das Tracking überprüfen...“ (Empathie-Punktzahl: 9/10)
• v2-Ausgang: „Das Tracking sagt geliefert.“ (Empathie-Punktzahl: 2/10)

Das Dashboard warnt Sie: „v2 Empathie-Regression erkannt.“ Sie machen die Bereitstellung rückgängig, bevor ein einziger Kunde die unhöfliche Nachricht sieht.

‍

Das „Eval“ -Tor: CI für Kognition

Bevor ein Agent den Schattenmodus erreicht, muss er den Evaluierungspipeline. So wie Sie pytest für Code ausführen, müssen Sie Deepval oder Ragas für Kognition ausführen.

Das TrueFoundry Registry behandelt „Bewertungsdatensätze“ als Bürger erster Klasse.

• Datensatz: 500 historische Kundenanfragen + „Goldene Antworten“.
• Metrisch: „Treue“, „Antwortrelevanz“, „Genauigkeit der Werkzeugnutzung“.

Wenn Sie einen Pull Request senden, startet das CI-System den Agenten und führt die 500 Abfragen aus. Kriterien für das Bestehen:

• Treue > 0,9
• Latenz < 2 s
• Regression: Die Punktzahl darf nicht > 5% unter der des Hauptzweigs liegen.

Wenn die „Concise Prompt“ dazu führt, dass der Wert für „Treue“ um 10% sinkt, schlägt der Build fehl. „Merge geblockt: Der Agent erzeugt Halluzinationen.“

‍

Canary Rollouts: Progressive Trust

Sobald der Agent den CI- und Shadow-Modus bestanden hat, sind Sie bereit für die reale Welt. Aber du stellst den Schalter nicht auf 100% um. Du benutzt Kanarisches Routing.

Das Gateway erstellt einen „virtuellen Dienst“, der den Verkehr anhand von Gewichtungen aufteilt.

• Phase 1: 1% der Benutzer erhalten v2. (Interne Mitarbeiter oder Beta-Benutzer).
• Überwachen: Setze ein Häkchen bei der Bewertung „Feedback Daumen hoch/runter“.
• Phase 2: 10% der Nutzer.
• Überwachen: Markieren Sie „Tool Error Rate“ (Hat die neue Eingabeaufforderung die JSON-Ausgabe unterbrochen?).
• Phase 3: 50%... 100%.

Das Gateway automatisiert das. Wenn die „Fehlerrate“ bei 10% ansteigt, kann das Gateway Abhilfe schaffen automatisches Rollback zu v1 und peitscht den Bereitschaftstechniker.

‍

Bild 1: Ein Beispiel für einen Canary-Rollout

Prompte Versionierung im Vergleich zu Codeversionierung

Eine große Herausforderung bei Agent DevOps besteht darin, dass sich der Prompt und der Code oft an verschiedenen Orten befinden.

• Kode: main.py (Git).
• Aufforderung: system_prompt.txt (Oft in einer DB oder UI).

Die wahre Gießerei Agenten-Registrierung erzwingt Unveränderliche Artefakte. Bei der Bereitstellung bündeln wir: Artifact ID = Hash (Code + Prompt + Model Config + Abhängigkeiten)

Sie können die Eingabeaufforderung von v1 in der Produktion nicht ändern. Sie müssen Version 1.1 erstellen. Diese strenge Versionierung gewährleistet Reproduzierbarkeit. Wenn ein Vorfall passiert, weißt du genau, welche Kombination aus Code+Prompt ihn verursacht hat.

Fazit

Agent DevOps ist die Disziplin, bei der probabilistische Software technische Sorgfalt angewendet wird. TrueFoundry wechselt von einer „Vibes-basierten Bereitstellung“ (fühlt sich schneller an) zur „metrikbasierten Bereitstellung“ (im Schattenmodus wurde eine um 5% höhere Genauigkeit bestätigt) und ermöglicht es Unternehmen, schnell Innovationen auf Anhieb umzusetzen, ohne das Vertrauen ihrer Benutzer zu gefährden.

‍