Blank white background with no objects or features visible.

Bonjour, zone EMEA ! TrueFoundry étend sa présence en Europe, au Moyen-Orient et en Afrique. En savoir plus. →

Série Agent Gateway (Partie 7 sur 7) | Agent DevOps : CI/CD, évaluations et déploiements Canary

Par Boyu Wang

Mis à jour : November 3, 2026

Published: April 20, 2026

Dans le monde des microservices, nous avons perfectionné l'art du CI/CD. Les tests unitaires sont déterministes : assert(2 + 2 == 4). Si les tests passent, le code peut être déployé en toute sécurité.

Dans le monde de l'IA agentique, les "tests unitaires" n'existent pas de la même manière.

  • Code : 2 + 2 font toujours 4.
  • Agent : "Sois utile" peut signifier "Écris un poème" aujourd'hui et "Supprime la base de données" demain, selon la version du modèle ou une légère modification du prompt.

Vous ne pouvez pas simplement déployer un agent parce que le code compile. Le prompt est un hyperparamètre de comportement. Une modification mineure du prompt système ("Sois plus concis") peut entraîner une régression massive des capacités de raisonnement ("L'agent a cessé de vérifier les erreurs parce qu'il voulait être concis").

Pour résoudre ce problème, l'Agent Gateway TrueFoundry intègre l'Agent DevOps, une couche spécialisée de gestion du cycle de vie qui apporte le "mode shadow", les "évaluations en ligne" et les "déploiements Canary" à la pile cognitive.

Le problème : l'incident du "changement de ton"

Examinons un exemple concret montrant pourquoi le CI/CD standard échoue pour les agents.

Le scénario : Vous avez un agent de support client en production. Il est poli et utile. Le responsable produit souhaite qu'il soit plus efficace. La modification : Vous mettez à jour le prompt système de "Vous êtes un assistant utile" à "Vous êtes un assistant concis et direct. N'économisez pas vos mots."

Le déploiement standard :

  1. Vous commitez la modification du prompt dans Git.
  2. Le pipeline construit le conteneur.
  3. kubectl apply met à jour le service.

La catastrophe : L'agent interprète "direct" comme "impoli".

  • Client : "Mon colis est perdu, je suis très inquiet !"
  • Agent (v2) : "Le suivi indique livré. Vérifiez votre porche. Au revoir."

Le score de satisfaction client (CSAT) s'effondre. Vous avez dégradé l'image de votre marque parce que vous avez traité une modification cognitive comme une modification de code.

La solution : le mode Shadow (Dark Launching)

La Gateway TrueFoundry prend en charge le miroir de trafic (mode shadow). Au lieu de remplacer v1 par v2, nous déployons v2 aux côtés de v1.

  • Trafic utilisateur réel : Va vers v1. L'utilisateur voit la réponse de v1.
  • Trafic Shadow : La Gateway duplique la requête vers v2 de manière invisible.

La Gateway compare ensuite les sorties de manière asynchrone. Vous pouvez exécuter une "évaluation automatique" (en utilisant un modèle juge) pour noter la différence.

  • Sortie v1 : "Je comprends votre inquiétude. Laissez-moi vérifier le suivi..." (Score d'empathie : 9/10)
  • Sortie v2 : "Le suivi indique livré." (Score d'empathie : 2/10)

Le tableau de bord vous alerte : "Régression de l'empathie v2 détectée." Vous annulez le déploiement avant qu'un seul client ne voie le message impoli.

‍

La porte d'évaluation ("Eval Gate") : le CI pour la cognition

Avant même qu'un agent n'atteigne le mode shadow, il doit passer le pipeline d'évaluation. Tout comme vous exécutez pytest pour le code, vous devez exécuter deepeval ou ragas pour la cognition.

Le Registry TrueFoundry traite les "jeux de données d'évaluation" comme des citoyens de première classe.

  • Jeu de données : 500 requêtes clients historiques + "Golden Answers".
  • Métrique : "Fidélité", "Pertinence de la réponse", "Précision d'utilisation des outils".

Lorsque vous soumettez une Pull Request, le système CI démarre l'agent et exécute les 500 requêtes. Critères de réussite :

  • Fidélité > 0,9
  • Latence < 2s
  • Régression : Le score ne peut pas être inférieur de plus de 5 % à celui de la branche principale.

Si le "prompt concis" fait chuter le score de "Fidélité" de 10 %, le build échoue. "Fusion bloquée : l'agent génère des hallucinations."

‍

Déploiements Canary : confiance progressive

Une fois que l'agent a passé le CI et le mode shadow, vous êtes prêt pour le monde réel. Mais vous ne basculez pas à 100 % immédiatement. Vous utilisez le routage Canary.

La Gateway crée un "service virtuel" qui répartit le trafic selon des pondérations.

  • Phase 1 : 1 % des utilisateurs reçoivent la v2 (employés internes ou utilisateurs bêta).
  • Surveillance : Vérifier le taux de retours "pouce vers le haut/bas".
  • Phase 2 : 10 % des utilisateurs.
  • Surveillance : Vérifier le "taux d'erreur des outils" (le nouveau prompt a-t-il altéré la sortie JSON ?).
  • Phase 3 : 50 %... 100 %.

La Gateway automatise ce processus. Si le "taux d'erreur" augmente fortement lors de la phase à 10 %, la Gateway peut aider à revenir automatiquement à la v1 et avertir l'ingénieur de garde.

‍

Fig 1 : Exemple de déploiement Canary

Gestion des versions des prompts vs. gestion des versions du code

L'un des principaux défis de l'Agent DevOps réside dans le fait que le prompt et le code résident souvent dans des emplacements différents.

  • Code : main.py (Git).
  • Prompt : system_prompt.txt (souvent dans une base de données ou une interface utilisateur).

L'Agent Registry TrueFoundry impose des artefacts immuables. Lors du déploiement, nous regroupons : Artifact ID = Hash(Code + Prompt + Model Config + Dependencies)

Vous ne pouvez pas modifier le prompt de la v1 en production. Vous devez créer la v1.1. Ce versionnage strict garantit la reproductibilité. Si un incident survient, vous savez exactement quelle combinaison Code+Prompt en est la cause.

Conclusion

L'Agent DevOps est la discipline consistant à appliquer la rigueur de l'ingénierie logicielle aux logiciels probabilistes. En passant d'un "déploiement fondé sur l'intuition" (l'impression que c'est plus rapide) à un "déploiement fondé sur des métriques" (le mode shadow a confirmé une précision supérieure de 5 %), TrueFoundry permet aux entreprises d'innover rapidement sur leurs prompts sans altérer la confiance de leurs utilisateurs.

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

INSCRIVEZ-VOUS
Table des matières

Gouvernez, déployez et suivez l'IA dans votre propre infrastructure

Réservez un séjour de 30 minutes avec notre Expert en IA

Réservez une démo

Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA

Démo du livre
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Découvrez-en plus

Aucun article n'a été trouvé.
Guide to Langgraph vs Langchain
November 16, 2026
|
5 min de lecture

LangChain vs LangGraph : lequel vous convient le mieux ?

comparaison
A detailed guide on Claude Fable 5
November 16, 2026
|
5 min de lecture

Claude Fable 5.2: API, Benchmarks, Pricing and How to Use It

Ingénierie et produits
openrouter vs litellm
November 16, 2026
|
5 min de lecture

LiteLLM vs OpenRouter : lequel vous convient le mieux ?

comparaison
November 16, 2026
|
5 min de lecture

Architecture des Transformers dans les grands modèles de langage (LLM)

Terminologie LLM
Aucun article n'a été trouvé.

Blogs récents

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Faites un rapide tour d'horizon des produits
Commencer la visite guidée du produit
Visite guidée du produit