Série Agent Gateway (Partie 7 sur 7) | Agent DevOps : CI/CD, évaluations et déploiements Canary

Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
Dans le monde des microservices, nous avons perfectionné l'art du CI/CD. Les tests unitaires sont déterministes : assert(2 + 2 == 4). Si les tests passent, le code peut être déployé en toute sécurité.
Dans le monde de l'IA agentique, les "tests unitaires" n'existent pas de la même manière.
- Code : 2 + 2 font toujours 4.
- Agent : "Sois utile" peut signifier "Écris un poème" aujourd'hui et "Supprime la base de données" demain, selon la version du modèle ou une légère modification du prompt.
Vous ne pouvez pas simplement déployer un agent parce que le code compile. Le prompt est un hyperparamètre de comportement. Une modification mineure du prompt système ("Sois plus concis") peut entraîner une régression massive des capacités de raisonnement ("L'agent a cessé de vérifier les erreurs parce qu'il voulait être concis").
Pour résoudre ce problème, l'Agent Gateway TrueFoundry intègre l'Agent DevOps, une couche spécialisée de gestion du cycle de vie qui apporte le "mode shadow", les "évaluations en ligne" et les "déploiements Canary" à la pile cognitive.
Le problème : l'incident du "changement de ton"
Examinons un exemple concret montrant pourquoi le CI/CD standard échoue pour les agents.
Le scénario : Vous avez un agent de support client en production. Il est poli et utile. Le responsable produit souhaite qu'il soit plus efficace. La modification : Vous mettez à jour le prompt système de "Vous êtes un assistant utile" à "Vous êtes un assistant concis et direct. N'économisez pas vos mots."
Le déploiement standard :
- Vous commitez la modification du prompt dans Git.
- Le pipeline construit le conteneur.
- kubectl apply met à jour le service.
La catastrophe : L'agent interprète "direct" comme "impoli".
- Client : "Mon colis est perdu, je suis très inquiet !"
- Agent (v2) : "Le suivi indique livré. Vérifiez votre porche. Au revoir."
Le score de satisfaction client (CSAT) s'effondre. Vous avez dégradé l'image de votre marque parce que vous avez traité une modification cognitive comme une modification de code.
La solution : le mode Shadow (Dark Launching)
La Gateway TrueFoundry prend en charge le miroir de trafic (mode shadow). Au lieu de remplacer v1 par v2, nous déployons v2 aux côtés de v1.
- Trafic utilisateur réel : Va vers v1. L'utilisateur voit la réponse de v1.
- Trafic Shadow : La Gateway duplique la requête vers v2 de manière invisible.
La Gateway compare ensuite les sorties de manière asynchrone. Vous pouvez exécuter une "évaluation automatique" (en utilisant un modèle juge) pour noter la différence.
- Sortie v1 : "Je comprends votre inquiétude. Laissez-moi vérifier le suivi..." (Score d'empathie : 9/10)
- Sortie v2 : "Le suivi indique livré." (Score d'empathie : 2/10)
Le tableau de bord vous alerte : "Régression de l'empathie v2 détectée." Vous annulez le déploiement avant qu'un seul client ne voie le message impoli.

La porte d'évaluation ("Eval Gate") : le CI pour la cognition
Avant même qu'un agent n'atteigne le mode shadow, il doit passer le pipeline d'évaluation. Tout comme vous exécutez pytest pour le code, vous devez exécuter deepeval ou ragas pour la cognition.
Le Registry TrueFoundry traite les "jeux de données d'évaluation" comme des citoyens de première classe.
- Jeu de données : 500 requêtes clients historiques + "Golden Answers".
- Métrique : "Fidélité", "Pertinence de la réponse", "Précision d'utilisation des outils".
Lorsque vous soumettez une Pull Request, le système CI démarre l'agent et exécute les 500 requêtes. Critères de réussite :
- Fidélité > 0,9
- Latence < 2s
- Régression : Le score ne peut pas être inférieur de plus de 5 % à celui de la branche principale.
Si le "prompt concis" fait chuter le score de "Fidélité" de 10 %, le build échoue. "Fusion bloquée : l'agent génère des hallucinations."

Déploiements Canary : confiance progressive
Une fois que l'agent a passé le CI et le mode shadow, vous êtes prêt pour le monde réel. Mais vous ne basculez pas à 100 % immédiatement. Vous utilisez le routage Canary.
La Gateway crée un "service virtuel" qui répartit le trafic selon des pondérations.
- Phase 1 : 1 % des utilisateurs reçoivent la v2 (employés internes ou utilisateurs bêta).
- Surveillance : Vérifier le taux de retours "pouce vers le haut/bas".
- Phase 2 : 10 % des utilisateurs.
- Surveillance : Vérifier le "taux d'erreur des outils" (le nouveau prompt a-t-il altéré la sortie JSON ?).
- Phase 3 : 50 %... 100 %.
La Gateway automatise ce processus. Si le "taux d'erreur" augmente fortement lors de la phase à 10 %, la Gateway peut aider à revenir automatiquement à la v1 et avertir l'ingénieur de garde.

Fig 1 : Exemple de déploiement Canary
Gestion des versions des prompts vs. gestion des versions du code
L'un des principaux défis de l'Agent DevOps réside dans le fait que le prompt et le code résident souvent dans des emplacements différents.
- Code : main.py (Git).
- Prompt : system_prompt.txt (souvent dans une base de données ou une interface utilisateur).
L'Agent Registry TrueFoundry impose des artefacts immuables. Lors du déploiement, nous regroupons : Artifact ID = Hash(Code + Prompt + Model Config + Dependencies)
Vous ne pouvez pas modifier le prompt de la v1 en production. Vous devez créer la v1.1. Ce versionnage strict garantit la reproductibilité. Si un incident survient, vous savez exactement quelle combinaison Code+Prompt en est la cause.
Conclusion
L'Agent DevOps est la discipline consistant à appliquer la rigueur de l'ingénierie logicielle aux logiciels probabilistes. En passant d'un "déploiement fondé sur l'intuition" (l'impression que c'est plus rapide) à un "déploiement fondé sur des métriques" (le mode shadow a confirmé une précision supérieure de 5 %), TrueFoundry permet aux entreprises d'innover rapidement sur leurs prompts sans altérer la confiance de leurs utilisateurs.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






