Adopt AI Scales Multi-Model Agents with TrueFoundry

Comment

Balances

Agents multimodèles avec

True Foundry

Adopt AI développe une IA agentique de niveau entreprise sur des systèmes modernes et existants.
Grâce à la passerelle AI de TrueFoundry, la plateforme unifie l'accès LLM multifournisseur, gestion centralisée de plus de 15 millions de demandes et de plus de 40 milliards de jetons d'entrée.

Vous souhaitez en savoir plus sur cette réussite ?

Parlez à notre expert

Cette stratégie multimodèle était essentielle pour les performances et la qualité, mais elle a introduit une fragmentation de l'accès, de l'observabilité, du suivi des coûts et de la gestion de la fiabilité. En adoptant la passerelle AI de TrueFoundry, Adopt AI a établi un plan de contrôle unique et centralisé pour tout le trafic LLM. La passerelle permet désormais un accès unifié aux modèles, une surveillance en temps réel, un routage tenant compte de la latence et une visibilité des coûts sur des centaines de milliers de demandes de production, sans nécessiter de modifications au niveau de l'application.

À propos

Adopt AI permet aux entreprises de créer et de déployer des flux de travail agentiques qui intègrent des API, des processus métier et du contenu d'entreprise dans des systèmes modernes et existants. Son ingestion Zero-Shot et son infrastructure d'agents permettent aux équipes de moderniser les applications sans perturber les architectures existantes, en proposant des expériences d'agent sécurisées et de niveau production à grande échelle.

Alors que les clients adoptaient des flux de travail d'agents de plus en plus complexes, la plateforme Adopt AI a commencé à gérer des interactions d'IA à volume élevé et sensibles à la latence entre plusieurs équipes et environnements.

Création d'une base d'IA agentique multimodèle avec Contrôle centralisé

Au fur et à mesure que la plateforme d'agents d'Adopt AI a mûri, plusieurs défis sont apparus :

Complexité multimodèle

Au fur et à mesure que la plateforme d'agents d'Adopt AI a mûri, l'entreprise a délibérément pris la décision d'opérer avec plusieurs fournisseurs de LLM. Les différents flux de travail exigeaient différents compromis en termes de qualité, de latence, de disponibilité et de coût, et aucun modèle unique ne pouvait répondre efficacement à tous les cas d'utilisation.

Permettre un suivi et une prise de décision unifiés

En l'absence d'une couche d'accès centralisée à l'IA, l'observabilité était fragmentée entre les tableaux de bord spécifiques aux fournisseurs. Il était difficile de répondre à des questions critiques en temps réel :

Quels modèles sont utilisés et par qui ?
Combien de demandes transitent par le système ?

Risques liés aux coûts et à la fiabilité

Les pics d'utilisation des jetons, la latence P99 élevée et les problèmes liés au fournisseur peuvent avoir un impact direct sur la réactivité des agents, mais le diagnostic et la correction de ces problèmes entre les fournisseurs étaient lents et manuels.

Complexité multimodèle

Permettre un suivi et une prise de décision unifiés

Quels modèles sont utilisés et par qui ?
Combien de demandes transitent par le système ?

Risques liés aux coûts et à la fiabilité

« Pour nous, la passerelle TrueFoundry AI Gateway est une question d'abstraction totale. Nos applications ne communiquent jamais directement avec les fournisseurs de modèles. Nous pouvons changer de modèle, gérer la limitation et suivre le comportement de manière centralisée sans modifier le code. Cette séparation est essentielle alors que nous adaptons les flux de travail des agences à l'ensemble de nos clients. »

— Rahul Bhattacharya, cofondateur et directeur technique d'Adopt AI

Solution : TrueFoundry AI Gateway comme plan de contrôle central

Adoptez l'IA pour standardiser toutes les interactions LLM via AI Gateway de TrueFoundry, en la traitant comme une couche d'abstraction stricte entre les applications et les fournisseurs de modèles. Les applications n'interagissent plus directement avec les fournisseurs LLM individuels ; au lieu de cela, toutes les demandes passent par une passerelle unique qui assure le routage, le suivi et la sélection des fournisseurs de manière centralisée

Accès unifié entre les fournisseurs

La passerelle fournit une interface cohérente aux modèles d'OpenAI, d'Anthropic, de Google Vertex, d'AWS Bedrock et de Groq. Les équipes peuvent intégrer de nouveaux modèles ou retirer les modèles existants de manière centralisée, sans toucher au code de l'application.

Observabilité centralisée

Toutes les demandes transitent par la passerelle, ce qui permet une visibilité en temps réel sur :

Total des demandes : plus de 15 millions au cours des 90 derniers jours
Utilisation des jetons : ~40 milliards de jetons d'entrée et ~2,2 milliards de jetons de sortie
Métriques de latence : y compris P50, P90 et P99

Risques liés aux coûts et à la fiabilité

Complexité multimodèle

Permettre un suivi et une prise de décision unifiés

Quels modèles sont utilisés et par qui ?
Combien de demandes transitent par le système ?

Risques liés aux coûts et à la fiabilité

Pourquoi c'est important pour l'IA agentique

La fiabilité des systèmes agentiques dépend de l'infrastructure contrôlant leurs interactions avec les modèles. Pour Adopt AI, l'AI Gateway est devenue la base qui a permis de :

Flexibilité multimodèle sans chaos
Trafic d'agents à volume élevé sans angles morts
Optimisation des coûts et de la latence sans ralentir l'innovation

En centralisant les interactions LLM au niveau de la couche Gateway, Adopt AI a préservé la flexibilité sans sacrifier le contrôle. La plateforme permet désormais une expérimentation rapide sur différents modèles, un comportement opérationnel prévisible en cas de charge et une voie claire pour faire évoluer les flux de travail des agences, tout en évitant la complexité du code d'application.