TrueFoundry vs Kong Gateway : La taxe de plateforme cachée de la gouvernance de l'IA

Mettre le premier modèle d'IA en production est rarement la partie la plus difficile. La charge opérationnelle apparaît lorsque la deuxième ou troisième équipe demande un accès, un budget mensuel et les mêmes contrôles que tout le monde.

TrueFoundry et Kong Gateway peuvent tous deux acheminer les appels aux modèles. La différence réside dans ce que votre équipe plateforme doit construire et maintenir autour d'eux. TrueFoundry traite l'accès des équipes et les budgets comme des contrôles de premier ordre. Kong Gateway assemble le même résultat à partir d'entités de passerelle, de plugins et de configurations de tarification. Cette différence s'accumule à mesure que l'adoption de l'IA progresse.

La version courte

TrueFoundry vous offre des contrôles directs pour l'accès aux modèles, les budgets d'équipe et les outils approuvés. Avec Kong, vous assemblez ces contrôles via des paramètres de passerelle et des plugins, ce qui représente 3 à 5 fois plus d'efforts pour votre équipe plateforme. Si vous comparez TrueFoundry vs Kong Gateway, regardez au-delà de la liste des fonctionnalités : quelqu'un devra maintenir cette configuration longtemps après la fin de la démonstration.

Faire démarrer l'équipe support

Supposons que le modèle soit déjà connecté. Dans TrueFoundry, vous accordez l'accès à l'équipe et définissez son budget. Avec Kong, vous connectez l'identité de passerelle de l'équipe à la route du modèle et configurez un plugin de limite de dépenses. Vous devez également fournir les prix des modèles dont il a besoin pour suivre l'utilisation en dollars, puis vérifier que les paramètres couvrent les requêtes de l'équipe. Rien de tout cela n'est insurmontable. C'est cependant un travail que votre équipe plateforme prend en charge.

Le travail s'accumule à mesure que d'autres équipes arrivent

L'équipe support est opérationnelle. Puis l'équipe commerciale demande un budget plus élevé, et une autre équipe a besoin que les données clients soient retirées des prompts. Avant de modifier un paramètre partagé, vos ingénieurs doivent savoir quelles équipes seront impactées.

Dans TrueFoundry, vous gérez les budgets par équipe et appliquez des politiques de sécurité au trafic d'IA concerné. Les responsables d'équipe peuvent ajuster leurs propres budgets, les administrateurs conservant les contrôles à l'échelle de l'entreprise. Cela attribue un responsable clair aux modifications budgétaires de routine.

Avec Kong, les ingénieurs décident où s'applique chaque plugin de sécurité et le vérifient par rapport à la configuration existante. Il existe des moyens de réduire cet effort : Kong prend en charge la configuration partagée et le déploiement automatisé. Ils sont utiles, en particulier si votre équipe utilise déjà Kong. Vous devez tout de même maintenir la configuration et les tests associés, alors prévoyez aussi du temps d'ingénierie pour cela.

Garantir la fiabilité de la limite de dépenses

Un budget mensuel semble simple jusqu'à ce que le prix d'un modèle change. Dans un déploiement Kong entièrement auto-hébergé et on-premises, le plugin de limite de dépenses utilise les prix des modèles fournis dans la configuration. Si ces prix ne sont pas à jour, le compteur d'utilisation peut être en retard par rapport à la facture réelle. Quelqu'un dans votre équipe doit les mettre à jour ou créer une automatisation pour le faire.

Kong propose un catalogue de prix mis à jour automatiquement via Konnect Metering & Billing, mais ce service distinct n'est pas disponible on-premises. Il ne doit pas être confondu avec les prix configurés utilisés par le plugin de passerelle.

TrueFoundry met à jour automatiquement les prix publics pour les modèles pris en charge. Vous avez toujours besoin d'une tarification personnalisée pour les tarifs négociés. L'exemple ci-dessous montre ce qui se produit si un tarif public double et que Kong continue d'utiliser l'ancien prix : la finance voit 10 $ d'utilisation là où le fournisseur facture 20 $.

Pour une équipe FinOps, cet écart compte. Il est difficile de faire confiance à une limite de dépenses si son exactitude dépend d'une mise à jour de prix que quelqu'un pourrait manquer.

Ajouter des outils à l'agent

Une fois l'assistant de support utile, la demande suivante est prévisible : laissez-le rechercher une commande et vérifier la fiche d'un client. Ces actions résident dans deux API existantes. Vous souhaitez exposer uniquement ces outils à l'agent.

MCP est le protocole qui permet aux agents d'utiliser des outils. Avec TrueFoundry, vous pouvez importer les spécifications d'API, générer des outils et choisir ceux à exposer ensemble. Vous devez toujours décider de ce que l'agent est autorisé à faire, mais vous n'avez pas à définir chaque outil à la main.

Le flux de travail API-vers-MCP documenté de Kong implique de configurer l'accès à chaque API, de définir ses outils et de les étiqueter pour qu'ils puissent être découverts. Vous configurez ensuite un endpoint partagé pour rassembler ces outils. Chaque API supplémentaire apporte son propre lot de paramètres à gérer.

Découvrir pourquoi une requête a échoué

Tôt ou tard, l'assistant cessera de répondre et quelqu'un demandera pourquoi. Il peut s'agir d'un budget épuisé, d'un contrôle de sécurité ou d'une panne du fournisseur. La personne qui enquête a besoin de suffisamment de contexte pour faire la différence.

TrueFoundry fournit des journaux de requêtes dans l'interface AI Gateway. Kong envoie les données d'utilisation de l'IA via un plugin de journalisation configuré. Essayez de tracer une requête échouée dans les deux produits lors de votre évaluation. Voyez ce que vous pouvez expliquer à partir des journaux disponibles et où vous avez besoin de l'aide de quelqu'un qui connaît la configuration de la passerelle.

Si cette personne est sollicitée à chaque fois, elle devient le centre d'assistance par défaut pour les équipes applicatives, la sécurité et la finance. C'est une dépendance qu'il vaut la peine d'identifier avant que l'adoption n'augmente.

TrueFoundry vs Kong en un coup d'œil

Une évaluation plus utile

Demandez aux deux fournisseurs de commencer avec un modèle connecté et d'intégrer une nouvelle équipe avec un budget. Ajoutez un contrôle de sécurité, connectez deux outils, puis bloquez délibérément une requête. Demandez à quelqu'un de vous expliquer ce qui a changé et pourquoi la requête a échoué.

Examinez les paramètres que vous avez créés, ce que vous avez pu réutiliser et qui les maintiendra. Portez une attention particulière aux modifications qui pourraient impacter d'autres équipes. C'est le travail que vous répéterez après l'achat.

Si vous utilisez déjà Kong et disposez de quelques cas d'usage d'IA stables, l'étendre peut être un choix pratique. Pour un programme d'IA en plein essor, l'intérêt de TrueFoundry réside dans le fait que les requêtes de routine nécessitent moins de configuration de passerelle. Votre équipe plateforme obtient plus de marge de manœuvre pour aider les équipes à construire, au lieu de passer ce temps à maintenir la configuration qui les entoure.