Comparez TrueFoundry à Portkey

La différence entre Portkey et TrueFoundry est que Portkey est une passerelle IA. Il achemine et surveille vos appels d'API vers des fournisseurs de modèles externes. TrueFoundry est une plateforme d'infrastructure d'IA complète. Oui, notre passerelle gère le routage comme le fait Portkey, mais nous gérons également le calcul proprement dit en dessous. Cela signifie que vous pouvez former des modèles, les affiner et les déployer sur votre propre infrastructure, et pas simplement acheminer le trafic vers l'API de quelqu'un d'autre.

Entre TrueFoundry et Portkey, TrueFoundry vous offre une visibilité complète. Portkey enregistre vos requêtes d'API : entrées, sorties, ce genre de choses. Utile pour les instructions de débogage. TrueFoundry connecte ces journaux aux indicateurs de votre infrastructure, tels que la mémoire GPU, l'état des pods et les journaux des conteneurs. Ainsi, en cas de panne, vous pouvez voir s'il s'agit d'un problème de modèle ou d'un problème d'infrastructure, comme une erreur OOM. Portkey ne peut pas le faire car il ne touche pas à votre infrastructure.

Il existe une distinction essentielle entre le déploiement des modèles dans Portkey et TrueFoundry. Portkey ne déploie ni n'héberge de modèles ; il achemine le trafic vers des modèles déjà hébergés ailleurs (comme OpenAI ou Anyscale). TrueFoundry agit comme un moteur d'orchestration. Nous vous permettons de prendre un modèle open source (comme Llama 3), de le conteneuriser et de le déployer directement sur votre propre infrastructure cloud ou sur site. Nous nous occupons de la mise à l'échelle automatique, de l'approvisionnement du GPU et des bilans de santé, ce qui vous permet de vous approprier à la fois le modèle et le calcul sur lequel il s'exécute

Si nous comparons la couverture de plate-forme plus large de Portkey et TrueFoundry, Portkey se concentre sur une étape : le routage par inférence et la surveillance. TrueFoundry couvre l'ensemble de votre flux de travail d'IA : préparation des données, formation, réglage, évaluation et déploiement. Au lieu de jongler avec Portkey pour le routage, un autre outil pour la formation, un autre pour le service, vous obtenez une plateforme qui gère tout.

Si vous comparez TrueFoundry à Portkey pour des exigences strictes en matière de souveraineté des données, TrueFoundry est généralement la meilleure solution. Nous gérons tout (calcul, passerelle, stockage) au sein de votre VPC ou de votre environnement isolé. Intégration native avec vos clusters Kubernetes, IAM, RBAC et gestion des secrets. Les poids de vos modèles, les données d'entraînement et tout le reste restent au sein de votre infrastructure contrôlée. Les deux plateformes proposent des déploiements privés, mais TrueFoundry vous donne un contrôle total dès le premier jour.

Lors de l'évaluation de TrueFoundry par rapport à Portkey, TrueFoundry est conçu pour une évolutivité à long terme. La plupart des équipes commencent par utiliser des API externes, mais doivent ensuite affiner les modèles ou les héberger eux-mêmes pour réduire les coûts et la latence. Portkey gère bien la phase d'API, mais vous oblige à trouver de nouveaux outils lorsque vous passez à l'auto-hébergement. TrueFoundry gère à la fois les API externes et les modèles internes auto-hébergés de manière fluide dans une seule interface. Cela vous permet de migrer d'OpenAI vers un modèle Llama privé sans modifier votre plateforme ni réécrire la logique de votre application.

TrueFoundry est déployé sur votre compte cloud et repose sur des normes ouvertes (conteneurs, Kubernetes). Vos données ne quittent jamais votre environnement. Bien que la plate-forme elle-même ne soit pas open source, elle ne verrouille pas vos modèles. Si nécessaire, vous pouvez supprimer TrueFoundry et vos applications fonctionneront toujours sur une infrastructure standard. Nous privilégions les API ouvertes et l'intégration aux outils OSS, afin que vous puissiez bénéficier de flexibilité sans avoir à tout gérer vous-même.

TrueFoundry peut fonctionner en mode léger uniquement pour le routage par inférence si c'est tout ce dont vous avez besoin aujourd'hui. Cependant, de nombreuses équipes constatent que les besoins évoluent: demain, vous souhaiterez peut-être déployer un modèle personnalisé (pour des raisons de coût, de latence ou de confidentialité) ou ajouter des pipelines de données en streaming. Avec TrueFoundry, vous êtes déjà prêt. Ce n'est pas exagéré, c'est une solution pérenne. En attendant, les frais généraux sont minimes et vous bénéficiez d'avantages supplémentaires tels qu'une surveillance unifiée de tous vos fournisseurs LLM et de tous les modèles personnalisés.

Il est certain qu'une équipe qualifiée peut créer des solutions (K8s, Portkey, scripts personnalisés,
etc.). Mais considérez coût d'opportunité: chaque heure consacrée à la construction et à la réparation
l'infrastructure, c'est une heure qui n'est pas consacrée à fournir de la valeur en matière de machine learning. TrueFoundry accélère
vos efforts DevOps : il fournit une automatisation éprouvée (pour la mise à l'échelle, la journalisation, le CI/CD)
afin que vos ingénieurs puissent se concentrer sur l'innovation de haut niveau. Même les meilleures équipes tirent parti
des plateformes pour se déplacer plus rapidement et éviter de réinventer la roue.

La valeur de TrueFoundry se situe dans économies et gains d'efficacité il tient ses promesses. Dans la pratique, nos clients font état d'économies substantielles (par exemple, une réduction des coûts du cloud de plus de 40 %) qui l'emportent souvent sur les frais de plateforme. De plus, le gain de temps en ingénierie (automatisation du déploiement, dépannage) se traduit par une économie de $$$ en main-d'œuvre. Le fait que Portkey soit gratuit ne résout qu'une partie du problème : vous pourriez tout de même avoir à payer des factures cloud et des coûts de développement plus élevés. TrueFoundry optimise l'ensemble du pipeline, ce qui se traduit généralement par une baisse du coût total de possession.

TrueFoundry est à la pointe de Déploiement de GenAI. En fait, il propose une passerelle IA comparable à celle de Portkey (prenant en charge plus de 250 modèles, garde-corps, etc.), ainsi qu'une plate-forme complète qui l'entoure. Nous intégrons activement les dernières technologies open source (et nous travaillons même en partenariat avec des communautés comme LangChain, HuggingFace). Grâce à des mises à jour fréquentes, nous veillons à ce que vous disposiez des fonctionnalités les plus récentes, qu'il s'agisse de la prise en charge des derniers LLM ou de fonctionnalités avancées telles que RAG (Retrieval Augmented Generation), etc.