Intégration du curseur avec Truefoundry

Conçu pour la vitesse : latence d'environ 10 ms, même en cas de charge
Une méthode incroyablement rapide pour créer, suivre et déployer vos modèles !
- Gère plus de 350 RPS sur un seul processeur virtuel, aucun réglage n'est nécessaire
- Prêt pour la production avec un support complet pour les entreprises
Les outils de développement assistés par l'IA tels que Cursor accélèrent le génie logiciel en intégrant des modèles de langage large (LLM) directement dans l'environnement de codage. Bien que ces outils améliorent considérablement la productivité des développeurs, ils présentent également des défis opérationnels pour les organisations.
Ce guide présente une solution stratégique : intégrer l'éditeur Cursor au Passerelle TrueFoundry AI. Cette intégration fournit un proxy centralisé pour toutes les demandes LLM, permettant une surveillance complète, une sécurité robuste et un contrôle précis des coûts sans perturber les flux de travail des développeurs.
Principaux avantages de l'intégration de Cursor à TrueFoundry
L'intégration de Cursor à la passerelle TrueFoundry AI permet de relever les principaux défis opérationnels et de sécurité, en la transformant en un outil d'entreprise gérable et sécurisé.
- Gestion centralisée des clés : Éliminez les risques de sécurité associés aux clés d'API individuelles. Tous les développeurs utilisent un point de terminaison de passerelle unique et géré, qui stocke et fait pivoter en toute sécurité les clés des fournisseurs, renforçant ainsi considérablement la posture de sécurité de votre organisation.
- Allocation et surveillance unifiées des coûts : Bénéficiez d'une visibilité complète sur les dépenses de développement de l'IA de votre organisation. La passerelle suit chaque demande et chaque jeton, ce qui vous permet d'attribuer les coûts à des utilisateurs, à des équipes ou à des projets spécifiques avec une grande précision.
- Flexibilité du LLM et indépendance des fournisseurs : Allez au-delà des offres de modèles par défaut. L'AI Gateway vous permet d'acheminer les requêtes Cursor vers n'importe quel LLM, y compris des modèles propriétaires de fournisseurs tels qu'Anthropic, des modèles open source hébergés via TrueFoundry ou des modèles disponibles via des services tels qu'Amazon Bedrock et Google Vertex AI.
Configuration de l'équilibrage de charge
Avant de configurer Cursor, créez une configuration d'équilibrage de charge pour acheminer vos demandes vers des fournisseurs de modèles spécifiques. Cela garantit la compatibilité avec la gestion interne des modèles de Cursor. Créez une configuration d'équilibrage de charge comme celle-ci :
name: cursor-load-balancing-config
type: gateway-load-balancing-config
rules:
- id: cursor-gpt4o-routing
type: weight-based-routing
when:
models:
- gpt-4o
load_balance_targets:
- target: openai-main/gpt-4o
weight: 100Cette configuration garantit que lorsque vous utilisez gpt-4o dans Cursor, vos requêtes seront correctement acheminées vers les noms des modèles cibles via la passerelle TrueFoundry.
Obtenir la configuration de TrueFoundry Gateway
Avant de configurer Cursor, collectez les informations relatives à votre passerelle TrueFoundry :
- Accédez à AI Gateway Playground: Accédez à votre terrain de jeu TrueFoundry AI Gateway
- Accédez à un extrait de code unifié: utilisez l'extrait de code unifié
- Copier l'URL de base et le nom du modèle: vous obtiendrez à la fois l'URL de base et le nom du modèle à partir de l'extrait de code unifié (assurez-vous d'utiliser le même nom de modèle que celui écrit)

Configurer le curseur avec TrueFoundry Gateway
- Ouvrir les paramètres du curseur: Ouvrez les paramètres du curseur
- Accédez à la section Modèles: recherchez la section Modèles > API
- Clés d'API OpenAI: Votre clé API est la Jeton d'accès personnel (PAT) généré dans les prérequis, et l'URL de base est l'URL unifiée obtenue à l'étape 2
Configurer les paramètres TrueFoundry:
- URL de base: Entrez l'URL de votre passerelle TrueFoundry à partir de l'extrait de code unifié
- Clé API: collez votre jeton d'authentification TrueFoundry
- Nom du modèle: utilisez le nom de modèle standard de votre configuration d'équilibrage de charge (par exemple,
gpt-4o)

À l'issue de ces étapes, toutes les requêtes LLM du client Cursor seront transmises par proxy en toute sécurité via la passerelle TrueFoundry AI.
Fonctionnalités clés : observabilité et gouvernance
Cette intégration ouvre la voie à une suite de fonctionnalités professionnelles gérées à partir d'un tableau de bord central.
Observabilité complète
Toutes les demandes traitées par la passerelle sont méticuleusement enregistrées, ce qui fournit des informations détaillées sur les modèles d'utilisation. Cela inclut :
- Journaux détaillés des demandes et des réponses : Des pistes d'audit complètes contenant des instructions et des réponses pour le débogage, l'analyse et la conformité.
- Métriques de consommation de jetons : Surveillance en temps réel de l'utilisation des jetons d'entrée et de sortie.
- Analyse de la latence : Des mesures de performance pour identifier les réponses lentes des modèles et y remédier.
- Répartition granulaire des coûts : Données financières organisées par demande, utilisateur, équipe ou modèle.

Gouvernance centralisée
La passerelle permet d'appliquer des politiques organisationnelles à toutes les interactions LLM :
- Contrôle d'accès précis : Gérez les autorisations pour définir quels utilisateurs ou quelles équipes peuvent accéder à des fournisseurs et modèles LLM spécifiques.
- Limitation du budget et des tarifs : Implémentez des limites basées sur des jetons ou des demandes pour éviter les dépassements de budget et garantir une allocation équitable des ressources.
- Logique de basculement automatique : Configurez des règles pour rediriger automatiquement les demandes vers un modèle secondaire si le modèle principal n'est pas disponible, afin de garantir la continuité du service.
Avantages pour les équipes d'ingénierie des plateformes
Pour les équipes chargées des plateformes et des infrastructures, cette solution fournit les outils nécessaires pour gérer le développement de l'IA à grande échelle.
- Atténuer les dépenses d'IA non contrôlées : Regroupez tous les coûts de LLM de Cursor en un flux unique et observable, éliminant ainsi les angles morts financiers.
- Standardisez les protocoles de conformité et de sécurité : Assurez-vous que tous les développements assistés par l'IA respectent les normes de sécurité de l'entreprise et les politiques de gouvernance des données.
- Activez l'attribution précise des coûts : Attribuez avec précision toutes les dépenses liées au LLM aux unités commerciales ou aux équipes de développement correspondantes pour une gestion financière efficace.
Guide de mise en œuvre
En intégrant Cursor à TrueFoundry AI Gateway, les entreprises peuvent trouver un équilibre entre la productivité des développeurs et les exigences de l'entreprise en matière de sécurité, de gouvernance et de supervision financière.
Pour obtenir des instructions techniques détaillées sur la mise en œuvre de cette intégration, veuillez consulter la documentation officielle.
TrueFoundry AI Gateway offre une latence d'environ 3 à 4 ms, gère plus de 350 RPS sur 1 processeur virtuel, évolue horizontalement facilement et est prête pour la production, tandis que LiteLM souffre d'une latence élevée, peine à dépasser un RPS modéré, ne dispose pas d'une mise à l'échelle intégrée et convient parfaitement aux charges de travail légères ou aux prototypes.
Le moyen le plus rapide de créer, de gérer et de faire évoluer votre IA











.webp)



.png)


.webp)




.webp)







