L'IA fantôme est en train de devenir un risque pour les entreprises : ce que les dirigeants doivent faire dès maintenant

La démocratisation rapide de l'IA générative a créé une crise involontaire pour les équipes informatiques et de sécurité des entreprises. Les employés des équipes d'ingénierie, de marketing et de produits utilisent de plus en plus d'outils d'IA non approuvés pour écrire du code, analyser des données et rédiger des documents.

Bien que ce comportement stimule la productivité à court terme, il présente de sérieux risques liés à l'IA parallèle, notamment des fuites de données, des problèmes de conformité et des coûts non suivis. Dans de nombreuses organisations, ce problème est dû à la tarification et à la rigidité des plateformes d'IA d'entreprise approuvées. Lorsque les outils approuvés sont coûteux, lents à mettre en place ou de portée limitée, les équipes les contournent.

Ce guide explique pourquoi l'IA parallèle se répand, comment l'économie des plateformes l'aggrave et ce que les dirigeants doivent faire dès maintenant pour reprendre le contrôle sans ralentir l'innovation.

Qu'est-ce que l'IA fantôme et pourquoi elle se répand dans les entreprises

L' « IA fantôme » est définie comme « une organisation utilise un outil, un modèle ou une API d'IA, mais ne l'a pas approuvé par ses équipes informatiques ou de sécurité ». Un ingénieur souhaite répondre à une question du support client en collant une transcription du support client dans un chatbot tel que ChatGPT. Un analyste financier souhaite utiliser un modèle de langage étendu pour résumer automatiquement un rapport financier à partir d'une feuille de calcul. Une équipe de développement de produits souhaite utiliser un modèle d'API tiers pour améliorer sa fonctionnalité d'expédition en la facturant sur sa carte de crédit personnelle. Ce sont tous des exemples de « Shadow AI ».

Le concept de « Shadow AI » est lié au « Shadow IT ». Le « Shadow IT » est un problème de longue date dans les entreprises. Dans ce cas, les utilisateurs de n'importe quelle organisation utilisent un logiciel sans l'approbation de leur service informatique. Ce problème est lié aux « applications SaaS ». Cependant, ce problème est différent de celui de « Shadow AI ». Dans « Shadow IT », nous utilisons des « applications SaaS ». Nous sommes confrontés à un problème différent.

Dans « Shadow AI », nous sommes confrontés à un problème dans lequel les modèles ne se contentent pas de stocker des données sensibles, mais également de les traiter. Ils génèrent des résultats sur la base de ces données. Ils stockent également des informations exclusives. Ce problème est plus grave que le « Shadow IT ».

Ce problème n'est toutefois pas dû à la négligence, mais au fait que nous évoluons à un rythme rapide. Le processus d'approvisionnement pour l'acquisition d'un outil d'IA est long ; il faut beaucoup de temps pour en sécuriser un au sein d'une organisation. Cependant, les modèles progressent à un rythme rapide et sont expédiés chaque semaine.

Le problème réside toutefois dans le fait que nous sommes sous pression pour proposer des fonctionnalités alimentées par des plateformes d'IA. Nous ne sommes pas autorisés à attendre un ou deux mois pour nous procurer l'outil ; nous utilisons tout ce que nous pouvons obtenir. Nous utilisons ce qui est le plus simple ; c'est pourquoi nous sommes confrontés aux risques de l'IA parallèle.

Shadow IT contre Shadow AI : pourquoi le risque est plus élevé

Le Shadow IT est une épine dans le pied des équipes informatiques et de sécurité des entreprises depuis plus de dix ans. Cependant, le fait de considérer l'IA fantôme comme une autre variante de ce thème sous-estime considérablement à quel point les choses ont changé.

Les systèmes utilisant l'intelligence artificielle vivent de l'information et interagissent avec le monde d'une manière qu'un outil de gestion de projet qui se comporte mal ne peut tout simplement pas faire.

Le tableau ci-dessous met en évidence certaines des principales différences entre ces deux concepts.

La transition des coûts fixes des applications SaaS vers une tarification à la consommation basée sur des jetons mérite une attention particulière. Une équipe peut cumuler des dizaines de milliers de dollars en coûts d'API en un seul sprint. En l'absence de passerelle ou de contrôles d'accès, la première fois que quelqu'un en prend connaissance, c'est lorsque la facture arrive.

Les véritables risques commerciaux de l'IA parallèle

La transition des coûts fixes vers une consommation basée sur des jetons crée des risques de sécurité des données qui sont fondamentalement difficiles à anticiper. Une équipe qui exécute de gros volumes de requêtes d'inférence, telles que le traitement de documents, la synthèse et les flux de travail des agents d'IA, peut générer des coûts bien supérieurs à ceux d'un abonnement SaaS normal, sans aucune visibilité avant l'arrivée de la facture cloud.

Confidentialité des données et exposition à la propriété intellectuelle

Si un employé envoie ces instructions à des LLM publics sans aucun contrôle de sécurité, il externalise essentiellement certaines des informations les plus sensibles de l'entreprise. Les bases de code, les modèles financiers, les informations sur les patients, les données clients, le code propriétaire, etc., sont tous à la portée d'un employé honnête qui doit le faire rapidement.

Les risques liés à l'exposition à la sécurité des données peuvent prendre deux formes, dont l'une est la plus évidente : ce que fait le fournisseur LLM avec les données sensibles qu'il reçoit. Ce qu'ils font avec cette invite, qu'ils l'utilisent pour la formation de modèles, qu'ils l'exposent à d'autres utilisateurs, qu'ils soient piratés, etc.

L'autre, cependant, est encore plus insidieux : celui lié à la confidentialité et à la souveraineté des données. Les soins de santé, les finances, le gouvernement, etc., ont donc des réglementations telles que HIPAA, SOC 2 et GDPR. Ce qu'ils veulent dire en réalité, c'est que l'organisation doit savoir où vont les données personnelles et à qui ces informations identifiables sont exposées.

Ainsi, si un médecin envoie des informations sur un patient à un LLM non autorisé, ou si un banquier envoie des informations financières à un chatbot destiné aux consommateurs, il s'agit essentiellement d'une violation directe de la réglementation et d'une violation des obligations de protection des données.

Innovaccer est bien entendu un exemple de la version légitime de cette préoccupation à grande échelle : l'entreprise gère environ 17 millions de demandes d'inférence par mois sur sa plateforme de santé, ce qui signifie des dizaines d'applications, des dizaines de millions d'utilisateurs, etc. Donc, sans un plan de contrôle centralisé intégrant la rédaction des informations personnelles et la gestion des données, cela aurait été intenable d'un point de vue réglementaire. Le risque lié à l'IA fantôme dans le secteur de la santé n'est pas hypothétique ; il ne fait que se concrétiser.

Dépenses liées à l'IA non suivies et non contrôlées

Le fait que les coûts des services d'outils d'IA, basés sur les jetons, varient les rend fondamentalement inconnaissables lorsque l'utilisation de l'IA n'est pas réglementée. Une équipe qui exécute un volume élevé de requêtes d'inférence, telles que le traitement de documents, la synthèse et les flux de travail des agents d'IA, peut avoir des coûts bien supérieurs à un coût SaaS normal, et personne n'en est conscient avant de recevoir sa facture auprès de son fournisseur de cloud.

Cette situation devient rapidement incontrôlable lorsque de nombreuses équipes gèrent leurs propres clés d'API, modèles d'abonnement et modèles d'utilisation indépendamment les uns des autres. Il n'existe aucune compréhension globale du coût d'utilisation des services d'IA pour l'ensemble de l'organisation. Il n'est pas possible de comprendre les coûts de produits ou d'unités commerciales spécifiques. Il n'est pas possible de limiter les coûts tant qu'ils ne deviennent pas incontrôlables. Au lieu de cela, l'équipe financière doit essayer de procéder à une expertise comptable judiciaire sur la situation.

C'est exactement ce que permet une passerelle IA centralisée. Innovaccer et Aviva ont résolu ce problème en dirigeant tout le trafic LLM via la passerelle TrueFoundry AI Gateway afin de suivre les jetons et les coûts par équipe, utilisateur, environnement et modèle. Ils ont pu comprendre et suivre les augmentations de coûts par service en quelques minutes seulement. C'est quelque chose qui n'existe tout simplement pas si chaque équipe gère sa propre intégration d'API fragmentée. En l'absence d'un plan de contrôle central, les coûts de l'IA parallèle sont fondamentalement invisibles jusqu'à ce qu'ils deviennent un problème.

Angles morts en matière de conformité et d'audit

Cela signifie que les systèmes de conformité ne récompensent pas la participation ; ils récompensent les résultats, et comme l'utilisation de l'IA est dispersée dans des systèmes non autorisés, les résultats sont impossibles à produire. Il n'existe pas de journaux collectés de manière centralisée indiquant quels modèles ont été utilisés, quelles données d'entreprise y ont été transmises et quelles données ont été envoyées sous forme d'invite.

Il n'existe aucune piste d'audit que le responsable de la conformité puisse transmettre au régulateur. Est-ce un problème auquel certaines organisations pourraient être confrontées à un moment ou à un autre dans le futur ? Absolument pas Pour toute organisation soumise à un audit SOC 2, à un audit RGPD ou à un audit HIPAA, il ne s'agit pas d'un problème futur ; c'est le problème actuel.

Le SOC 2 exige des preuves de la gestion des données et des contrôles de traitement, le RGPD exige des preuves de la connaissance de l'endroit où circulent vos données sensibles et de la possibilité de les supprimer à la demande, et la HIPAA exige des pistes d'audit de tous les systèmes qui concernent les données des patients.

• L'utilisation de l'IA fantôme les enfreint toutes, non pas intentionnellement mais en raison de la nature même des systèmes utilisés. Le résultat final est qu'un audit, une enquête, peuvent révéler des mois d'utilisation non autorisée de l'IA, et à ce stade, il ne s'agit plus de discuter des raisons pour lesquelles la politique a été violée, mais des raisons pour lesquelles aucun contrôle n'a jamais été mis en œuvre du tout. Pour Innovaccer, la décision d'acheminer toute l'utilisation de l'IA de génération via une passerelle centrale n'a jamais été prise ; cela a toujours été une exigence de leur environnement, dictée par la nécessité de fonctionner dans un monde de flux de travail cliniques riches en HIPAA et PHI.

Le paradoxe des prix : comment les plateformes d'IA d'entreprise alimentent l'IA parallèle

Le problème de la plupart des stratégies d'IA des entreprises est une ironie plutôt gênante : les plateformes conçues pour gérer l'utilisation de l'IA sont si coûteuses, fragmentées et opérationnelles qu'elles peuvent encourager par inadvertance les organisations à se tourner vers les plateformes illicites en premier lieu. L'IA fantôme n'est pas toujours le résultat d'un usage irresponsable ; en fait, elle peut être une réponse logique aux défis posés par les plateformes légitimes.

La gouvernance est liée à la tarification d'entreprise

Les fonctionnalités les plus importantes sont l'authentification unique, les contrôles d'accès basés sur les rôles, les pistes d'audit détaillées et la répartition des coûts par équipe. Il s'agit des fonctionnalités généralement réservées au niveau de tarification le plus cher de tous les systèmes d'IA populaires. Le coût de l'accès à une infrastructure conforme pour une équipe qui essaie un nouveau modèle ou crée un outil simple est disproportionné par rapport à ses objectifs.

La solution au problème de l'organisation est évidente. Le service informatique se contentera de délivrer une licence pour le niveau entreprise à une poignée d'utilisateurs afin de maintenir les coûts à un niveau raisonnable. Le reste de la population fera la queue ou trouvera un autre moyen d'entrer. Le deuxième groupe de personnes n'arrête pas ce qu'il fait. Ils cessent simplement de le faire d'une manière qui tient compte des limites de gouvernance.

Les contrôles des coûts mis en place pour résoudre le problème sont ceux qui créent le problème.

L'outillage fragmenté augmente la friction

Cependant, même s'ils sont en mesure d'utiliser cette infrastructure d'IA approuvée, ils découvrent rapidement qu'ils n'utilisent pas qu'un seul produit ; ils utilisent un produit pour la passerelle API, un autre pour l'observabilité, un autre pour le service de modèles et un autre pour la gestion rapide. Par conséquent, ils ont de multiples intégrations à gérer et de multiples flux d'accès à gérer, et la difficulté de travailler avec la pile officielle ne vaut tout simplement pas l'avantage d'appeler l'API.

La fragmentation de la pile officielle crée non seulement un problème de gouvernance, mais également un problème de coût total de possession, rendant impossible le déploiement de la technologie dans l'ensemble de l'organisation. Si, pour utiliser la technologie, vous avez besoin de plusieurs fournisseurs et de plusieurs contrats, la solution évidente est d'en limiter l'accès. Bien entendu, cela crée un autre problème de concentration, car aujourd'hui, un faible pourcentage de la population peut utiliser la technologie par le biais de la technologie officielle, tandis que le reste est contraint d'utiliser des alternatives non gérées.

La nécessité d'une plateforme telle que TrueFoundry, qui fournit AI Gateway, l'observabilité, la diffusion de modèles et une gestion rapide dans un plan de contrôle unique, n'est pas seulement un argument de gouvernance ; c'est un argument de coût total de possession. Le fait est que la technologie d'IA approuvée ne pourra pas s'étendre à l'ensemble de l'organisation si elle n'est pas accessible.

Les marquages informatiques découragent l'expérimentation

Les services d'IA gérés, quant à eux, ont une marge significative par rapport aux coûts de calcul. Par exemple, AWS SageMaker applique une majoration effective de 25 % sur les coûts des instances. Il s'agit d'une différence significative, en particulier si le développeur utilise une charge de travail GPU élevée ou une inférence à grande échelle. Pour les développeurs qui savent à quoi ces coûts se traduiront en fin de compte, c'est une source permanente de frustration.

Ce que nous observons ici est un schéma très familier dans le monde du Shadow IT. Ce que nous avons, c'est que les développeurs fournissent eux-mêmes leur propre infrastructure, en utilisant leurs propres clés d'API ou en utilisant des services non gérés moins chers pour éviter les frais généraux liés à l'utilisation d'une plateforme officielle. Maintenant, ils n'essaient pas de sortir d'un modèle de gouvernance quelconque. Ils essaient simplement de faire avancer les choses sans dépenser un budget arbitraire. Ce que nous devons faire, c'est fournir des plateformes qui répercutent ces économies d'infrastructure sur les développeurs. Ce que fait TrueFoundry, qui utilise Kubernetes et des instances au lieu d'un service géré, est spécifiquement conçu pour éliminer ces incitations pour les développeurs à contourner la plate-forme officielle.

Pourquoi les contrôles traditionnels ne parviennent pas à arrêter l'IA fantôme

Bien qu'il puisse être raisonnable de chercher à atténuer les risques liés à l'IA parallèle par le biais de divers contrôles de sécurité, elle est constamment sous-performante à cet égard. Les outils et techniques utilisés pour gérer le Shadow IT de manière rationnelle n'ont pas été efficaces pour lutter contre l'IA fantôme. Contrôler Shadow AI n'est pas possible ; cela la rend simplement moins détectable.

Les contrôles de sécurité au niveau du réseau ont été conçus dans un monde où le Shadow IT était représenté par un employé exécutant une application non autorisée ou accédant à un domaine particulier. Shadow AI ne fonctionne pas de cette façon. L'appel d'API à OpenAI, Anthropic ou Google n'est qu'un appel HTTPS chiffré sur le réseau, exactement comme tout appel vers un site Web externe. Les outils DLP et les moniteurs réseau actuels ne peuvent pas faire la distinction entre un employé accédant à un modèle de production et un employé utilisant sa propre clé API, car leur nature et leur apparence sont identiques. Au moment où elle apparaît dans les journaux réseau comme une anomalie, il est déjà trop tard.

L'interdiction des outils d'IA dans l'entreprise soulève toutefois un problème différent. L'employé ne peut plus utiliser les outils d'IA au travail, il les ramène chez lui et les utilise sur ses appareils personnels avec ses clés API personnelles sur son réseau domestique. Les employés sont maintenant passés d'un problème qui peut être géré et contrôlé à un problème qui ne peut pas être géré ou contrôlé.

Des études ont montré à maintes reprises que le fait de ne pas avoir d'options, même avec des politiques de sécurité restrictives, entraîne une non-conformité plutôt qu'un comportement non correctif. Les employés soumis à une pression concurrentielle pour travailler à l'aide d'outils d'intelligence artificielle ne vont pas volontairement se placer en position de désavantage en termes de productivité. Les employés trouveront un moyen de contourner les obstacles que l'organisation leur impose.

La solution aux risques liés à l'IA fantôme n'est pas de renforcer les contrôles ; il s'agit de rendre la trajectoire contrôlée plus facile que la trajectoire non contrôlée. Si le chemin contrôlé peut être rapidement saisi et utilisé sans que cela entraîne une augmentation des coûts d'expérimentation, il n'est plus nécessaire de contourner les commandes.

Comment les entreprises peuvent détecter l'utilisation de l'IA fantôme

La détection doit avoir lieu avant la remédiation. La plupart des entreprises sous-estiment largement l'ampleur de l'utilisation non autorisée de l'IA sur leurs réseaux, car elle est difficile à détecter. La première étape n'est pas un document politique ; il s'agit de développer la visibilité.

La première étape pour développer cette visibilité consiste à surveiller le trafic sortant vers des terminaux publics connus pour les services d'outils d'IA. OpenAI, Anthropic, Google, Mistral et Cohere font partie des entreprises qui utilisent des domaines et des adresses IP connus pour leurs services d'API. Dans la plupart des entreprises, les équipes chargées du réseau et de la sécurité peuvent surveiller le trafic sortant afin de détecter le trafic vers ces terminaux connus depuis l'intérieur de l'entreprise. Des volumes inhabituels, des horaires inhabituels et un trafic provenant de sources inhabituelles sont tous des signes. Bien entendu, cela est loin d'être exhaustif, car les utilisateurs extérieurs au réseau domestique ne peuvent pas être surveillés à ce niveau. Il s'agit toutefois d'un moyen simple de détecter le trafic réseau présentant le plus grand risque d'exposition.

La détection de clés d'API et d'abonnements non autorisés nécessite un examen des données financières et d'accès. Par exemple, un examen des dépenses liées au cloud peut indiquer une utilisation des outils d'IA qui n'a pas été officiellement budgétisée. De même, un examen des référentiels de code source peut indiquer des clés d'API codées en dur, une pratique malheureusement courante qui introduit des failles de sécurité et des risques pour la chaîne d'approvisionnement.

Cependant, l'association de l'utilisation de l'IA aux équipes et aux applications permet de combler l'écart de responsabilité laissé par le simple examen des flux de trafic bruts. Il n'est pas très utile de savoir si votre réseau utilise un point de terminaison pour un LLM ; il serait bien plus utile de savoir quelle équipe ou quelle application l'utilise. C'est là que le balisage, ou l'attribution de métadonnées aux appels d'API, est nécessaire pour y parvenir. C'est précisément ce qu'une passerelle IA centralisée peut aider une organisation à accomplir. C'est précisément ce que la passerelle de TrueFoundry permet à une organisation d'accomplir : baliser l'ensemble de son trafic à l'aide de métadonnées relatives aux utilisateurs, à l'équipe et à l'environnement, puis filtrer ses données de journal et ses données métriques en fonction de ces balises pour obtenir une image complète de tout en temps réel.

Cependant, l'utilisation d'une passerelle IA centralisée pour découvrir l'utilisation cachée de l'IA est la solution de détection la plus évolutive et permet de résoudre simultanément ce problème. Si toutes les utilisations autorisées de l'IA passent par une seule passerelle, alors tout ce qui n'est pas représenté dans les données de journal de cette passerelle elle-même doit nécessairement être considéré comme une utilisation non autorisée. Cela fait passer le problème d'un problème de criminalistique basé sur les réactions à un problème de définition. La différence entre l'utilisation autorisée reflétée dans les données du journal d'une passerelle IA centralisée et l'utilisation totale de l'IA est une mesure de l'exposition au risque lié à l'IA parallèle.

Des organisations telles qu'Innovaccer et Aviva ont complètement éliminé leur angle mort en matière d'IA fictive en utilisant une passerelle IA centralisée, telle que la passerelle IA de TrueFoundry, pour acheminer l'ensemble de leur utilisation du LLM. Non pas parce qu'ils ont réussi d'une manière ou d'une autre à tout arrêter, mais parce qu'ils ont rendu leur chemin d'utilisation autorisé si complet qu'il inclut désormais tous leurs usages légitimes.

Comment réduire les risques liés à l'IA fantôme sans ralentir les équipes

L'objectif n'est pas de rendre l'utilisation des outils d'IA plus difficile ; nous voulons plutôt rendre « gouverné » impossible à distinguer de « facile ». Chaque étape de gouvernance supplémentaire qui rend légitimement l'utilisation de l'IA plus difficile est une force qui nous pousse à opter pour l'IA fantôme. La réduction des risques liés à l'IA fantôme est autant un problème d'expérience produit qu'un problème de sécurité des données.

Rendez l'IA accessible via une passerelle unique. La chose la plus importante qu'une organisation doit faire est de s'assurer qu'il existe un point d'entrée « approuvé » unique par lequel tous les modèles d'outils d'IA qu'elle souhaite réellement utiliser sont accessibles. La passerelle IA de TrueFoundry propose une API unique via laquelle les développeurs d'une organisation peuvent accéder à plus de 250 LLM : OpenAI, Claude, Gemini, Groq, Mistral, LLam auto-hébergé, etc., le tout via une seule API compatible avec OpenAI. Il parle le langage que les développeurs utilisent déjà. Ainsi, la friction entre l'utilisation d'une clé API individuelle et l'utilisation de la plateforme officielle est quasi nulle.

Faites en sorte que la gouvernance se fasse automatiquement au niveau de la plateforme. Les contrôles de gouvernance sont très importants. Le masquage des informations personnelles, la journalisation des demandes, les contrôles d'accès et les contrôles de quotas doivent être effectués de manière transparente dans la couche d'infrastructure, sans qu'aucun développeur n'ait besoin de les implémenter. TrueFoundry le fait automatiquement au niveau de la passerelle. Chaque demande est enregistrée, les données sensibles sont masquées avant de quitter le réseau de l'organisation et des limites de quotas ou des budgets symboliques sont appliqués en fonction de l'identité de l'équipe ou du service. Ces directives claires sont appliquées sans créer de difficultés pour les développeurs.

Rendre l'IA sanctionnée économiquement viable à grande échelle. Les équipes n'utiliseront pas la plateforme officielle s'il est clair qu'il est plus coûteux de passer par Shadow AI. Le fait que l'architecture de TrueFoundry utilise Kubernetes et des instances cloud au lieu d'ajouter un composant de service géré signifie qu'elle répercute ces coûts plutôt que d'ajouter un coût de plate-forme elle-même. Le fait qu'il prenne en charge l'utilisation fractionnée du GPU et les instances ponctuelles contribue de manière significative à la réduction des coûts d'inférence. L'équipe d'Aviva et Innovaccer ont estimé que cela était économiquement viable à grande échelle. C'est pourquoi il s'agit d'une voie autorisée et non d'un mandat au départ.

Proposez des options de libre-service aux équipes. La principale motivation de l'utilisation de Shadow AI est la rapidité, et le seul remède à la vitesse est d'augmenter la vitesse, ce que TrueFoundry et le chemin approuvé fournissent. Le fait qu'il propose des options en libre-service est important car les ingénieurs en machine learning et en IA peuvent déployer leurs modèles, configurer de nouvelles clés virtuelles et implémenter des options de repli et de nouvelles applications sans attendre que leurs équipes informatiques et infra respectives les approuvent. L'équipe d'Aviva s'attendait à ce que ses nouveaux ingénieurs déploient ou mettent à jour un modèle au cours de leur première semaine, ce qui est une bonne idée de ce qui est possible avec une plateforme réellement en libre-service.

Les files d'attente d'approbation et de provisionnement sont celles où l'adoption de l'IA autorisée est actuellement en train de perdre du terrain au profit de Shadow AI, et c'est précisément là que l'entreprise doit gagner du terrain pour en redevenir une option viable.

Comment TrueFoundry élimine l'IA fantôme sans le balisage d'entreprise ?

La plupart des plateformes d'IA destinées aux entreprises nécessitent un compromis. Vous pouvez bénéficier de la gouvernance ou de la vélocité des développeurs, mais pas les deux à un coût évolutif. TrueFoundry est toutefois conçu selon un principe différent. Ce principe est qu'il ne s'agit pas d'une vérité fondamentale, mais simplement d'une limitation du produit. Notre architecture est conçue de telle sorte que la voie de la gouvernance soit également la voie la plus économique, la plus rapide et la plus performante possible. C'est le seul moyen d'éliminer l'IA fantôme, et pas simplement de l'enfoncer davantage dans la clandestinité.

Accès unifié au sein de votre propre VPC

TrueFoundry héberge votre passerelle AI et votre infrastructure de service de modèles directement dans votre compte AWS, GCP ou Azure, et non en tant qu'intermédiaire SaaS entre vos applications et votre cloud. Il s'agit d'une différence fondamentale en matière d'architecture. Lorsque nous hébergeons au sein de votre VPC, chaque appel d'inférence, chaque invite, chaque réponse de vos modèles restent dans votre environnement. Ces données sensibles ne passent jamais par un système tiers, ne transitent jamais par votre infrastructure partagée et ne dépassent jamais les limites de votre gouvernance.

Il s'agit d'un avantage significatif pour les secteurs hautement réglementés. Par exemple, si vous êtes un établissement de santé et que vous gérez des données PHI, ou si vous êtes une organisation de services financiers et que vous traitez des données clients, ou si vous êtes un sous-traitant du gouvernement et que vous êtes dans GovCloud, vous pouvez utiliser TrueFoundry avec la même confiance que vous utilisez pour toute autre application de votre cloud, car nous sommes dans votre cloud. Il s'agit d'une différence fondamentale en matière d'architecture. C'est pourquoi Innovaccer, par exemple, fait partie de notre environnement AWS GovCloud. Ils font appel à nous pour leurs charges de travail standard et pour les charges de travail conformes à la loi HIPAA contenant de nombreux PHI, simplement parce que ces données ne quittent jamais leur cloud.

Cela permet également de résoudre le problème majeur des fuites de données qui est au cœur de ce que Shadow AI tente de faire au départ. Si nous commençons par la plate-forme sanctionnée, il n'y a aucun problème de confidentialité des données à la contourner.

Contrôle des coûts sans taxe sur les plateformes

TrueFoundry fournit le RBAC, le contrôle des coûts, les quotas basés sur des jetons et l'observabilité en tant que fonctionnalités standard de la plateforme. Il ne s'agit pas de fonctionnalités dont la mise en œuvre nécessite un engagement de services professionnels. Nous prenons en charge les limites de débit configurées par utilisateur, par service et par terminal. Nous prenons en charge les jetons et les budgets de coûts configurés par équipe avec des limites strictes qui empêchent complètement les dépenses excessives, au lieu de simplement les détecter après coup.

Il est important de résoudre ce problème avec Shadow AI, car le contrôle des coûts est l'un des principaux domaines qui sont souvent sacrifiés pour contrôler l'accès à la plateforme afin de contrôler les coûts. Le cycle qui consiste à limiter l'accès pour limiter les coûts, à limiter l'accès pour limiter les coûts, etc., pour finalement arriver à la solution de Shadow AI comme moyen de contourner ces contrôles pour effectuer réellement le travail, est rompu lorsque nous pouvons simplement fournir une plateforme suffisamment rentable pour être utilisée largement et suffisamment précise pour permettre un contrôle des coûts au niveau de l'équipe. Je peux fournir à chaque équipe d'ingénierie son propre budget, son quota et son niveau d'accès sans créer de problème de contrôle des coûts.

Visibilité centralisée et pistes d'audit

La passerelle IA de TrueFoundry fournit un écran unique pour toutes les demandes, le nombre de jetons, les interactions avec les modèles, la latence et les événements d'erreur dans l'ensemble de l'organisation. Les journaux sont complets et exportables, y compris les métadonnées au niveau de l'utilisateur, de l'équipe, de l'environnement et du modèle. Les journaux peuvent être directement intégrés dans n'importe quel pipeline d'observabilité. Par exemple, Grafana est utilisé par Innovaccer pour visualiser les métriques OpenTelemetry de TrueFoundry en production.

Cela permet de résoudre tous les angles morts des exigences de l'organisation en matière de sécurité des données. Par exemple, si l'auditeur demande à consulter les contrôles d'accès aux données pour un audit SOC 2, ou si un audit d'un processus de conformité HIPAA nécessite une piste d'audit des systèmes qui ont touché PHI, la réponse se trouve dans les journaux d'AI Gateway. Il n'est pas nécessaire d'expliquer ou de justifier quoi que ce soit ou de mener une analyse médico-légale pour déterminer pourquoi les dossiers n'existent pas.

Habiliter les développeurs au lieu de les bloquer

TrueFoundry propose une API unique, qui peut être utilisée via OpenAI. Cela lui permet d'appeler n'importe quel modèle public ou privé qu'une organisation a mis en place avec plus de 250 fournisseurs publics et leurs propres modèles fonctionnant sur leur plateforme de déploiement. L'expérience d'un développeur utilisant l'API de TrueFoundry pour appeler GPT-4o est identique à celle d'un appel direct. La gestion des informations d'identification, la journalisation, la gestion des coûts et les solutions de secours sont toutes gérées en coulisse dans la couche d'infrastructure.

L'effet global est que le développeur n'aura pas besoin ou ne voudra pas contourner la plateforme. Le développeur peut accéder à tous les modèles auxquels il souhaite accéder, via une interface qu'il a l'habitude d'utiliser. La plateforme de déploiement proposée par TrueFoundry permet également un modèle en libre-service. Cela permet aux développeurs d'utiliser leur plateforme pour créer de nouveaux services, redimensionner automatiquement et mettre à jour des modèles sans avoir besoin de l'aide d'une équipe chargée de la plateforme. En raison du modèle en libre-service et de la facilité d'utilisation de la plate-forme TrueFoundry, contourner la plate-forme sera toujours une option moins préférée que l'utilisation de la plate-forme approuvée. Il s'agit du seul type de gouvernance de l'IA fantôme.

Conclusion : contrôlez l'IA fantôme grâce à l'activation

L'IA fantôme est en fin de compte le produit d'un manque d'outils. Si le chemin autorisé pour la pile d'IA d'entreprise est trop lent à accéder, trop coûteux à faire évoluer ou trop fragmenté pour être utilisé, les équipes trouveront un moyen d'utiliser autre chose en dehors de celui-ci, et nous n'aurons plus de visibilité ni de contrôle sur cette utilisation. L'achat d'outils de gouvernance ou de pratiques d'approvisionnement plus restrictifs ne règle pas ce problème ; ils ne font qu'aggraver le problème en rendant la voie sanctionnée encore plus difficile à utiliser.

Nous devons faire en sorte que la voie autorisée soit meilleure que la voie fictive. Nous devons le rendre plus facile d'accès, plus rentable à mettre à l'échelle, plus utilisable et plus complet en termes de modèles et de cas d'utilisation que les équipes pourraient souhaiter utiliser. Si nous nous trouvons dans cette situation, nous ne combattons pas l'IA fantôme ; c'est simplement quelque chose que nous n'avons pas à combattre car notre solution est meilleure que l'alternative.

TrueFoundry a été entièrement conçu pour résoudre ce problème. Nous proposons une gouvernance de niveau entreprise dans votre propre cloud, sans balisage par jeton, sans que les fonctionnalités soient bloquées par des éditions coûteuses et sans une expérience utilisateur qui oblige les équipes à utiliser un système de billetterie.

Planifiez une démonstration pour découvrir comment TrueFoundry peut aider votre organisation à mettre en place un plan de contrôle unifié et conforme pour toutes les utilisations de l'IA sans ralentir vos équipes.

Questions fréquemment posées

Quels sont les risques liés à Shadow AI ?

Les principaux risques liés à l'IA parallèle incluent la fuite d'informations sensibles, l'exposition accidentelle des données de l'entreprise en temps voulu, les problèmes de conformité, le manque de visibilité sur l'utilisation de l'IA, les coûts imprévus et la fragmentation des processus de gestion des données. TrueFoundry répond à ces facteurs de risque liés à l'IA parallèle en fournissant un moyen sûr et contrôlé d'accès aux systèmes d'outils d'IA.

Comment gérer les risques liés à l'IA parallèle ?

Les entreprises doivent fournir une plateforme d'entreprise autorisée que les employés préfèrent utiliser pour atténuer les risques liés à l'IA fantôme. Le déploiement d'une passerelle centrale garantit la sécurité de toutes les interactions entre les modèles dans l'environnement de cloud privé. TrueFoundry applique des contrôles d'accès stricts et suit la consommation de jetons sans ralentir la productivité globale de votre équipe d'ingénierie.

Comment détecter les risques liés à l'IA parallèle ?

La détection des risques liés à l'IA fantôme commence par la surveillance du trafic réseau sortant vers des terminaux de modèles publics connus. Les équipes de sécurité doivent auditer les dépenses liées au cloud et les référentiels de code source pour détecter les identifiants d'API codés en dur. Le routage de tout le trafic autorisé via la passerelle TrueFoundry expose toute utilisation externe comme une violation non approuvée des politiques de sécurité de l'entreprise.

Comment gérer les risques associés à Shadow AI ?

Au lieu de restreindre l'accès aux systèmes d'IA, les organisations doivent garantir un accès sécurisé. L'accès sécurisé consiste à fournir des interfaces d'IA autorisées, à fournir des contrôles d'accès et à fournir des mécanismes de protection des données. En fournissant aux organisations un accès sécurisé, les employés n'utiliseront pas de systèmes d'IA non autorisés. L'infrastructure True Foundry peut aider les organisations à fournir un accès sécurisé tout en permettant aux employés d'explorer les systèmes d'IA.

Comment gérer les risques associés à Shadow AI ?

Cependant, pour que les organisations puissent faire face aux risques associés à l'IA fantôme, elles doivent d'abord avoir une visibilité sur l'utilisation. Cela se fait souvent en surveillant l'utilisation des API, en analysant les modèles d'utilisation et en examinant les données sortantes. Le fait de disposer d'un point d'accès unique pour les cas d'utilisation de l'IA facilite le suivi de l'utilisation. C'est exactement ce que TrueFoundry peut apporter à une organisation.

Pourquoi les systèmes d'IA coûteux des entreprises conduisent-ils à l'IA fantôme ?

Si les systèmes d'IA certifiés pour les entreprises sont difficiles d'accès, coûteux ou longs à déployer, les employés peuvent se tourner vers les systèmes d'IA publics pour accélérer l'exécution des tâches. Il existe un décalage entre ce qui est recommandé et ce qui est réellement utilisé. L'IA fantôme se produit lorsque le système d'IA recommandé ne fournit pas la vitesse et la flexibilité requises. TrueFoundry comble cette lacune en offrant un accès aux systèmes d'IA sans introduire de friction supplémentaire dans le processus.

Comment une passerelle IA aide-t-elle à prévenir l'IA fantôme ?

L'objectif d'une passerelle IA est de fournir une couche centralisée qui gère tous les accès aux systèmes d'IA. En d'autres termes, il permet à une organisation de savoir si les politiques sont respectées, quels systèmes d'IA sont utilisés et si les politiques sont appliquées. Il permet de minimiser l'utilisation de systèmes d'IA non autorisés en fournissant un chemin certifié permettant aux utilisateurs d'accéder aux systèmes d'IA. La passerelle IA de TrueFoundry est une couche centralisée qui permet d'accéder aux systèmes d'IA.