La IA en la sombra se está convirtiendo en un riesgo empresarial: lo que los líderes deben hacer ahora

La rápida democratización de la IA generativa ha creado una crisis no deseada para los equipos de seguridad y TI empresariales. Los empleados de los equipos de ingeniería, marketing y productos utilizan cada vez más herramientas de inteligencia artificial no aprobadas para escribir código, analizar datos y redactar documentos.

Si bien este comportamiento aumenta la productividad a corto plazo, presenta un grave riesgo de IA clandestina, que incluye la filtración de datos, los problemas de cumplimiento y los costos no controlados. En muchas organizaciones, este problema se debe a los precios y la rigidez de las plataformas de IA empresariales sancionadas. Cuando las herramientas aprobadas son caras, se aprovisionan lentamente o tienen un alcance limitado, los equipos las omiten.

Esta guía explica por qué la IA en la sombra se está extendiendo, cómo la empeora la economía de las plataformas y qué deben hacer los líderes ahora para recuperar el control sin frenar la innovación.

Qué es la IA en la sombra y por qué se está extendiendo en las empresas

La «IA en la sombra» se define como «una organización utiliza una herramienta, modelo o API de IA, pero sus equipos de TI o seguridad no la han aprobado». Un ingeniero quiere responder a una pregunta del servicio de atención al cliente pegando una transcripción del servicio de atención al cliente en un chatbot como ChatGPT. Un analista financiero quiere usar un modelo de lenguaje amplio para resumir automáticamente un informe financiero a partir de una hoja de cálculo. Un equipo de desarrollo de productos quiere usar un modelo de API de terceros para mejorar su función de envío facturándola a su tarjeta de crédito personal. Todos estos son ejemplos de «Shadow AI».

El concepto de «IA en la sombra» está relacionado con la «TI en la sombra». La «TI en la sombra» es un problema de larga data en las empresas. En este problema, los usuarios de cualquier organización utilizan el software sin la aprobación de su departamento de TI. Este problema está relacionado con las «aplicaciones SaaS». Sin embargo, este problema es diferente al de «Shadow AI». En «Shadow IT», utilizamos «aplicaciones SaaS». Nos enfrentamos a un problema diferente.

En «Shadow AI», nos enfrentamos a un problema en el que los modelos no solo almacenan datos confidenciales sino que también los procesan. Están generando resultados en función de esos datos. También almacenan información de propiedad exclusiva. Este problema es más grave que el de la «TI clandestina».

Sin embargo, la razón de este problema no es la negligencia, sino porque avanzamos a un ritmo rápido. El proceso de adquisición para adquirir una herramienta de inteligencia artificial es largo; se necesita mucho tiempo para conseguir una dentro de una organización. Sin embargo, los modelos avanzan a un ritmo rápido y se envían semanalmente.

Sin embargo, el problema radica en el hecho de que estamos bajo presión para lanzar funciones impulsadas por plataformas de inteligencia artificial. No se nos permite esperar uno o dos meses para adquirir la herramienta; estamos usando todo lo que podemos conseguir. Estamos usando lo que es más fácil; por eso nos enfrentamos a los riesgos de la IA clandestina.

TI en la sombra frente a IA en la sombra: por qué el riesgo es mayor

La TI en la sombra ha sido una espina común para los equipos de TI y seguridad corporativos durante más de una década. Sin embargo, tratar la IA en la sombra como una variante más de este tema subestima considerablemente lo mucho que han cambiado las cosas.

Los sistemas que utilizan inteligencia artificial se basan en la información e interactúan con el mundo de formas que una herramienta de gestión de proyectos que funciona mal simplemente no lo hace.

La siguiente tabla destaca algunas de las diferencias clave entre estos dos conceptos.

La transición de los costos fijos de las aplicaciones SaaS a los precios de consumo basados en tokens merece una atención especial. Un equipo puede acumular decenas de miles de dólares en costes de API en un solo sprint. Sin una puerta de enlace ni controles de acceso, la primera vez que alguien lo sabe es cuando llega la factura.

Los verdaderos riesgos empresariales de la IA en la sombra

La transición de los costos fijos al consumo basado en tokens crea riesgos de seguridad de los datos que son fundamentalmente difíciles de anticipar. Un equipo que realiza consultas de inferencia de gran volumen, como el procesamiento de documentos, el resumen y los flujos de trabajo con agentes de inteligencia artificial, puede generar costos de muchos niveles superiores a los de una suscripción de SaaS normal, sin visibilidad hasta que llegue la factura de la nube.

Privacidad de datos y exposición a la propiedad intelectual

Si un empleado envía estas indicaciones a LLM públicas sin ningún control de seguridad, básicamente está subcontratando parte de la información más confidencial de la empresa. Las bases de código, los modelos financieros, la información de los pacientes, los datos de los clientes, el código propietario, etc., están a disposición de un empleado honesto que necesita hacerlo rápidamente.

Los riesgos de exposición para la seguridad de los datos pueden adoptar dos formas, una de las cuales es la más obvia: lo que hace el proveedor de LLM con los datos confidenciales que recibe. Qué están haciendo con este mensaje: ya sea que lo usen para entrenar modelos, exponiéndolo a otros usuarios o siendo objeto de una violación, etc.

La otra, sin embargo, es aún más insidiosa: la relacionada con la privacidad y la soberanía de los datos. Por lo tanto, la atención médica, las finanzas, el gobierno, etc., tienen regulaciones como la HIPAA, el SOC 2 y el GDPR. Lo que realmente dicen es que la organización debe saber a dónde van los datos personales y a quién está expuesta esta información identificable.

Por lo tanto, si un médico envía la información de un paciente a un LLM no autorizado, o si un banquero envía información financiera a un chatbot de consumidores, se trata esencialmente de una infracción normativa directa y de las obligaciones de protección de datos.

Innovaccer, por supuesto, es un ejemplo de la versión legítima de esta preocupación a una escala enorme: gestionan alrededor de 17 millones de solicitudes de inferencia al mes en su plataforma de atención médica, lo que significa docenas de aplicaciones, decenas de millones de usuarios, etc. Por lo tanto, sin un plano de control centralizado con la redacción de la PII y la gestión de datos integradas, habría sido insostenible desde el punto de vista regulatorio. El riesgo de la IA clandestina en el ámbito sanitario no es hipotético; está a punto de ocurrir.

Gastos de IA descontrolados y sin seguimiento

El hecho de que los costos de los servicios de herramientas de IA, basados en los tokens, varíen hace que sean fundamentalmente incognoscibles cuando se ejecuta el uso de la IA sin control. Un equipo que realiza un gran volumen de consultas de inferencia, como el procesamiento de documentos, el resumen y los flujos de trabajo de los agentes de inteligencia artificial, puede tener costes mucho mayores que los de un SaaS normal, y nadie se da cuenta de ello hasta que recibe la factura de su proveedor de servicios en la nube.

Esta situación se sale de control rápidamente cuando muchos equipos ejecutan sus propias claves de API, modelos de suscripciones y patrones de uso de forma aislada unos de otros. No existe una comprensión global del costo del uso de los servicios de IA para toda la organización. No existe la capacidad de entender los costos de productos o unidades de negocio específicos. No existe la posibilidad de limitar los costos hasta que estén fuera de control. En cambio, el equipo financiero tiene que tratar de llevar a cabo una contabilidad forense de la situación.

Esto es exactamente lo que resuelve una puerta de enlace de IA central. Tanto Innovaccer como Aviva resolvieron este problema dirigiendo todo el tráfico de LLM a través del portal de IA de TrueFoundry para hacer un seguimiento de los tokens y los costes por equipo, usuario, entorno y modelo. Pudieron comprender y rastrear los aumentos de costos por servicio en cuestión de minutos. Esto es algo que simplemente no existe si cada equipo ejecuta su propia integración de API fragmentada. Sin un plano de control central, los costes de la IA en la sombra son prácticamente invisibles hasta que se convierten en un problema.

Puntos ciegos de cumplimiento y auditoría

Esto significa que los sistemas de cumplimiento no recompensan la participación, sino que recompensan los resultados y, dado que el uso de la IA está disperso en los sistemas no autorizados, es imposible obtener resultados. No se recopilan de forma centralizada registros de los modelos que se utilizaron, los datos de la empresa que se transmitieron a través de ellos y los que se enviaron en forma de aviso.

No hay ningún registro de auditoría que el oficial de cumplimiento pueda transmitir al regulador. ¿Es este un problema al que podrían enfrentarse algunas organizaciones en algún momento en el futuro? Absolutamente no. Para cualquier organización sujeta a una auditoría del SOC 2, una auditoría del RGPD o una auditoría de la HIPAA, este no es un problema futuro; es el problema actual.

El SOC 2 exige pruebas de los controles de gestión y procesamiento de datos, el GDPR exige que se sepa a dónde fluyen los datos confidenciales y la capacidad de eliminarlos a pedido, y la HIPAA exige registros de auditoría de todos los sistemas que entran en contacto con los datos de los pacientes.

• El uso de la IA oculta infringe todos ellos, no por intención sino por la propia naturaleza de los sistemas que se utilizan. El resultado final es que una auditoría, una investigación, puede revelar meses de uso no autorizado de la IA y, en ese momento, ya no se discute por qué se infringió la política, sino por qué nunca se implementó ningún control. Para Innovaccer, la decisión de canalizar todo el uso de la IA de la generación I a través de una puerta de enlace central nunca se tomó; siempre fue un requisito de su entorno, dictado por su necesidad de operar en un mundo de flujos de trabajo clínicos repletos de HIPAA y PHI.

La paradoja de los precios: cómo las plataformas de IA empresarial impulsan la IA en la sombra

El problema con la mayoría de las estrategias empresariales de IA es una ironía bastante incómoda: las plataformas diseñadas para gestionar el uso de la IA son tan costosas, fragmentadas y operativas por naturaleza que pueden alentar inadvertidamente a las organizaciones a recurrir a las plataformas ilícitas en primer lugar. La IA oculta no siempre es el resultado de un uso irresponsable; de hecho, puede ser una respuesta lógica a los desafíos que plantean las plataformas legítimas.

La gobernanza está atrapada detrás de los precios empresariales

Las funciones más importantes son el inicio de sesión único, los controles de acceso basados en roles, los registros de auditoría detallados y la asignación de costos por equipo. Estas son las funciones que normalmente se reservan para el nivel de precios más caro de todos los sistemas de IA populares. El coste del acceso a una infraestructura compatible para un equipo que está probando un nuevo modelo o creando una herramienta sencilla es desproporcionado con respecto a lo que está intentando conseguir.

La solución al problema de la organización es obvia. El departamento de TI simplemente licenciará el nivel empresarial para unos pocos usuarios a fin de mantener el costo razonable. El resto de la gente esperará en una cola o buscará otra forma de entrar. El segundo grupo de personas no detiene lo que está haciendo. Simplemente dejan de hacerlo de una manera que les importa a los límites de la gobernanza.

Los controles de costos que se implementan para resolver el problema son los que crean el problema.

Las herramientas fragmentadas aumentan la fricción

Sin embargo, incluso si pueden usar esa infraestructura de IA autorizada, pronto descubren que no solo están usando un producto; están usando un producto para la puerta de enlace de API, otro para la observabilidad, otro para la publicación de modelos y otro para la administración rápida. Como resultado, tienen que gestionar varias integraciones y varios flujos de acceso que gestionar, por lo que no vale la pena recurrir a la API por tener que trabajar con la pila oficial.

La fragmentación del conjunto oficial no solo crea un problema de gobierno, sino también un problema de TCO, lo que hace imposible implementar la tecnología en toda la organización. Si, para utilizar la tecnología, se necesitan varios proveedores y varios contratos, la respuesta obvia es limitar el acceso a la misma. Por supuesto, esto crea otro problema de concentración, porque ahora un pequeño porcentaje de la población puede utilizar la tecnología a través de la plataforma oficial, mientras que el resto se ve obligado a utilizar alternativas no gestionadas.

La necesidad de una plataforma como TrueFoundry, que proporcione AI Gateway, observabilidad, servicio de modelos y administración rápida en un único plano de control, no es solo un argumento de gobernanza, sino también un argumento de TCO. El hecho es que la tecnología de inteligencia artificial autorizada no se extenderá a toda la organización a menos que sea accesible.

Los marcadores de cómputos desalientan la experimentación

Los servicios de IA gestionados, a su vez, tienen un margen de beneficio significativo con respecto a los costos de procesamiento. Por ejemplo, AWS SageMaker tiene un margen de beneficio efectivo del 25% sobre los costos de las instancias. Esta es una diferencia significativa, especialmente si el desarrollador utiliza una carga de trabajo con un alto contenido de GPU o una inferencia a gran escala. Para los desarrolladores que saben en qué se traducen estos costos en última instancia, esto es una fuente constante de frustración.

Lo que estamos viendo aquí es un patrón que es muy familiar en el mundo de Shadow IT. Lo que tenemos es que los desarrolladores autoaprovisionan de manera efectiva su propia infraestructura, utilizan sus propias claves de API o utilizan servicios no gestionados y más baratos para evitar los gastos generales que supone utilizar una plataforma oficial. Ahora, no están intentando salirse de algún tipo de modelo de gobierno. Solo están intentando hacer algo sin gastar un presupuesto arbitrario. Lo que debemos hacer es proporcionar plataformas que transfieran estos ahorros en infraestructura a los desarrolladores. Lo que está haciendo TrueFoundry, al usar Kubernetes e instancias en lugar de un servicio gestionado, está diseñado específicamente para eliminar estos incentivos para que los desarrolladores eviten utilizar la plataforma oficial.

Por qué los controles tradicionales no logran detener la IA oculta

Si bien puede ser razonable tratar de mitigar el riesgo de la IA en la sombra mediante varios controles de seguridad, siempre tiene un rendimiento inferior en este sentido. Las herramientas y técnicas utilizadas para gestionar la TI clandestina de manera racional no han sido eficaces para hacer frente a la IA clandestina. Controlar la IA oculta no es posible, solo la hace menos detectable.

Los controles de seguridad a nivel de red se diseñaron en un mundo en el que la TI en la sombra estaba representada por un empleado que ejecutaba una aplicación no autorizada o accedía a un dominio en particular. Shadow AI no funciona de esta manera. La llamada a la API a OpenAI, Anthropic o Google no es más que una llamada HTTPS cifrada a través de la red, exactamente de la misma manera que cualquier llamada a un sitio web externo. Las herramientas de DLP y los monitores de red actuales no pueden distinguir entre un empleado que accede a un modelo de producción y un empleado que utiliza su propia clave de API, ya que son idénticos en naturaleza y apariencia. Cuando aparece en los registros de la red como una anomalía, ya es demasiado tarde.

Sin embargo, la prohibición de las herramientas de inteligencia artificial en toda la empresa plantea un problema diferente. El empleado ya no puede usar las herramientas de inteligencia artificial en el trabajo, por lo que se las lleva a casa y las usa en sus dispositivos personales con sus claves de API personales en su red doméstica. Los empleados han pasado de tener un problema que se puede gestionar y controlar a otro que no se puede gestionar ni controlar.

Los estudios han demostrado una y otra vez que no tener opciones, incluso con políticas de seguridad restrictivas, conduce al incumplimiento en lugar de a un comportamiento que no lo soluciona. Los empleados que se encuentran bajo presión competitiva para trabajar con herramientas de inteligencia artificial no se van a poner voluntariamente en desventaja en términos de productividad. Los empleados encontrarán la manera de sortear cualquier obstáculo que la organización ponga en su camino.

La respuesta al riesgo de la IA oculta no son más controles, sino hacer que el camino controlado sea más fácil que el camino descontrolado. Si se puede acceder rápidamente a la ruta controlada y utilizarla sin que ello suponga el aumento de los costes de experimentación, la necesidad de eludir los controles desaparece.

Cómo pueden las empresas detectar el uso de IA en la sombra

La detección debe realizarse antes de la remediación. La mayoría de las empresas subestiman con creces el alcance del uso no autorizado de la IA en sus redes porque es difícil de detectar. El primer paso no es un documento de política; es desarrollar la visibilidad.

El primer paso para desarrollar esa visibilidad es monitorear el tráfico saliente a los puntos finales públicos conocidos para los servicios de herramientas de inteligencia artificial. OpenAI, Anthropic, Google, Mistral y Cohere se encuentran entre las empresas que utilizan dominios y direcciones IP conocidos para sus servicios de API. En la mayoría de las empresas, los equipos de redes y seguridad pueden supervisar el tráfico saliente para detectar el tráfico que se dirige a estos terminales conocidos desde dentro de la empresa. Los volúmenes inusuales, los tiempos inusuales y el tráfico procedente de fuentes inusuales son todas señales. Por supuesto, esto no está ni cerca de ser exhaustivo, porque los usuarios que se encuentran fuera de la red doméstica no pueden ser monitoreados a este nivel. Sin embargo, es una forma sencilla de detectar el tráfico dentro de la red con el mayor riesgo de exposición.

La detección de claves de API y suscripciones no autorizadas requiere una revisión de los datos financieros y de acceso. Por ejemplo, una revisión de los gastos de la nube puede indicar que el uso de herramientas de IA no se presupuestó formalmente. Del mismo modo, una revisión de los repositorios de código fuente puede indicar que las claves de API están codificadas de forma rígida, una práctica lamentablemente habitual que introduce vulnerabilidades de seguridad y riesgos en la cadena de suministro.

Sin embargo, la asociación del uso de la IA con los equipos y las aplicaciones ayuda a cerrar la brecha de responsabilidad que deja el simple examen de los flujos de tráfico sin procesar. No es muy útil saber si la red utiliza un punto final para un LLM; sería mucho más útil saber qué equipo o aplicación lo está utilizando. Aquí es donde es necesario etiquetar o asignar metadatos a las llamadas a la API para lograrlo. Esto es precisamente lo que una puerta de enlace de IA centralizada puede ayudar a una organización a lograr. Esto es precisamente lo que Gateway de TrueFoundry permite lograr a una organización: etiquetar todo su tráfico con metadatos de usuarios, equipos y entornos y, a continuación, filtrar sus datos de registro y métricas según esas etiquetas para obtener una imagen completa de todo en tiempo real.

Sin embargo, el uso de una puerta de enlace de IA centralizada para descubrir el uso oculto de la IA es la solución de detección más escalable y, al mismo tiempo, aborda este problema. Si todo el uso autorizado de la IA pasa por una puerta de enlace, todo lo que no esté representado en los datos de registro de esa puerta de enlace en sí debe considerarse necesariamente un uso no autorizado. Esto hace que el problema pase de ser un problema forense basado en reacciones a un problema de definición. La diferencia entre el uso autorizado reflejado en los datos de registro de una puerta de enlace de IA centralizada y el uso total de la IA es una medida de la exposición al riesgo de la IA clandestina.

Organizaciones como Innovaccer y Aviva han eliminado por completo su punto ciego de IA oculta mediante el uso de una puerta de enlace de IA centralizada, como la puerta de enlace de IA de TrueFoundry, para enrutar todo su uso de LLM. No porque de alguna manera hayan conseguido detener todo lo demás, sino porque han hecho que la ruta de uso autorizada sea tan completa que ahora incluye todo su uso legítimo.

Cómo reducir el riesgo de la IA oculta sin ralentizar a los equipos

El objetivo no es dificultar el uso de las herramientas de inteligencia artificial, sino hacer que lo «gobernado» sea indistinguible de lo «fácil». Cada paso de gobierno adicional que dificulta legítimamente el uso de la IA es una fuerza que nos impulsa hacia la IA en las sombras. La reducción del riesgo de la IA en las sombras es tanto un problema de experiencia con el producto como un problema de seguridad de los datos.

Haga que la IA sea accesible a través de una única puerta de enlace. Lo más importante que debe hacer una organización es asegurarse de que hay un único punto de entrada «aprobado» a través del cual puedan acceder a todos los modelos de herramientas de inteligencia artificial que realmente quiera utilizar. El portal de IA de TrueFoundry ofrece una única API a través de la cual los desarrolladores de una organización pueden acceder a más de 250 LLM: OpenAI, Claude, Gemini, Groq, Mistral, LLam autohospedado, etc., todo ello a través de una única API compatible con OpenAI. Habla el lenguaje que los desarrolladores ya utilizan. Por lo tanto, la fricción entre el uso de una clave de API individual y el uso de la plataforma oficial es casi nula.

Haga que la gobernanza se lleve a cabo automáticamente a nivel de plataforma. Los controles de gobierno son lo más importante. El enmascaramiento de la PII, el registro de solicitudes, los controles de acceso y los controles de cuotas deben realizarse de forma transparente en la capa de infraestructura, sin que ningún desarrollador tenga que implementarlos. TrueFoundry lo hace automáticamente a nivel de puerta de enlace. Todas las solicitudes se registran, los datos confidenciales se ocultan antes de salir de la red de la organización y se aplican los límites de cuota o los presupuestos simbólicos en función de la identidad del equipo o del servicio. Estas directrices claras se aplican sin que ello suponga un problema para los desarrolladores.

Haga que la IA sancionada sea económicamente viable a gran escala. Los equipos no usarán la plataforma oficial si está claro que es más caro utilizar Shadow AI. El hecho de que la arquitectura de TrueFoundry utilice Kubernetes e instancias en la nube en lugar de añadir un componente de servicio gestionado significa que transfiere esos costes en lugar de añadir por sí misma un coste de plataforma. El hecho de que admita el uso fraccionado de GPU y las instancias puntuales es importante para reducir los costos de inferencia. El equipo de Aviva e Innovaccer consideraron que esto era económicamente viable a gran escala, por lo que se trata de una vía autorizada y no de un mandato en primer lugar.

Ofrezca opciones de autoservicio a los equipos. La mayor motivación para usar Shadow AI es la velocidad, y la única cura para la velocidad es aumentar la velocidad, algo que proporcionan TrueFoundry y la ruta autorizada. El hecho de que ofrezca opciones de autoservicio es importante porque los ingenieros de aprendizaje automático e inteligencia artificial pueden implementar sus modelos, configurar nuevas claves virtuales e implementar opciones alternativas y nuevas aplicaciones sin tener que esperar a que sus respectivos equipos de infraestructura y TI las aprueben. El equipo de Aviva esperaba que sus nuevos ingenieros implementaran o actualizaran un modelo en su primera semana, lo que es una buena muestra de lo que es posible con una plataforma que, de hecho, es de autoservicio.

Las colas de aprobación y aprovisionamiento son las áreas en las que la adopción sancionada de la IA está perdiendo actualmente frente a Shadow AI, y es precisamente ahí donde necesita ganar terreno para que vuelva a ser una opción viable.

¿Cómo elimina TrueFoundry la IA oculta sin el marcado empresarial?

La mayoría de las plataformas de IA de clase empresarial requieren una compensación. Puede tener velocidad de gobierno o de desarrollo, pero no ambas a un costo escalable. Sin embargo, TrueFoundry está diseñado en torno a un principio diferente. Ese principio es que no se trata de una verdad fundamental, solo de una limitación del producto. Nuestra arquitectura está diseñada para que el camino de la gobernanza sea también el camino del menor coste, la máxima velocidad y la máxima capacidad: la única forma de eliminar la IA en las sombras, y no simplemente de llevarla a la clandestinidad.

Acceso unificado dentro de su propia VPC

TrueFoundry aloja su puerta de enlace de IA y su infraestructura de servicio de modelos directamente en su cuenta de AWS, GCP o Azure, no como intermediario de SaaS entre sus aplicaciones y su nube. Esa es una diferencia fundamental en la arquitectura. Cuando alojamos en su VPC, cada llamada de inferencia, cada solicitud y cada respuesta de sus modelos permanecen en su entorno. Esos datos confidenciales nunca pasan por un sistema de terceros, nunca pasan por su infraestructura compartida y nunca superan los límites de su gobierno.

Esta es una ventaja significativa para las industrias altamente reguladas. Por ejemplo, si es una organización de atención médica y trabaja con datos de PHI, o si es una organización de servicios financieros y trabaja con datos de clientes, o si es un contratista gubernamental y trabaja en GovCloud, puede usar TrueFoundry con la misma confianza que usa para cualquier otra aplicación en su nube, porque estamos en su nube. Esa es una diferencia fundamental en la arquitectura. Por eso Innovaccer, por ejemplo, se encuentra en nuestro entorno AWS GovCloud. Nos utilizan para sus cargas de trabajo estándar y para cargas de trabajo alineadas con la HIPAA con una gran cantidad de PHI, simplemente porque esos datos nunca salen de la nube.

Esto también resuelve el principal problema de la filtración de datos, que es la base de lo que Shadow AI intenta hacer desde el principio. Si empezamos con la plataforma autorizada, no hay ningún problema de privacidad de datos en pasarla por alto.

Controles de costos sin el impuesto de plataforma

TrueFoundry proporciona RBAC, controles de costos, cuotas basadas en tokens y observabilidad como características estándar de la plataforma. No se trata de funciones que requieran la contratación de servicios profesionales para implementarlas. Admitimos los límites de velocidad que se configuran por usuario, por servicio y por punto final. Admitimos los tokens y los presupuestos de costes configurados por equipo con límites estrictos que eviten por completo los gastos excesivos, en lugar de simplemente detectarlos a posteriori.

Es importante abordar esto con Shadow AI, ya que los controles de costos son una de las principales áreas que comúnmente se sacrifican para controlar el acceso a la plataforma para controlar los costos. El ciclo de limitar el acceso para limitar los costos, limitar el acceso para limitar los costos, etc., para finalmente llegar a la solución de Shadow AI como una forma de eludir estos controles y realizar el trabajo real, se rompe cuando simplemente podemos proporcionar una plataforma que sea lo suficientemente rentable como para usarla de manera lo suficientemente amplia y detallada como para proporcionar controles de costos a nivel de equipo. Puedo proporcionar a cada equipo de ingeniería su propio presupuesto, cuota y nivel de acceso sin crear un problema de control de costos.

Visibilidad y registros de auditoría centralizados

La puerta de enlace de IA de TrueFoundry proporciona un único panel de control para todas las solicitudes, recuentos de tokens, interacciones de modelos, latencia y eventos de error en toda la organización. Los registros están completos y se pueden exportar, incluidos los metadatos a nivel de usuario, equipo, entorno y modelo. Los registros se pueden integrar directamente en cualquier canal de observabilidad. Por ejemplo, Innovaccer utiliza Grafana para ver las métricas de OpenTelemetry de TrueFoundry en producción.

Esto aborda todos los puntos ciegos en los requisitos de postura de seguridad de datos de la organización. Por ejemplo, si el auditor solicita ver los controles de acceso a los datos para una auditoría del SOC 2, o si la auditoría de un proceso de cumplimiento de la HIPAA requiere un registro de auditoría de los sistemas que han afectado a la PHI, la respuesta está en los registros de AI Gateway. No es necesario explicar ni justificar nada ni realizar un análisis forense para determinar por qué no existen los registros.

Empoderar a los desarrolladores en lugar de bloquearlos

TrueFoundry ofrece una única API, que se puede usar a través de OpenAI. Esto le permite llamar a cualquier modelo público o privado que haya establecido una organización con más de 250 proveedores públicos y sus propios modelos ejecutándose en su plataforma de despliegue. La experiencia de un desarrollador que utiliza la API de TrueFoundry para llamar a GPT-4o es idéntica a la de llamarla directamente. La gestión de las credenciales, el registro, la gestión de los costes y las alternativas se gestionan entre bastidores en la capa de infraestructura.

El efecto general es que el desarrollador no necesitará ni querrá eludir la plataforma. El desarrollador puede acceder a todos los modelos a los que quiera acceder, a través de una interfaz a la que está acostumbrado. La plataforma de implementación que ofrece TrueFoundry también permite un modelo de autoservicio. Esto permite a los desarrolladores usar su plataforma para crear nuevos servicios, escalar automáticamente y actualizar modelos sin necesidad de la ayuda de un equipo de plataforma. Debido al modelo de autoservicio y a la facilidad de uso de la plataforma de TrueFoundry, saltarse la plataforma siempre será una opción menos preferida en comparación con usar la plataforma autorizada. Este es el único tipo de gobierno basado en la IA clandestina.

Conclusión: controle la IA en la sombra mediante la habilitación

La IA en la sombra es, en última instancia, el producto de una brecha de herramientas. Si el sistema aprobado para la IA empresarial es demasiado lento para acceder a él, demasiado caro para ampliarlo o demasiado fracturado para usarlo, los equipos encontrarán la manera de utilizar algo diferente al suyo, y dejaremos de tener visibilidad ni control sobre ese uso. La compra de herramientas de gobierno o prácticas de adquisición más restrictivas no resuelve este problema; simplemente lo empeora al dificultar aún más el uso de la vía sancionada.

Debemos hacer que el camino autorizado sea mejor que el camino sombrío. Debemos hacer que sea más fácil de acceder, más rentable de escalar, más utilizable y más completo en términos de modelos y casos de uso que los equipos podrían querer usar. Si nos encontramos en esta situación, la IA oculta no es algo contra lo que estemos luchando; es simplemente algo contra lo que no tenemos que luchar porque nuestra solución es mejor que la alternativa.

TrueFoundry se creó desde cero para resolver este problema. Ofrecemos un gobierno de nivel empresarial en su propia nube, sin recargos por token, sin que las funciones queden bloqueadas en ediciones costosas y sin una experiencia de usuario que obligue a los equipos a utilizar un sistema de venta de entradas.

Programe una demostración para saber cómo TrueFoundry puede ayudar a su organización a lograr un plano de control unificado y compatible para todo el uso de la IA sin ralentizar a sus equipos.

Preguntas frecuentes

¿Cuáles son los riesgos de la IA en las sombras?

Los principales riesgos de la IA en la sombra incluyen la filtración de datos de información confidencial, la exposición accidental de los datos de la empresa en las solicitudes, los problemas de cumplimiento, la falta de visibilidad del uso de la IA, los costos imprevistos y la fragmentación de los procesos de gestión de datos. TrueFoundry aborda estos factores de riesgo de la IA clandestina al proporcionar un medio de acceso seguro y controlado a los sistemas de herramientas de inteligencia artificial.

¿Cómo hacer frente a los riesgos de la IA oculta?

Las empresas deben proporcionar una plataforma empresarial autorizada que los empleados prefieran usar para mitigar los riesgos de la IA oculta. La implementación de una puerta de enlace central garantiza que todas las interacciones del modelo permanezcan seguras en el entorno de nube privada. TrueFoundry mantiene estrictos controles de acceso y rastrea el consumo de tokens sin reducir la productividad general del equipo de ingeniería.

¿Cómo detectar los riesgos de la IA oculta?

La detección de los riesgos de la IA oculta comienza con la supervisión del tráfico de red saliente hacia los puntos finales de modelos públicos conocidos. Los equipos de seguridad deben auditar el gasto en la nube y los repositorios de código fuente en busca de credenciales de API codificadas de forma rígida. El enrutamiento de todo el tráfico autorizado a través de la puerta de enlace de TrueFoundry expone cualquier uso externo como una infracción no aprobada de las políticas de seguridad corporativas.

¿Cómo abordamos el riesgo asociado con la IA en las sombras?

En lugar de restringir el acceso a los sistemas de IA, las organizaciones deben garantizar un acceso seguro. El acceso seguro significa proporcionar interfaces de IA autorizadas, proporcionar controles de acceso y proporcionar mecanismos de protección de datos. Al proporcionar a las organizaciones un acceso seguro, los empleados no utilizarán sistemas de IA no autorizados. La infraestructura de True Foundry puede ayudar a las organizaciones a proporcionar un acceso seguro y, al mismo tiempo, permitir a los empleados explorar los sistemas de IA.

¿Cómo abordamos el riesgo asociado con la IA en las sombras?

Sin embargo, para que las organizaciones puedan abordar el riesgo asociado con la IA en la sombra, primero deben tener visibilidad sobre el uso. Esto suele hacerse supervisando el uso de la API, analizando los patrones de uso y revisando los datos salientes. Disponer de un único punto de acceso para los casos de uso de la IA facilita el seguimiento del uso. Esto es exactamente lo que TrueFoundry puede ofrecer a una organización.

¿Por qué los costosos sistemas de IA empresarial conducen a la IA en la sombra?

Si los sistemas de IA certificados para empresas son de difícil acceso, costosos o lentos de implementar, los empleados pueden recurrir a los sistemas de IA públicos para acelerar la finalización de las tareas. Existe una desconexión entre lo que se recomienda y lo que realmente se utiliza. La IA oculta se produce cuando el sistema de IA recomendado no proporciona la velocidad y la flexibilidad necesarias. TrueFoundry llena este vacío al ofrecer acceso a los sistemas de inteligencia artificial sin introducir fricciones adicionales en el proceso.

¿Cómo ayuda una puerta de enlace de IA a prevenir la IA oculta?

El objetivo de una puerta de enlace de IA es proporcionar una capa centralizada que gestione todo el acceso a los sistemas de IA. En otras palabras, permite a una organización hacer un seguimiento de si se siguen las políticas, qué sistemas de IA se utilizan y si se aplican las políticas. Ayuda a minimizar el uso de sistemas de IA no autorizados al proporcionar una ruta certificada para que los usuarios accedan a los sistemas de IA. El portal de IA de TrueFoundry es una capa centralizada que permite el acceso a los sistemas de IA.