Integración de AnythingLLM con la puerta de enlace de IA de TrueFoundry

La comunidad tecnológica ha sido testigo de un crecimiento explosivo de plataformas de IA como Cualquier cosa LLM. Estas plataformas han permitido a una nueva generación de desarrolladores, desde científicos de datos hasta gerentes de productos, idear e implementar rápidamente aplicaciones impulsadas por la inteligencia artificial. La capacidad de conectar instrucciones, herramientas y bases de datos vectoriales sin tener que escribir una sola línea de código ha acelerado considerablemente el ritmo de la innovación, ya que permite crear pruebas de concepto en cuestión de horas en lugar de semanas.

Sin embargo, esta rápida experimentación ha puesto de manifiesto una brecha crítica de gobernanza. A medida que estas herramientas evolucionan y se convierten en aplicaciones generadoras de valor, los equipos de plataformas se enfrentan a una nueva serie de desafíos. Cada componente de un entorno con poco código suele comunicarse con un modelo de punto final diferente, cada uno con su propia clave de API y cada uso de registro en un portal independiente. Esta fragmentación hace que sea casi imposible responder a las preguntas fundamentales que todo CIO debe abordar:

• ¿Quién usa qué modelos de IA?
• ¿Cuál es el costo asociado?
• ¿El uso es seguro y cumple con las normas?

Aquí es donde La puerta de enlace de IA de TrueFoundry entra. Al proporcionar una capa centralizada para administrar todas las interacciones entre la inteligencia artificial y el aprendizaje automático, Gateway permite a las organizaciones adoptar la velocidad y la agilidad de las plataformas con bajo nivel de código sin sacrificar la seguridad, el control o la rentabilidad.

Por qué AnythingLLM necesita una puerta de enlace

Cualquier cosa LLM se ha convertido rápidamente en uno de los favoritos de los desarrolladores y las organizaciones que buscan crear aplicaciones de IA privadas e integrales. Su compatibilidad con varios tipos de documentos, modelos personalizados y total privacidad la convierten en una herramienta poderosa para aprovechar los modelos lingüísticos de gran tamaño (LLM). Sin embargo, como ocurre con cualquier herramienta poderosa, a medida que su uso se amplía en una organización, la necesidad de una gobernanza centralizada se vuelve primordial. Aquí es donde se produce la integración con La puerta de enlace de IA de TrueFoundry se convierte en algo esencial.

Al enrutar todas las llamadas de LLM de AnythingLLM a través del Gateway, obtiene un conjunto de funciones de nivel empresarial que son fundamentales para cualquier aplicación de IA a nivel de producción:

• Autenticación y control de acceso centralizados: Gestione todas sus claves de API en un solo lugar, con tokens con ámbito de proyecto que garantizan que solo los usuarios y las aplicaciones autorizados puedan acceder a modelos específicos.
• Observabilidad unificada y seguimiento de costos: Obtenga una visión panorámica del uso de la IA. Realice un seguimiento del consumo de tokens, la latencia y los costos en todos sus modelos y aplicaciones en tiempo real.
• Seguridad y cumplimiento sólidos: El Gateway actúa como una capa de aplicación de la seguridad, con funciones como la redacción de PII, la limitación de velocidad y el registro de auditorías para garantizar que el uso de la IA cumpla con las normativas del sector.
• Agnosticismo de los proveedores y preparación para el futuro: Cambia fácilmente entre diferentes proveedores de LLM (por ejemplo, de OpenAI a Anthropic) sin cambiar ni una sola línea de código en tu aplicación AnythingLLM.

Un vistazo al futuro: la importancia estratégica de LLM Gateways

La integración de plataformas de IA de bajo código con pasarelas de LLM es más que una simple conveniencia técnica; es un imperativo estratégico. A medida que la IA se convierta en un producto cada vez más mercantilizado, la capacidad de orquestar, gestionar y proteger su uso de forma eficaz se convertirá en un diferenciador competitivo clave.

En un documento reciente, «Portcullis: una pasarela de privacidad escalable y verificable para la inferencia de LLM de terceros,» destaca la creciente importancia de las pasarelas que preservan la privacidad en la era de la IA generativa. El documento presenta un enfoque novedoso para proteger los datos confidenciales al anonimizarlos antes de que lleguen al LLM. Esto se logra mediante un proceso de «sustitución paralela», en el que los datos confidenciales se sustituyen por marcadores de posición antes de enviarlos al LLM y, a continuación, se reconstruyen con precisión en la respuesta. Esta investigación subraya el papel fundamental que desempeñarán las pasarelas a la hora de permitir el uso de potentes modelos de IA en sectores regulados, como las finanzas y la atención médica.

Al integrar AnythingLLM con AI Gateway de TrueFoundry, no solo está resolviendo los desafíos actuales de gobernanza, sino que también está creando una pila de IA preparada para el futuro que está lista para adaptarse a las necesidades de su organización.

Integración en 5 sencillos pasos

La integración de AnythingLLM con TrueFoundry AI Gateway es un proceso sencillo que se puede completar en solo unos minutos. He aquí cómo hacerlo:

1. Genere su token de acceso de TrueFoundry:

• Navegue hasta su panel de control de TrueFoundry y vaya a Administración de acceso.
• Haga clic Nuevo token de acceso personal para crear un token nuevo.
• Copie y almacene de forma segura su token de acceso personal.

2. Acceda a la configuración de LLM de AnythingLLM:

• Inicie su aplicación AnythingLLM.
• Navega hasta Ajustes y vaya a Preferencia LLM.

3. Configure el proveedor genérico de OpenAI:

• En el cuadro de búsqueda de proveedores de LLM, escribe «OpenAI genérico» y selecciónalo.
• URL base: <your-company>Introduzca su URL base de TrueFoundry Gateway (p. ej., https://.truefoundry.cloud/api/llm/api/inference/openai).
• Clave de API: Introduzca su token de acceso personal de TrueFoundry.
• Nombre del modelo de chat: Introduzca su ID de modelo de TrueFoundry (p. ej., openai-main/gpt-4o).
• Ventana de contexto de token y número máximo de tokens: Configúralos según los límites de tu modelo.

4. Obtenga información sobre el modelo de TrueFoundry:

• Navega hasta tu TrueFoundry AI Gateway para obtener el identificador de modelo correcto.
• Copia la ID del modelo y pégala en AnythingLLM's Nombre del modelo de chat campo.

5. Pon a prueba tu integración:

• Guarde la configuración en AnythingLLM.
• Crea un nuevo espacio de trabajo o abre uno existente y envía un mensaje de prueba para verificar la integración.

Puedes encontrar un recorrido más detallado, completo con capturas de pantalla, en nuestra documentos

Su aplicación AnythingLLM ahora está perfectamente integrada con la puerta de enlace de IA de TrueFoundry, lo que le brinda lo mejor de ambos mundos: la velocidad y la flexibilidad de una plataforma de inteligencia artificial de bajo código y la seguridad y el control de una puerta de enlace de nivel empresarial.