Integrando o AnythingLLM com o AI Gateway do TrueFoundry

A comunidade tecnológica tem testemunhado um crescimento explosivo de plataformas de IA como AnythingLLM. Essas plataformas capacitaram uma nova onda de desenvolvedores, de cientistas de dados a gerentes de produto, a idealizar e implantar rapidamente aplicativos impulsionados por IA. A capacidade de conectar prompts, ferramentas e bancos de dados vetoriais sem escrever uma única linha de código acelerou drasticamente o ritmo da inovação, permitindo a criação de provas de conceito em horas, em vez de semanas.

No entanto, essa experimentação rápida expôs uma lacuna crítica de governança. À medida que essas ferramentas evoluem para aplicativos geradores de valor, as equipes de plataforma se deparam com um novo conjunto de desafios. Cada componente em um ambiente low-code frequentemente se comunica com um endpoint de modelo diferente, cada um com sua própria chave de API, e cada um registrando o uso em um portal separado. Essa fragmentação torna quase impossível responder às perguntas fundamentais que todo CIO deve abordar:

• Quem está usando quais modelos de IA?
• Qual é o custo associado?
• O uso é seguro e está em conformidade?

É aqui que o AI Gateway da TrueFoundry entra em ação. Ao fornecer uma camada centralizada para gerenciar todas as interações de IA/ML, o Gateway capacita as organizações a adotar a velocidade e a agilidade das plataformas low-code sem sacrificar segurança, controle ou eficiência de custos.

Por que o AnythingLLM Precisa de um Gateway

AnythingLLM rapidamente se tornou um favorito para desenvolvedores e organizações que buscam construir aplicativos de IA privados e completos. Seu suporte para vários tipos de documentos, modelos personalizados e privacidade total o torna uma ferramenta poderosa para alavancar grandes modelos de linguagem (LLMs). No entanto, como acontece com qualquer ferramenta poderosa, à medida que seu uso se expande por uma organização, a necessidade de governança centralizada se torna primordial. É aqui que a integração com o AI Gateway da TrueFoundry se torna essencial.

Ao rotear todas as chamadas de LLM do AnythingLLM através do Gateway, você obtém um conjunto de recursos de nível empresarial que são críticos para qualquer aplicativo de IA em nível de produção:

• Autenticação Centralizada e Controle de Acesso: Gerencie todas as suas chaves de API em um só lugar, com tokens com escopo de projeto que garantem que apenas usuários e aplicativos autorizados possam acessar modelos específicos.
• Observabilidade Unificada e Rastreamento de Custos: Obtenha uma visão consolidada do uso da sua IA. Monitore o consumo de tokens, latência e custos em todos os seus modelos e aplicações em tempo real.
• Segurança e Conformidade Robustas: O Gateway atua como uma camada de aplicação de segurança, com recursos como anonimização de PII, limitação de taxa e registro de auditoria para garantir que o uso da sua IA esteja em conformidade com as regulamentações do setor.
• Agnosticismo de Fornecedor e Preparação para o Futuro: Alterne facilmente entre diferentes provedores de LLM (por exemplo, da OpenAI para a Anthropic) sem alterar uma única linha de código na sua aplicação AnythingLLM.

Um Olhar para o Futuro: A Importância Estratégica dos Gateways de LLM

A integração de plataformas de IA low-code com o melhor gateway de LLM é mais do que uma mera conveniência técnica; é um imperativo estratégico. À medida que a IA se torna cada vez mais comoditizada, a capacidade de orquestrar, gerenciar e proteger eficazmente o uso da IA se tornará um diferencial competitivo fundamental.

Um artigo recente, "Portcullis: Um Gateway de Privacidade Escalável e Verificável para Inferência de LLM de Terceiros," destaca a crescente importância dos gateways que preservam a privacidade na era da IA generativa. O artigo apresenta uma abordagem inovadora para proteger dados sensíveis, anonimizando-os antes que cheguem ao LLM. Isso é alcançado através de um processo de "substituição paralela", onde dados sensíveis são substituídos por marcadores de posição antes de serem enviados ao LLM e, em seguida, reconstruídos com precisão na resposta. Esta pesquisa ressalta o papel crítico que os gateways desempenharão ao possibilitar o uso de modelos de IA poderosos em setores regulamentados como finanças e saúde.

Ao integrar o AnythingLLM com o AI Gateway da TrueFoundry, você não está apenas resolvendo os desafios de governança atuais; você está construindo uma pilha de IA preparada para o futuro que está pronta para escalar com as necessidades da sua organização.

Integração em 5 Passos Simples

Integrar o AnythingLLM com o TrueFoundry AI Gateway é um processo simples que pode ser concluído em apenas alguns minutos. Veja como:

1. Gere Seu Token de Acesso TrueFoundry:

• Navegue até o seu painel TrueFoundry e vá para Gerenciamento de Acesso.
• Clique em Novo Token de Acesso Pessoal para criar um novo token.
• Copie e armazene com segurança seu Token de Acesso Pessoal.

2. Acesse as Configurações de LLM do AnythingLLM:

• Inicie seu aplicativo AnythingLLM.
• Navegue até Configurações e vá para Preferência de LLM.

3. Configure o Provedor OpenAI Genérico:

• Na caixa de pesquisa do provedor de LLM, digite "OpenAI Genérico" e selecione-o.
• URL Base: Insira sua URL base do TrueFoundry Gateway (por exemplo, https://<sua-empresa>.truefoundry.cloud/api/llm/api/inference/openai).
• Chave de API: Insira seu Token de Acesso Pessoal do TrueFoundry.
• Nome do Modelo de Chat: Insira o ID do seu modelo do TrueFoundry (por exemplo, openai-main/gpt-4o).
• Janela de Contexto de Tokens e Tokens Máximos: Configure-os com base nos limites do seu modelo.

4. Obtenha Informações do Modelo do TrueFoundry:

• Navegue até o seu TrueFoundry AI Gateway para obter o identificador de modelo correto.
• Copie o ID do modelo e cole-o no Nome do Modelo de Chat campo.

5. Teste Sua Integração:

• Salve sua configuração no AnythingLLM.
• Crie um novo espaço de trabalho ou abra um existente e envie uma mensagem de teste para verificar a integração.

Você pode encontrar um passo a passo mais detalhado, completo com capturas de tela, em nossa documentação

Seu aplicativo AnythingLLM agora está perfeitamente integrado ao AI Gateway do TrueFoundry, oferecendo o melhor dos dois mundos: a velocidade e flexibilidade de uma plataforma de IA low-code e a segurança e controle de um gateway de nível empresarial.