Integrando o AnythingLLM com o AI Gateway da TrueFoundry

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
A comunidade de tecnologia testemunhou um crescimento explosivo de plataformas de IA como o AnythingLLM. Essas plataformas capacitaram uma nova onda de criadores, de cientistas de dados a gerentes de produto, a criar e implantar rapidamente aplicações alimentadas por IA. A capacidade de conectar prompts, ferramentas e bancos de dados vetoriais sem escrever uma única linha de código acelerou dramaticamente o ritmo da inovação, permitindo a criação de provas de conceito em horas, em vez de semanas.
No entanto, essa rápida experimentação expôs uma lacuna crítica de governança. À medida que essas ferramentas evoluem para aplicações geradoras de valor, as equipes de plataforma se deparam com um novo conjunto de desafios. Cada componente dentro de um ambiente low-code geralmente se comunica com um endpoint de modelo diferente, cada um com sua própria API key, e cada um registrando o uso em um portal separado. Essa fragmentação torna quase impossível responder às perguntas fundamentais que todo CIO precisa abordar:
- Quem está usando quais modelos de IA?
- Qual é o custo associado?
- O uso é seguro e está em conformidade?
É aqui que entra o AI Gateway da TrueFoundry. Ao fornecer uma camada centralizada para gerenciar todas as interações de AI/ML, o Gateway capacita as organizações a adotar a velocidade e a agilidade das plataformas low-code sem sacrificar a segurança, o controle ou a eficiência de custos.

Por que o AnythingLLM Precisa de um Gateway
AnythingLLM tornou-se rapidamente um favorito entre desenvolvedores e organizações que buscam construir aplicações de IA privadas e completas (all-in-one). Seu suporte para vários tipos de documentos, modelos personalizados e privacidade total o torna uma ferramenta poderosa para aproveitar grandes modelos de linguagem (LLMs). No entanto, como acontece com qualquer ferramenta poderosa, à medida que seu uso se escala por toda a organização, a necessidade de uma governança centralizada torna-se primordial. É aqui que a integração com o AI Gateway da TrueFoundry se torna essencial.

Ao rotear todas as chamadas de LLM do AnythingLLM por meio do Gateway, você ganha uma suíte de recursos de nível empresarial que são críticos para qualquer aplicação de IA em produção:
- Autenticação e Controle de Acesso Centralizados: Gerencie todas as suas API keys em um só lugar, com tokens com escopo definido por projeto, garantindo que apenas usuários e aplicações autorizados possam acessar modelos específicos.
- Observabilidade Unificada e Rastreamento de Custos: Tenha uma visão centralizada (single-pane-of-glass) do seu uso de IA. Acompanhe o consumo de tokens, a latência e os custos em todos os seus modelos e aplicações em tempo real.
- Segurança Robusta e Conformidade: O Gateway atua como uma camada de aplicação de segurança, com recursos como redação de PII, rate limiting e logs de auditoria para garantir que seu uso de IA esteja em conformidade com as regulamentações do setor.
- Independência de Provedor e Preparação para o Futuro: Alterne facilmente entre diferentes provedores de LLM (por exemplo, da OpenAI para a Anthropic) sem alterar uma única linha de código na sua aplicação AnythingLLM.
Um Olhar sobre o Futuro: A Importância Estratégica dos LLM Gateways
A integração de plataformas de IA low-code com o melhor LLM gateway é mais do que apenas uma conveniência técnica; é um imperativo estratégico. À medida que a IA se torna cada vez mais uma commodity, a capacidade de orquestrar, gerenciar e proteger com eficácia o uso da IA se tornará um diferencial competitivo fundamental.
Um artigo recente, "Portcullis: A Scalable and Verifiable Privacy Gateway for Third-Party LLM Inference," destaca a crescente importância dos gateways de preservação da privacidade na era da IA generativa. O artigo introduz uma abordagem inovadora para proteger dados sensíveis, anonimizando-os antes mesmo de chegarem ao LLM. Isso é alcançado por meio de um processo de "substituição paralela", onde os dados sensíveis são substituídos por placeholders antes de serem enviados ao LLM e, em seguida, reconstruídos com precisão na resposta. Essa pesquisa reforça o papel crítico que os gateways desempenharão para permitir o uso de modelos de IA poderosos em indústrias regulamentadas, como finanças e saúde.
Ao integrar o AnythingLLM com o AI Gateway da TrueFoundry, você não está apenas resolvendo os desafios de governança de hoje; você está construindo uma stack de IA preparada para o futuro, pronta para escalar de acordo com as necessidades da sua organização.
Integração em 5 Passos Simples
Integrar o AnythingLLM com o TrueFoundry AI Gateway é um processo simples que pode ser concluído em apenas alguns minutos. Veja como:
- Gere seu Token de Acesso da TrueFoundry:
- Navegue até o seu painel do TrueFoundry e vá em Access Management.
- Clique em New Personal Access Token para criar um novo token.
- Copie e guarde seu Personal Access Token em um local seguro.
- Acesse as Configurações de LLM no AnythingLLM:
- Inicie sua aplicação AnythingLLM.
- Navegue até Settings e vá em LLM Preference.

- Configure o Provedor Generic OpenAI:
- Na caixa de busca de provedores de LLM, digite "Generic OpenAI" e selecione-o.
- Base URL: Insira a URL base do seu TrueFoundry Gateway (ex.: https://<sua-empresa>.truefoundry.cloud/api/llm/api/inference/openai).
- API Key: Insira seu TrueFoundry Personal Access Token.
- Chat Model Name: Insira o ID do seu modelo no TrueFoundry (ex.: openai-main/gpt-4o).
- Token Context Window & Max Tokens: Configure estes campos com base nos limites do seu modelo.

- Obtenha as Informações do Modelo no TrueFoundry:
- Navegue até o seu TrueFoundry AI Gateway para obter o identificador correto do modelo.
- Copie o ID do modelo e cole-o no campo Chat Model Name do AnythingLLM.

- Teste sua Integração:
- Salve sua configuração no AnythingLLM.
- Crie um novo workspace ou abra um existente e envie uma mensagem de teste para verificar a integração.

Você pode encontrar um passo a passo mais detalhado, completo com capturas de tela, em nossa documentação.
Sua aplicação AnythingLLM agora está integrada de forma contínua com o AI Gateway da TrueFoundry, oferecendo o melhor dos dois mundos: a velocidade e flexibilidade de uma plataforma de IA low-code e a segurança e controle de um gateway de nível empresarial.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.












.png)
.png)

.png)






.png)

.png)


.png)

.png)
.png)






