Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Integrando o AnythingLLM com o AI Gateway da TrueFoundry

By Rishiraj Dutta Gupta

Updated: novembro 3, 2026

Published: maio 20, 2026

A comunidade de tecnologia testemunhou um crescimento explosivo de plataformas de IA como o AnythingLLM. Essas plataformas capacitaram uma nova onda de criadores, de cientistas de dados a gerentes de produto, a criar e implantar rapidamente aplicações alimentadas por IA. A capacidade de conectar prompts, ferramentas e bancos de dados vetoriais sem escrever uma única linha de código acelerou dramaticamente o ritmo da inovação, permitindo a criação de provas de conceito em horas, em vez de semanas.

No entanto, essa rápida experimentação expôs uma lacuna crítica de governança. À medida que essas ferramentas evoluem para aplicações geradoras de valor, as equipes de plataforma se deparam com um novo conjunto de desafios. Cada componente dentro de um ambiente low-code geralmente se comunica com um endpoint de modelo diferente, cada um com sua própria API key, e cada um registrando o uso em um portal separado. Essa fragmentação torna quase impossível responder às perguntas fundamentais que todo CIO precisa abordar:

  • Quem está usando quais modelos de IA?
  • Qual é o custo associado?
  • O uso é seguro e está em conformidade?

É aqui que entra o AI Gateway da TrueFoundry. Ao fornecer uma camada centralizada para gerenciar todas as interações de AI/ML, o Gateway capacita as organizações a adotar a velocidade e a agilidade das plataformas low-code sem sacrificar a segurança, o controle ou a eficiência de custos.

Por que o AnythingLLM Precisa de um Gateway

AnythingLLM tornou-se rapidamente um favorito entre desenvolvedores e organizações que buscam construir aplicações de IA privadas e completas (all-in-one). Seu suporte para vários tipos de documentos, modelos personalizados e privacidade total o torna uma ferramenta poderosa para aproveitar grandes modelos de linguagem (LLMs). No entanto, como acontece com qualquer ferramenta poderosa, à medida que seu uso se escala por toda a organização, a necessidade de uma governança centralizada torna-se primordial. É aqui que a integração com o AI Gateway da TrueFoundry se torna essencial.

Ao rotear todas as chamadas de LLM do AnythingLLM por meio do Gateway, você ganha uma suíte de recursos de nível empresarial que são críticos para qualquer aplicação de IA em produção:

  • Autenticação e Controle de Acesso Centralizados: Gerencie todas as suas API keys em um só lugar, com tokens com escopo definido por projeto, garantindo que apenas usuários e aplicações autorizados possam acessar modelos específicos.
  • Observabilidade Unificada e Rastreamento de Custos: Tenha uma visão centralizada (single-pane-of-glass) do seu uso de IA. Acompanhe o consumo de tokens, a latência e os custos em todos os seus modelos e aplicações em tempo real.
  • Segurança Robusta e Conformidade: O Gateway atua como uma camada de aplicação de segurança, com recursos como redação de PII, rate limiting e logs de auditoria para garantir que seu uso de IA esteja em conformidade com as regulamentações do setor.
  • Independência de Provedor e Preparação para o Futuro: Alterne facilmente entre diferentes provedores de LLM (por exemplo, da OpenAI para a Anthropic) sem alterar uma única linha de código na sua aplicação AnythingLLM.

Um Olhar sobre o Futuro: A Importância Estratégica dos LLM Gateways

A integração de plataformas de IA low-code com o melhor LLM gateway é mais do que apenas uma conveniência técnica; é um imperativo estratégico. À medida que a IA se torna cada vez mais uma commodity, a capacidade de orquestrar, gerenciar e proteger com eficácia o uso da IA se tornará um diferencial competitivo fundamental.

Um artigo recente, "Portcullis: A Scalable and Verifiable Privacy Gateway for Third-Party LLM Inference," destaca a crescente importância dos gateways de preservação da privacidade na era da IA generativa. O artigo introduz uma abordagem inovadora para proteger dados sensíveis, anonimizando-os antes mesmo de chegarem ao LLM. Isso é alcançado por meio de um processo de "substituição paralela", onde os dados sensíveis são substituídos por placeholders antes de serem enviados ao LLM e, em seguida, reconstruídos com precisão na resposta. Essa pesquisa reforça o papel crítico que os gateways desempenharão para permitir o uso de modelos de IA poderosos em indústrias regulamentadas, como finanças e saúde.

Ao integrar o AnythingLLM com o AI Gateway da TrueFoundry, você não está apenas resolvendo os desafios de governança de hoje; você está construindo uma stack de IA preparada para o futuro, pronta para escalar de acordo com as necessidades da sua organização.

Integração em 5 Passos Simples

Integrar o AnythingLLM com o TrueFoundry AI Gateway é um processo simples que pode ser concluído em apenas alguns minutos. Veja como:

  1. Gere seu Token de Acesso da TrueFoundry:
  • Navegue até o seu painel do TrueFoundry e vá em Access Management.
  • Clique em New Personal Access Token para criar um novo token.
  • Copie e guarde seu Personal Access Token em um local seguro.
  1. Acesse as Configurações de LLM no AnythingLLM:
  • Inicie sua aplicação AnythingLLM.
  • Navegue até Settings e vá em LLM Preference.
  1. Configure o Provedor Generic OpenAI:
  • Na caixa de busca de provedores de LLM, digite "Generic OpenAI" e selecione-o.
  • Base URL: Insira a URL base do seu TrueFoundry Gateway (ex.: https://<sua-empresa>.truefoundry.cloud/api/llm/api/inference/openai).
  • API Key: Insira seu TrueFoundry Personal Access Token.
  • Chat Model Name: Insira o ID do seu modelo no TrueFoundry (ex.: openai-main/gpt-4o).
  • Token Context Window & Max Tokens: Configure estes campos com base nos limites do seu modelo.
  1. Obtenha as Informações do Modelo no TrueFoundry:
  • Navegue até o seu TrueFoundry AI Gateway para obter o identificador correto do modelo.
  • Copie o ID do modelo e cole-o no campo Chat Model Name do AnythingLLM.
  1. Teste sua Integração:
  • Salve sua configuração no AnythingLLM.
  • Crie um novo workspace ou abra um existente e envie uma mensagem de teste para verificar a integração.

Você pode encontrar um passo a passo mais detalhado, completo com capturas de tela, em nossa documentação.

Sua aplicação AnythingLLM agora está integrada de forma contínua com o AI Gateway da TrueFoundry, oferecendo o melhor dos dois mundos: a velocidade e flexibilidade de uma plataforma de IA low-code e a segurança e controle de um gateway de nível empresarial.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 21, 2026
|
5 min read

Identidade de Agente de IA com Microsoft Entra Agent ID: Emissão e Governança de Identidades de Agentes

No items found.
novembro 21, 2026
|
5 min read

Identidade do Agente e Delegação On-Behalf-Of (OBO): Quem Está Realmente Chamando Suas Ferramentas?

No items found.
novembro 21, 2026
|
5 min read

Agent Skills para Linear MCP: Benchmark de Precisão de 62% → 90%

No items found.
novembro 21, 2026
|
5 min read

agentgateway vs Vercel AI Gateway: gateway de agentes self-hosted ou roteador de modelos gerenciado?

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour