O que é o Ollama? Executando LLMs locais em produção para equipes

O que é o Ollama?

O Ollama é um runtime de código aberto para executar LLMs em sua própria infraestrutura, seja um laptop, um servidor GPU local ou uma instância de nuvem privada. Você baixa um modelo de pesos abertos, como Llama, Mistral ou Qwen, e o Ollama o disponibiliza localmente por trás de um endpoint HTTP. Fundamentalmente, esse endpoint utiliza uma API compatível com OpenAI, portanto, o código escrito para o SDK da OpenAI pode se comunicar com um modelo local do Ollama apenas alterando a URL base.

As equipes escolhem o Ollama por alguns motivos claros:

• Privacidade. O modelo é executado em hardware que você controla, portanto, os prompts e as saídas nunca saem do seu ambiente.
• Uso offline e em redes isoladas (air-gapped). Sem dependência de um provedor hospedado ou da internet pública.
• Custo. Modelos de pesos abertos em seu próprio hardware evitam taxas de API por token.
• Simplicidade. Colocar um modelo em execução exige apenas um comando.

O Ollama funciona melhor quando

• Você deseja uma inferência local rápida durante o desenvolvimento.
• Você está executando modelos de pesos abertos em hardware próprio.
• Os dados não podem sair do seu ambiente por motivos de privacidade ou conformidade.
• Você precisa de um endpoint compatível com OpenAI sem configurar uma infraestrutura de serviço mais pesada.

Ollama vs vLLM: Qual as equipes devem usar?

A comparação mais comum é entre Ollama e vLLM, pois ambos expõem APIs compatíveis com OpenAI e ambos permitem a auto-hospedagem de modelos de pesos abertos. Eles são otimizados para propósitos diferentes.

Em resumo, o Ollama é a maneira mais fácil de executar um modelo para uma única pessoa, enquanto o vLLM foi criado para atender muitos usuários simultâneos com alto rendimento. Muitas equipes usam ambos: o Ollama para desenvolvimento local e o vLLM para produção. A boa notícia é que, como ambos são compatíveis com a OpenAI, qualquer solução que você padronizar pode ficar atrás do mesmo gateway, e você pode até mesmo rotear o tráfego entre eles.

Onde o Ollama deixa a desejar para equipes

O Ollama faz bem o seu trabalho, mas executá-lo em uma organização revela lacunas que estão fora do seu escopo.

• Sem controle de acesso compartilhado. Um endpoint bruto do Ollama não tem noção de qual equipe ou usuário tem permissão para chamar qual modelo.
• Sem atribuição de custos. Não existe uma visão de uso por equipe ou por aplicação, porque o Ollama atende solicitações, mas não as mede por proprietário.
• Sem mecanismos de proteção (guardrails). Prompts e saídas não são inspecionados em busca de PII, segredos ou tentativas de injeção.
• Sem roteamento ou failover. Se um modelo ou servidor cair, não há para onde redirecionar, nem forma de enviar solicitações diferentes para modelos diferentes.
• Endpoints fragmentados. Cada instância do Ollama possui sua própria URL, o que faz com que as aplicações precisem codificar endpoints fixos, perdendo a portabilidade.

Essas são exatamente as preocupações que um gateway existe para resolver, sendo essa a forma de transformar um executor de modelos local em infraestrutura de equipe.

Como executar o Ollama para equipes com o TrueFoundry

O TrueFoundry trata um servidor Ollama como um modelo auto-hospedado. Você o conecta ao Gateway de IA fornecendo a URL do endpoint e os detalhes de autenticação. Uma vez registrado, ele aparece no catálogo de modelos do gateway ao lado de provedores de nuvem, com todos os recursos do gateway aplicados: roteamento, mecanismos de proteção, limitação de taxa, rastreamento de custos e observabilidade. O Ollama é explicitamente suportado aqui porque expõe uma API compatível com a OpenAI, o formato com o qual o gateway funciona melhor.

Você registra o modelo em AI Gateway, depois em Models e, em seguida, em Self Hosted Models, atribuindo um nome, um ID de modelo, a URL do seu servidor Ollama e o tipo de servidor de modelo, com autenticação opcional. A partir desse momento, aplicações e agentes param de se comunicar com um endpoint localhost bruto e passam a chamar o gateway com uma API unificada:

from openai import OpenAI

client = OpenAI(
    api_key="your-truefoundry-api-key",   # a gateway token, not a raw endpoint
    base_url="https://gateway.truefoundry.ai",
)

resp = client.chat.completions.create(
    model="self-hosted/llama-3-8b-ollama",   # your registered Ollama model
    messages=[{"role": "user", "content": "Summarize this ticket"}],
)

Essa única mudança é o que torna o Ollama utilizável por uma equipe:

• Controle de acesso. Conceda a usuários, equipes ou contas virtuais específicas acesso ao modelo baseado em Ollama, e nada mais.
• Rastreamento de custos e limites de taxa. Monitore o uso por equipe e aplicação, e estabeleça limites para evitar gastos excessivos.
• Diretrizes de segurança. Execute verificações de PII, segredos e injeção de prompt no tráfego de e para o modelo local.
• Roteamento e fallback. Coloque o Ollama e um modelo hospedado sob um único nome de modelo virtual, para que você possa realizar failover ou dividir o tráfego sem precisar alterar o código da aplicação.

Como o gateway é independente de provedor e compatível com OpenAI em mais de 1.000 modelos, você também pode combinar um modelo Ollama local com uma implementação vLLM e APIs em nuvem sob a mesma interface, o que se conecta diretamente à portabilidade de agentes de IA. E como o TrueFoundry é executado dentro da sua própria VPC, a privacidade que o levou a escolher o Ollama em primeiro lugar é preservada de ponta a ponta.

Conclusão

O Ollama é a maneira mais rápida de colocar um modelo em execução localmente e, em termos de privacidade e custo, é difícil de superar. Ele simplesmente não foi criado para ser uma infraestrutura de equipe, que é onde entram o controle de acesso, a visibilidade de custos, as diretrizes de segurança e o roteamento. Conecte o Ollama ao AI Gateway como um modelo auto-hospedado e ele manterá sua privacidade e baixo custo, ganhando tudo o que uma equipe precisa para operá-lo em produção.

Veja como o TrueFoundry transforma modelos locais em uma infraestrutura governada e pronta para equipes. Agende uma demonstraçãooucomeçar gratuitamente.