Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Llama 2 LLM: Fazer Deploy e Fine-Tuning na sua nuvem

By Srihari Radhakrishna

Updated: novembro 3, 2026

Published: maio 20, 2026

O momento ChatGPT do mundo open source chegou — a Meta lançou seu mais recente conjunto de modelos de linguagem grandes open-source, chamado Llama 2 — uma coleção de modelos de texto gerativo pré-treinados e com fine-tuning variando em escala de 7 bilhões a 70 bilhões de parâmetros.

Fatos Curiosos e Mnemônicos sobre o Llama 2

  1. O Llama 2 é treinado em dados online publicamente disponíveis com cerca de 2T de tokens. Isso é >300x toda a Wikipédia em inglês.
  2. O Llama 2 foi treinado em 1M de anotações humanas — compare isso com 15k de datasets rotulados para o Dolly da Databricks.
  3. O tempo para treinar as variantes 7B, 13B e 70B é relatado como 184k, 368k e 1.7M de horas de GPU com A100-80GB. É interessante notar que isso se aproxima de cerca de 1000 GPU-semanas para cada 1B de parâmetros. Portanto, 70 semanas de treinamento se você estivesse usando 1000 GPUs em paralelo para o modelo de 70B.  
  4. O custo em GPU apenas para treinar esses modelos seria de cerca de $800k, $1.5M e $8M, respectivamente. Um total de $10M em GPUs para a execução final! :)
  5. Os dados de pré-treinamento são estáticos e atualizados até setembro de 2022, mas o fine-tuning foi realizado com dados recentes até julho de 2023.
  6. A janela de contexto é de 4k para as 3 variantes: 7B, 10B e 70B.

Por que você deveria se importar?

  1. Bem, para começar, ele está disponível gratuitamente para pesquisa e fins comerciais — o primeiro modelo desse tipo com qualidade comparável ao ChatGPT, respaldado por uma Big Tech e pronto para ser implantado e ajustado hoje mesmo. (A menos que você tenha >700M de usuários ativos mensais no mês de calendário anterior, caso em que precisará obter uma licença da Meta para utilizá-lo!)  
  2. As versões ajustadas, chamadas Llama-2-Chat, são otimizadas para casos de uso de diálogo. Os modelos Llama-2-Chat superam outros modelos de chat open-source na maioria dos benchmarks e estão no mesmo nível de alguns modelos populares de código fechado, como ChatGPT e PaLM, nas avaliações humanas de utilidade e segurança.
  3. Para todos aqueles que estavam aguardando aprovações jurídicas e de compliance para usar serviços comerciais de código fechado como a OpenAI, e ficaram desapontados com a qualidade de resposta das gerações anteriores de LLMs Open Source — aqui está a sua resposta. Mais importante ainda, é uma confirmação de que os LLMs Open Source vieram para ficar e continuarão a evoluir.

Benchmarks de Qualidade do Llama 2

O Llama 2 demonstra um desempenho notável em vários benchmarks de LLM. Aqui está uma comparação entre os modelos Llama e ChatGPT:

Llama vs ChatGPT
Llama vs ChatGPT

O modelo Llama-2-70b-chat-hf se aproxima ou até supera o desempenho do GPT-3.5, o modelo original do ChatGPT, em múltiplos benchmarks.  Você pode encontrar mais detalhes aqui. Detalhes sobre os datasets e tarefas na seção de apêndice.

Custo de uso do Llama 2 em uma tarefa de exemplo

Muitos dos que colocaram aplicações baseadas na OpenAI em produção estão preocupados com os custos e com a sustentabilidade do dimensionamento dessas aplicações. Fizemos algumas comparações sobre o que é necessário para executar um Llama 2 e como ele se compara a alguns dos modelos da OpenAI.

Tarefa de exemplo: Suponha que quiséssemos pegar a Wikipédia em inglês (6 milhões de artigos, 1000 tokens cada) e resumi-los pela metade do tamanho usando LLMs. Cálculos detalhados podem ser encontrados neste blog. Aqui estão alguns pontos interessantes sobre o custo dessa tarefa com vários modelos:

  1. Fazer isso com o GPT-4 custaria cerca de $360k.
  2. A mesma tarefa com a variante GPT-3 Davinci (175B de parâmetros) custaria cerca de $180K e, se você usasse uma variante com fine-tuning do Davinci, seria >$1M.
  3. Por outro lado, se você usasse o modelo Curie (~7B de parâmetros), o custo seria de $18K e o custo com fine-tuning seria de ~$125k.
  4. Compare isso com o modelo Llama 2 de tamanho equivalente (variante 7B). Custaria ~$2k e sua versão com fine-tuning custaria ~$3k. Isso representa uma diferença de custo de cerca de 9x e 40x em modelos comparáveis entre as versões pré-treinadas e com fine-tuning, respectivamente.

Realizando o Deploy do modelo Llama-2-13b-chat

O modelo está disponível para uso através do Microsoft Azure, AWS e Huggingface. Você também pode fazer o deploy de modelos Llama-2 através da TrueFoundry com etapas mínimas.

Você precisa ter acesso aos modelos Llama-2 no Huggingface para implantá-lo na TrueFoundry. Encontre mais informações aqui. O catálogo de modelos da TrueFoundry está atualizado com os melhores e mais recentes LLMs open-source. Com o catálogo de modelos, tudo é pré-configurado para a implantação e você pode implantá-los em sua própria infraestrutura em nuvem com um único clique. Os modelos Llama-2 estarão disponíveis em breve no catálogo de modelos para deploy com um clique. Mas, enquanto isso, os usuários da TrueFoundry ainda podem implantar modelos Llama-2 conforme descrito abaixo.

  1. Na página de deployments, clique em New Deployment e escolha Service.
Llama 2 Deployment

2. Podemos usar a biblioteca Text Generation Interface do Huggingface para implantar este modelo. Escolha implantar a imagem text-generation-inference (ghcr.io/huggingface/text-generation-inference:0.9) e sobrescreva o comando com o comando para iniciar o modelo necessário (text-generation-launcher --model-id meta-llama/Llama-2-13b-chat-hf):

Llama 2 Deployment

3. Agora vamos definir o endpoint do modelo. O modelo será servido na porta 80, portanto vamos expô-la:

Deploying Llama 2

4. Como os modelos Llama-2 estão disponíveis apenas por meio de contas aprovadas, precisamos definir a chave de API do Huggingface como uma variável de ambiente. A chave deve ser HUGGING_FACE_HUB_TOKEN.

Observe que, na imagem, estamos usando indiretamente a chave de API do Huggingface criando uma secret na TrueFoundry. Você também pode colar o valor diretamente, mas não recomendamos isso.

Deploying Llama 2

5. Por fim, precisamos alocar recursos conforme exigido por este modelo. Escolhi implantar a versão do modelo 13b-chat em um nó com uma A100 de 40GB. Você pode configurar outros valores da seguinte forma:

Llama 2 Deployment

6. Clique em Submit e seu modelo será implantado e estará disponível no endpoint definido.

Fazer inferência usando o modelo implantado

Você pode chamar o endpoint generate para obter inferências usando o modelo que acabamos de implantar. Há também uma biblioteca Python text-generation que você pode usar com seu código Python para utilizar o modelo implantado.

Usando requisição HTTP:

Llama 2 Deployment

Usando o Cliente Python:

Using Llama 2 deployed model

Você pode encontrar mais informações sobre os clientes aqui.

LLM Playground da TrueFoundry

O LLM Playground da TrueFoundry pode ser usado para interagir e comparar o modelo que você implantou na TrueFoundry com outros modelos como o ChatGPT. Assim que o modelo Llama-2 for implantado, também poderemos testá-lo através do LLM Playground da TrueFoundry:

TrueFoundry's LLM Playground
LLM Playground da TrueFoundry

Converse conosco

Ainda estamos aprendendo sobre este tópico, assim como todos os outros. Caso você esteja tentando utilizar Large Language Models em sua organização, adoraríamos conversar e trocar experiências.

Tome um ☕️ conosco
‍

Apêndice : Detalhes sobre tarefas e métricas

MMLU significa Multi-task Multi-Lingual Language Understanding. É um benchmark que mede o desempenho de modelos de linguagem em uma variedade de tarefas, incluindo resposta a perguntas, inferência de linguagem natural e sumarização. A intuição por trás do MMLU é que os modelos de linguagem devem ser capazes de compreender e processar informações de várias maneiras, e que devem ser capazes de fazer isso em vários idiomas.

TriviaQA é um dataset de perguntas e respostas sobre tópicos factuais. É usado para medir a capacidade dos modelos de linguagem em responder a perguntas que exigem conhecimento factual. A intuição por trás do TriviaQA é que os modelos de linguagem devem ser capazes de acessar e processar informações de fontes externas, como a Wikipedia, para responder a perguntas factuais.

Natural Questions é um dataset de perguntas feitas por humanos sobre informações do mundo real. É usado para medir a capacidade dos modelos de linguagem em entender e responder a perguntas em linguagem natural. A intuição por trás do Natural Questions é que os modelos de linguagem devem ser capazes de entender as nuances da linguagem humana e gerar respostas relevantes e informativas.

GSM8k é um dataset de 8.000 perguntas geradas a partir de consultas do Google Search. É usado para medir a capacidade dos modelos de linguagem em entender e responder a perguntas semelhantes às que as pessoas fazem ao Google Search. A intuição por trás do GSM8k é que os modelos de linguagem devem ser capazes de entender a intenção das consultas humanas e gerar respostas relevantes e informativas.

HumanEval é um benchmark que mede o desempenho de modelos de linguagem em uma variedade de tarefas, solicitando que humanos avaliem os resultados dos modelos. A intuição por trás do HumanEval é que a avaliação humana é uma parte necessária para avaliar o desempenho dos modelos de linguagem, pois pode ajudar a identificar áreas onde os modelos ainda enfrentam dificuldades.

AGIEval é um benchmark que mede a capacidade dos modelos de linguagem em realizar tarefas que são tipicamente associadas à inteligência geral artificial. A intuição por trás do AGIEval é que os modelos de linguagem devem ser capazes de entender e raciocinar sobre o mundo de uma forma semelhante à dos humanos.

BoolQ é um dataset de perguntas que exigem lógica booleana para serem respondidas. É usado para medir a capacidade dos modelos de linguagem em entender e raciocinar com declarações lógicas. A intuição por trás do BoolQ é que os modelos de linguagem devem ser capazes de entender o significado de declarações lógicas e gerar respostas consistentes com essas declarações.

HellaSwag é um dataset de perguntas escritas em um estilo "swag", que é um tipo de linguagem informal frequentemente usada em redes sociais. É usado para medir a capacidade dos modelos de linguagem em entender e gerar linguagem natural em uma variedade de estilos. A intuição por trás do HellaSwag é que os modelos de linguagem devem ser capazes de entender e gerar linguagem natural adequada ao contexto em que está sendo usada.

OpenBookQA é um dataset de perguntas que podem ser respondidas consultando um grande corpus de texto. É usado para medir a capacidade dos modelos de linguagem em acessar e processar informações de fontes externas. A intuição por trás do OpenBookQA é que os modelos de linguagem devem ser capazes de acessar e processar informações de uma variedade de fontes para responder a perguntas.

QuAC é um dataset de perguntas feitas sobre conversas. É usado para medir a capacidade dos modelos de linguagem em entender e acompanhar o contexto de uma conversa. A intuição por trás do QuAC é que os modelos de linguagem devem ser capazes de entender o contexto de uma conversa e gerar respostas relevantes para essa conversa.

Winogrande é um dataset de perguntas desafiadoras para os modelos de linguagem responderem. É usado para medir a capacidade dos modelos de linguagem em entender e responder a perguntas complexas. A intuição por trás do Winogrande é que os modelos de linguagem devem ser capazes de entender e responder a perguntas complexas que exigem uma compreensão profunda do mundo.

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

agosto 26, 2026
|
5 min read

Gemini 3 Pro: Benchmarks e como usá-lo via Gateway

outubro 5, 2023
|
5 min read

<Webinar> Vitrine de GenAI para Empresas

Best Fine Tuning Tools for Model Training
maio 3, 2024
|
5 min read

As 6 Principais Ferramentas de Ajuste Fino (Fine-Tuning) para Treinamento de Modelos em 2026

julho 20, 2023
|
5 min read

LLMOps CoE: A próxima fronteira no cenário de MLOps

novembro 20, 2026
|
5 min read

AI Gateway Observability for Agents: Oodle on TrueFoundry

Integrations
novembro 20, 2026
|
5 min read

AI Gateway Security for Agents: Straiker on TrueFoundry

No items found.
novembro 18, 2026
|
5 min read

Limites do Claude Code Explicados (Edição 2026)

No items found.
Analyzing how Cloudflare detects MCP traffic
novembro 18, 2026
|
5 min read

How Cloudflare Detects MCP Traffic and Helps Secure It

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour