Llama 2 LLM: Fazer Deploy e Fine-Tuning na sua nuvem

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
O momento ChatGPT do mundo open source chegou — a Meta lançou seu mais recente conjunto de modelos de linguagem grandes open-source, chamado Llama 2 — uma coleção de modelos de texto gerativo pré-treinados e com fine-tuning variando em escala de 7 bilhões a 70 bilhões de parâmetros.
Fatos Curiosos e Mnemônicos sobre o Llama 2
- O Llama 2 é treinado em dados online publicamente disponíveis com cerca de 2T de tokens. Isso é >300x toda a Wikipédia em inglês.
- O Llama 2 foi treinado em 1M de anotações humanas — compare isso com 15k de datasets rotulados para o Dolly da Databricks.
- O tempo para treinar as variantes 7B, 13B e 70B é relatado como 184k, 368k e 1.7M de horas de GPU com A100-80GB. É interessante notar que isso se aproxima de cerca de 1000 GPU-semanas para cada 1B de parâmetros. Portanto, 70 semanas de treinamento se você estivesse usando 1000 GPUs em paralelo para o modelo de 70B.
- O custo em GPU apenas para treinar esses modelos seria de cerca de $800k, $1.5M e $8M, respectivamente. Um total de $10M em GPUs para a execução final! :)
- Os dados de pré-treinamento são estáticos e atualizados até setembro de 2022, mas o fine-tuning foi realizado com dados recentes até julho de 2023.
- A janela de contexto é de 4k para as 3 variantes: 7B, 10B e 70B.
Por que você deveria se importar?
- Bem, para começar, ele está disponível gratuitamente para pesquisa e fins comerciais — o primeiro modelo desse tipo com qualidade comparável ao ChatGPT, respaldado por uma Big Tech e pronto para ser implantado e ajustado hoje mesmo. (A menos que você tenha >700M de usuários ativos mensais no mês de calendário anterior, caso em que precisará obter uma licença da Meta para utilizá-lo!)
- As versões ajustadas, chamadas Llama-2-Chat, são otimizadas para casos de uso de diálogo. Os modelos Llama-2-Chat superam outros modelos de chat open-source na maioria dos benchmarks e estão no mesmo nível de alguns modelos populares de código fechado, como ChatGPT e PaLM, nas avaliações humanas de utilidade e segurança.
- Para todos aqueles que estavam aguardando aprovações jurídicas e de compliance para usar serviços comerciais de código fechado como a OpenAI, e ficaram desapontados com a qualidade de resposta das gerações anteriores de LLMs Open Source — aqui está a sua resposta. Mais importante ainda, é uma confirmação de que os LLMs Open Source vieram para ficar e continuarão a evoluir.
Benchmarks de Qualidade do Llama 2
O Llama 2 demonstra um desempenho notável em vários benchmarks de LLM. Aqui está uma comparação entre os modelos Llama e ChatGPT:

O modelo Llama-2-70b-chat-hf se aproxima ou até supera o desempenho do GPT-3.5, o modelo original do ChatGPT, em múltiplos benchmarks. Você pode encontrar mais detalhes aqui. Detalhes sobre os datasets e tarefas na seção de apêndice.
Custo de uso do Llama 2 em uma tarefa de exemplo
Muitos dos que colocaram aplicações baseadas na OpenAI em produção estão preocupados com os custos e com a sustentabilidade do dimensionamento dessas aplicações. Fizemos algumas comparações sobre o que é necessário para executar um Llama 2 e como ele se compara a alguns dos modelos da OpenAI.
Tarefa de exemplo: Suponha que quiséssemos pegar a Wikipédia em inglês (6 milhões de artigos, 1000 tokens cada) e resumi-los pela metade do tamanho usando LLMs. Cálculos detalhados podem ser encontrados neste blog. Aqui estão alguns pontos interessantes sobre o custo dessa tarefa com vários modelos:
- Fazer isso com o GPT-4 custaria cerca de $360k.
- A mesma tarefa com a variante GPT-3 Davinci (175B de parâmetros) custaria cerca de $180K e, se você usasse uma variante com fine-tuning do Davinci, seria >$1M.
- Por outro lado, se você usasse o modelo Curie (~7B de parâmetros), o custo seria de $18K e o custo com fine-tuning seria de ~$125k.
- Compare isso com o modelo Llama 2 de tamanho equivalente (variante 7B). Custaria ~$2k e sua versão com fine-tuning custaria ~$3k. Isso representa uma diferença de custo de cerca de 9x e 40x em modelos comparáveis entre as versões pré-treinadas e com fine-tuning, respectivamente.
Realizando o Deploy do modelo Llama-2-13b-chat
O modelo está disponível para uso através do Microsoft Azure, AWS e Huggingface. Você também pode fazer o deploy de modelos Llama-2 através da TrueFoundry com etapas mínimas.
Você precisa ter acesso aos modelos Llama-2 no Huggingface para implantá-lo na TrueFoundry. Encontre mais informações aqui. O catálogo de modelos da TrueFoundry está atualizado com os melhores e mais recentes LLMs open-source. Com o catálogo de modelos, tudo é pré-configurado para a implantação e você pode implantá-los em sua própria infraestrutura em nuvem com um único clique. Os modelos Llama-2 estarão disponíveis em breve no catálogo de modelos para deploy com um clique. Mas, enquanto isso, os usuários da TrueFoundry ainda podem implantar modelos Llama-2 conforme descrito abaixo.
- Na página de deployments, clique em
New Deploymente escolhaService.

2. Podemos usar a biblioteca Text Generation Interface do Huggingface para implantar este modelo. Escolha implantar a imagem text-generation-inference (ghcr.io/huggingface/text-generation-inference:0.9) e sobrescreva o comando com o comando para iniciar o modelo necessário (text-generation-launcher --model-id meta-llama/Llama-2-13b-chat-hf):

3. Agora vamos definir o endpoint do modelo. O modelo será servido na porta 80, portanto vamos expô-la:

4. Como os modelos Llama-2 estão disponíveis apenas por meio de contas aprovadas, precisamos definir a chave de API do Huggingface como uma variável de ambiente. A chave deve ser HUGGING_FACE_HUB_TOKEN.
Observe que, na imagem, estamos usando indiretamente a chave de API do Huggingface criando uma secret na TrueFoundry. Você também pode colar o valor diretamente, mas não recomendamos isso.

5. Por fim, precisamos alocar recursos conforme exigido por este modelo. Escolhi implantar a versão do modelo 13b-chat em um nó com uma A100 de 40GB. Você pode configurar outros valores da seguinte forma:

6. Clique em Submit e seu modelo será implantado e estará disponível no endpoint definido.
Fazer inferência usando o modelo implantado
Você pode chamar o endpoint generate para obter inferências usando o modelo que acabamos de implantar. Há também uma biblioteca Python text-generation que você pode usar com seu código Python para utilizar o modelo implantado.
Usando requisição HTTP:

Usando o Cliente Python:

Você pode encontrar mais informações sobre os clientes aqui.
LLM Playground da TrueFoundry
O LLM Playground da TrueFoundry pode ser usado para interagir e comparar o modelo que você implantou na TrueFoundry com outros modelos como o ChatGPT. Assim que o modelo Llama-2 for implantado, também poderemos testá-lo através do LLM Playground da TrueFoundry:

Converse conosco
Ainda estamos aprendendo sobre este tópico, assim como todos os outros. Caso você esteja tentando utilizar Large Language Models em sua organização, adoraríamos conversar e trocar experiências.
Tome um ☕️ conosco
Apêndice : Detalhes sobre tarefas e métricas
MMLU significa Multi-task Multi-Lingual Language Understanding. É um benchmark que mede o desempenho de modelos de linguagem em uma variedade de tarefas, incluindo resposta a perguntas, inferência de linguagem natural e sumarização. A intuição por trás do MMLU é que os modelos de linguagem devem ser capazes de compreender e processar informações de várias maneiras, e que devem ser capazes de fazer isso em vários idiomas.
TriviaQA é um dataset de perguntas e respostas sobre tópicos factuais. É usado para medir a capacidade dos modelos de linguagem em responder a perguntas que exigem conhecimento factual. A intuição por trás do TriviaQA é que os modelos de linguagem devem ser capazes de acessar e processar informações de fontes externas, como a Wikipedia, para responder a perguntas factuais.
Natural Questions é um dataset de perguntas feitas por humanos sobre informações do mundo real. É usado para medir a capacidade dos modelos de linguagem em entender e responder a perguntas em linguagem natural. A intuição por trás do Natural Questions é que os modelos de linguagem devem ser capazes de entender as nuances da linguagem humana e gerar respostas relevantes e informativas.
GSM8k é um dataset de 8.000 perguntas geradas a partir de consultas do Google Search. É usado para medir a capacidade dos modelos de linguagem em entender e responder a perguntas semelhantes às que as pessoas fazem ao Google Search. A intuição por trás do GSM8k é que os modelos de linguagem devem ser capazes de entender a intenção das consultas humanas e gerar respostas relevantes e informativas.
HumanEval é um benchmark que mede o desempenho de modelos de linguagem em uma variedade de tarefas, solicitando que humanos avaliem os resultados dos modelos. A intuição por trás do HumanEval é que a avaliação humana é uma parte necessária para avaliar o desempenho dos modelos de linguagem, pois pode ajudar a identificar áreas onde os modelos ainda enfrentam dificuldades.
AGIEval é um benchmark que mede a capacidade dos modelos de linguagem em realizar tarefas que são tipicamente associadas à inteligência geral artificial. A intuição por trás do AGIEval é que os modelos de linguagem devem ser capazes de entender e raciocinar sobre o mundo de uma forma semelhante à dos humanos.
BoolQ é um dataset de perguntas que exigem lógica booleana para serem respondidas. É usado para medir a capacidade dos modelos de linguagem em entender e raciocinar com declarações lógicas. A intuição por trás do BoolQ é que os modelos de linguagem devem ser capazes de entender o significado de declarações lógicas e gerar respostas consistentes com essas declarações.
HellaSwag é um dataset de perguntas escritas em um estilo "swag", que é um tipo de linguagem informal frequentemente usada em redes sociais. É usado para medir a capacidade dos modelos de linguagem em entender e gerar linguagem natural em uma variedade de estilos. A intuição por trás do HellaSwag é que os modelos de linguagem devem ser capazes de entender e gerar linguagem natural adequada ao contexto em que está sendo usada.
OpenBookQA é um dataset de perguntas que podem ser respondidas consultando um grande corpus de texto. É usado para medir a capacidade dos modelos de linguagem em acessar e processar informações de fontes externas. A intuição por trás do OpenBookQA é que os modelos de linguagem devem ser capazes de acessar e processar informações de uma variedade de fontes para responder a perguntas.
QuAC é um dataset de perguntas feitas sobre conversas. É usado para medir a capacidade dos modelos de linguagem em entender e acompanhar o contexto de uma conversa. A intuição por trás do QuAC é que os modelos de linguagem devem ser capazes de entender o contexto de uma conversa e gerar respostas relevantes para essa conversa.
Winogrande é um dataset de perguntas desafiadoras para os modelos de linguagem responderem. É usado para medir a capacidade dos modelos de linguagem em entender e responder a perguntas complexas. A intuição por trás do Winogrande é que os modelos de linguagem devem ser capazes de entender e responder a perguntas complexas que exigem uma compreensão profunda do mundo.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.



















.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






