Fine Tuning: Modelos da OpenAI + Seus Dados do Confluence

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Se o ChatGPT é o iPhone, a AppStore ainda está por ser construída — e essa será uma suíte de aplicações verticais desenvolvidas sobre ele. Cada setor, cada empresa e cada indivíduo construirá essas aplicações de maneiras pequenas e grandes. Desde a criação de um ChatGPT específico para a saúde ou manufatura, até a redação de e-mails de marketing para domínios específicos, passando pelo atendimento a dúvidas de empresas com base no conhecimento interno, até a criação de mecanismos de busca pessoais para responder a perguntas como: qual é o endereço do John ou quando é o aniversário da minha sogra? Escrevemos vários exemplos em nosso post anterior do blog.
Por que o ChatGPT não é suficiente por si só para essas aplicações verticais?
Para entender isso, é importante compreender a diferença entre a web visível (clear web) e a web profunda (deep web):
- Clear Web: páginas da web publicamente acessíveis e indexadas por motores de busca, como Wikipedia, livros, posts em redes sociais, etc.
- Deep Web: parte da internet que fica atrás de um sistema de autenticação, como seu e-mail ou plataformas SaaS. Isso constitui 96% da web.
Modelos como o ChatGPT são treinados em um conjunto de dados massivo, mas apenas no que está disponível na clear web. Portanto, você não pode fazer uma pergunta cuja resposta dependa de algo na deep web, como seus e-mails ou documentos privados. No entanto, no processo de aprendizado a partir desse dataset massivo da clear web, modelos como o ChatGPT desenvolvem tanta inteligência sobre a linguagem e a semântica que fica muito mais fácil para eles aprenderem novas informações com pequenas quantidades de dados para uma tarefa específica.
Entra em cena o fine-tuning
O fine-tuning é uma técnica poderosa que nos permite aproveitar o conhecimento e o aprendizado de um modelo pré-treinado como o ChatGPT para melhorar o desempenho do modelo em uma nova tarefa, treinando-o em um dataset menor e específico para essa tarefa. Por exemplo, digamos que você queira criar um sistema de Perguntas e Respostas para os documentos internos da sua empresa armazenados no Confluence. Você pode passar todo o conteúdo em texto do seu Confluence e fazer o fine-tuning de um modelo GPT com eles.
Parece simples. Por que todo mundo não está fazendo isso?
Embora a OpenAI tenha reduzido muito a fricção por meio de suas APIs de fine-tuning, o processo ainda exige uma quantidade considerável de reflexão, planejamento e esforço em diferentes eixos:
Preparação de Dados
Os dados necessários para o fine-tuning dos modelos precisam estar em um formato específico de pares prompt-completion.
{“prompt”: <prompt-text>, “completion”: <ideal generated text>}
Alguns pontos a considerar:
- Não é trivial pegar documentos arbitrários, como as páginas do Confluence da empresa, e convertê-los em exemplos de alta qualidade no formato acima.
- Você precisa de poucas centenas de prompts, no mínimo, o que exige esforço humano e conhecimento especializado no assunto.
- Separadores cuidadosos marcando o início e o fim do prompt e das completions, que não apareçam no texto. Você também precisa garantir que os prompts de entrada posteriores usem os mesmos delimitadores.
- Aumentar o número de exemplos melhora o desempenho do modelo.
- Algo tão simples quanto adicionar um espaço antes do início da completion pode melhorar o desempenho.
Seleção do Modelo
A OpenAI oferece múltiplos modelos que podem passar por fine-tuning, e cada um possui prós e contras que precisam ser avaliados:
- Ada: Modelos menores e mais rápidos são fáceis de ajustar via fine-tuning e funcionam bem em várias tarefas, como classificação, geração de linguagem e perguntas e respostas. Dado que possui menos parâmetros, também tem um desempenho menor que os outros e pode comprometer a precisão.
- Curie: Maior e mais poderoso que o Ada, além de ser de uso geral. Torna-se mais difícil de fazer fine-tuning em datasets menores devido ao grande número de parâmetros.
- Babbage: Projetado para tarefas de NLP que exigem conhecimento especializado, como direito ou medicina, podendo passar por um fine-tuning muito eficiente. Não é tão de uso geral e não é adequado para fine-tuning em datasets maiores ou tarefas mais complexas.
- Davinci: O maior e mais poderoso modelo de uso geral. Muito difícil de treinar em hardware menos potente e deve ser usado para tarefas complexas de NLP.
Nota: Você também pode fazer o fine-tuning incremental de um modelo que já passou por fine-tuning anteriormente. Existe uma limitação de tempo devido às mudanças nas APIs, exigindo que os modelos tenham passado por fine-tuning após 21 de abril de 2022.
Seleção de Hiperparâmetros
Tentamos usar as APIs de fine-tuning da OpenAI com os parâmetros padrão e eles funcionaram muito bem em algumas tarefas, mas conseguimos melhorias de até 40% ajustando os hiperparâmetros.
- Learning Rate Multiplier: o padrão é 0.05, 0.1 ou 0.2, dependendo do batch_size final. A taxa de aprendizado do fine-tuning é a taxa de aprendizado original usada no pré-treinamento multiplicada por este multiplicador. A taxa de aprendizado determina a rapidez com que o modelo ajusta seus pesos durante o treinamento. Uma taxa de aprendizado muito alta pode fazer com que o modelo converta para uma solução subótima, enquanto uma taxa muito baixa pode fazer com que o modelo converta muito devagar ou fique preso em um mínimo local. A OpenAI recomenda usar taxas de aprendizado maiores para tamanhos de lote maiores, mas operando tipicamente entre 0.02 e 0.2.
- Batch Size: o padrão é de ~0,2% do número de exemplos no conjunto de treinamento, limitado a 256. O tamanho do lote determina quantos exemplos são processados em cada iteração de treinamento. Um tamanho de lote maior pode levar a tempos de treinamento mais rápidos, mas também pode fazer com que o modelo passe por overfitting ou resulte em maior uso de memória. Geralmente é recomendado usar um tamanho de lote o maior possível sem causar uso excessivo de memória.
- Number of Epochs: o padrão é 4. O número de épocas determina quantas vezes o modelo será treinado em todo o dataset. Poucas épocas podem resultar em underfitting, enquanto muitas épocas podem resultar em overfitting. É recomendado monitorar o desempenho do modelo em um conjunto de validação e interromper o treinamento quando o desempenho parar de melhorar.
- Prompt Loss Weight: o padrão é 0.01. O peso a ser usado para a perda nos tokens do prompt. Isso controla o quanto o modelo tenta aprender a gerar o prompt (em comparação com a completion, que sempre tem peso 1.0), e pode adicionar um efeito estabilizador ao treinamento quando as completions são curtas. Para prompts curtos, a OpenAI recomenda aumentar esse número, enquanto para prompts longos, um peso pequeno funciona melhor.
- Model: o padrão é o curie. A tabela de seleção de modelos descrita acima também é um hiperparâmetro, mas achamos que merecia um destaque especial dada a sua importância como ponto de partida neste processo.
Considerações de Custo
Os custos de fine-tuning variam muito dependendo dos parâmetros que você escolhe, por isso é muito importante ter uma compreensão sólida.
📌
Para 1M de tokens:
- Ada: $0,4
- Babbage: $0,6
- Curie: $3
- Davinci: $30.
- 1 token equivale a cerca de 4 caracteres ou 0,75 palavras.
- O Davinci é quase 100x mais caro que o Ada.
- O Curie é 10x mais caro que o Ada e é o modelo padrão.
- Para colocar em perspectiva, a Wikipedia tem cerca de 5 bilhões de tokens, portanto o fine-tuning do Curie custaria impressionantes $15.000. Esta é apenas uma afirmação acadêmica, pois esses modelos já são pré-treinados na Wikipedia. Por favor, economize seu dinheiro.
- O número de tokens de treinamento também depende das suas épocas de treinamento. Basicamente, total de tokens de treinamento = tokens no seu arquivo * número de épocas.
📌
Usar modelos que passaram por fine-tuning é significativamente mais caro (~5x) do que suas contrapartes pré-treinadas.
Para 1M de tokens:
- Ada: $1,6 vs $0,4
- Babbage: $2,4 vs $0,5
- Curie: $12 vs $2
- DaVinci: $120 vs $20
Ao usar o modelo, parâmetros como best_of e n também afetam seu custo, pois você acaba gerando múltiplas completions para um único prompt. Considere usar max_response_length para economizar custos ou reduzir o uso dos parâmetros best_of e n.
Estudo de Caso: Fine-Tuning com Documentos do Confluence
Construir um modelo com fine-tuning para nosso próprio dataset do Confluence não foi simples. Envolveu o seguinte processo de 4 etapas:

Coleta de Dados
Exigiu um certo esforço para descobrir como ler todos os dados do Confluence por meio de suas APIs, pois o Confluence possui dados ricos com tabelas, cabeçalhos e subcabeçalhos, e eu precisei converter tudo em texto simples para facilitar o uso. Além disso, gerenciar permissões e o nível correto de acesso não foi simples. Finalmente, conseguimos criar um formulário muito simples onde você envia a URL, nome de usuário e chave de API, e nós buscamos os dados.
Pré-processamento de Dados
Esta foi a parte mais difícil. Aqui tentamos várias abordagens:
- Divisão aleatória de frases: com base no número de palavras nos prompts e completions.
- Expressões Regulares (Regex): Separando frases com base em palavras como "e", "mas", "no entanto", etc.
- ChatGPT: Fornecendo contexto ao ChatGPT e pedindo para ele gerar perguntas.

Por fim, selecionamos a maioria dos pares a partir da opção nº 3, mas também incluímos algumas amostras aleatórias das opções nº 1 e nº 2. Para o nosso dataset, geramos mais de 50.000 pares de prompts e completions com uma extensão média de 17 palavras para o prompt e 133 palavras para a resposta, totalizando 150 palavras por par. Idealmente, essa etapa exigiria muito mais experimentação.

Fine-tuning do Modelo
Experimentamos diferentes modelos e hiperparâmetros e percebemos que o Curie tende a ter um desempenho melhor do que o Ada ou o Babbage, mas sentimos que o Ada era suficiente considerando a relação custo-benefício. Não tentamos o Davinci. Tivemos que ajustar a taxa de aprendizado e fixamos em 0.05, enquanto executamos o modelo por 6 épocas. O custo de treinamento de 1 execução do Curie foi de cerca de $30 e do Ada foi de cerca de $4. No geral, através de vários experimentos, gastamos cerca de $400 em créditos da OpenAI para o fine tuning — também tivemos algumas execuções ruins.

Testes
Notamos que o modelo com fine-tuning teve um desempenho estritamente superior ao modelo original em perguntas relacionadas ao nosso dataset interno. Nossa equipe testou cerca de 100 prompts e os avaliou manualmente. Isso não é científico, mas funcionou para este caso de uso simples. Curiosamente, notamos que, em alguns casos, o modelo com fine-tuning teve um desempenho pior do que o modelo original para consultas gerais. Ainda precisamos investigar o que está acontecendo aqui.

Este foi um exercício divertido e trabalharemos na experimentação de fine-tuning em outros datasets.
📌
Se você quiser algum dataset específico, ou quiser que eu libere esta aplicação para ser usada no seu próprio Confluence, entre em contato comigo em nikunj@truefoundry.com
A TrueFoundry é uma PaaS de Implantação de ML sobre o Kubernetes para acelerar os fluxos de trabalho dos desenvolvedores, permitindo flexibilidade total no teste e na implantação de modelos, garantindo total segurança e controle para a equipe de Infraestrutura. Através de nossa plataforma, capacitamos equipes de Machine Learning a implantar e monitorar modelos em 15 minutos com 100% de confiabilidade, escalabilidade e a capacidade de realizar rollback em segundos — permitindo economizar custos e lançar modelos em produção mais rápido, gerando valor real para os negócios.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.



















.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






