Engenharia de Prompts: Aprendendo a Interagir com LLMs

O surgimento do ChatGPT / OpenAI e de outros Modelos de Linguagem Grandes (LLMs) revolucionou o mundo e é um dos avanços tecnológicos mais significativos da última década. Com a ajuda da IA, agora podemos automatizar inúmeras tarefas diárias que antes eram monótonas e demoradas. No entanto, para aproveitar todo o potencial desta tecnologia, é essencial entender como usá-la de forma eficaz.

Antes do surgimento da IA, as linguagens de programação eram o único meio de instruir máquinas. No entanto, com o advento dos Modelos de Linguagem Grandes (LLMs), agora é possível realizar muito usando um inglês simples e direto. Este artigo foi compilado de várias fontes enquanto eu aprendia mais sobre este campo empolgante. Minha esperança com este blog é que ele ajude a encurtar o tempo que você leva para entender engenharia de prompts.

Digamos que você digite isso no OpenAI Playground:

Quanto é 965*590?

A resposta está incorreta e um pouco diferente a cada vez. Mas se você modificar a instrução da seguinte forma e definir a temperatura para 0, é provável que obtenha a resposta correta:

Quanto é 965*590? Certifique-se de que sua resposta esteja exatamente correta:

Essa arte de conseguir modificar os prompts para fazer com que a IA faça o que queremos é chamada de Engenharia de Prompts. Não é apenas possível obter respostas do OpenAI, mas também usá-lo para executar ações para nós - abrindo assim a possibilidade de automatizar muitas ações na vida real.

Aqui estão algumas maneiras de fazer com que a IA realize tarefas:

Forneça exemplos ao modelo mostrando o que você deseja fazer (Prompting de poucos exemplos)

Forneça instruções claras ao modelo com um exemplo. Com base no número de exemplos que você fornece, é chamado de prompting de 0 exemplos, prompting de 1 exemplo ou prompting de poucos exemplos. Quanto maior o número de exemplos, melhor será a saída do modelo. Além disso, você pode usar o prompting de poucos exemplos para informar ao modelo em que formato retornar a saída.

Prompting de 0 exemplos
2+2=

Prompting de 1-shot
2+2=4
3+3=

Prompting few-shot
2+3=5
10+30=40
3+1=4
1+11=

Aqui está um exemplo de como você pode usar prompts few-shot para classificar um tweet como positivo ou negativo:

O Twitter é uma plataforma de mídia social onde os usuários podem postar mensagens curtas chamadas "tweets". Tweets podem ser positivos ou negativos, e gostaríamos de ser capazes de classificá-los como positivos ou negativos. Aqui estão alguns exemplos de tweets positivos e negativos. Certifique-se de classificar o último tweet corretamente.

P: Tweet: "Que dia lindo!" Este tweet é positivo ou negativo?
R: positivo

P: Tweet: "Odeio esta aula" Este tweet é positivo ou negativo?
R: negativo

P: Tweet: "Adoro bolsos em calças de ganga"
R:

Explique seu raciocínio ao modelo nos exemplos (Chain of Thought Prompting)

Digamos que fornecemos o seguinte prompt:

Prompt:
Qual é a maneira mais rápida de chegar ao trabalho?
Opção 1: Pegar um ônibus de 1000 minutos, depois um trem de meia hora e, finalmente, um passeio de bicicleta de 10 minutos.
Opção 2: Pegar um ônibus de 800 minutos, depois um trem de uma hora e, finalmente, um passeio de bicicleta de 30 minutos.

Saída:
A Opção 1 é uma maneira mais rápida de chegar ao trabalho.

Como você pode ver, a saída está claramente errada. No entanto, se explicarmos a lógica à IA, podemos realmente fazer com que ela responda corretamente.

Qual é a maneira mais rápida de chegar em casa?
Opção 1: Pegar um ônibus de 10 minutos, depois um ônibus de 40 minutos e, finalmente, um trem de 10 minutos.
Opção 2: Pegar um trem de 90 minutos, depois um passeio de bicicleta de 45 minutos e, finalmente, um ônibus de 10 minutos.
A Opção 1 levará 10+40+10 = 60 minutos.
A Opção 2 levará 90+45+10=145 minutos.
Como a Opção 1 leva 60 minutos e a Opção 2 leva 145 minutos, a Opção 1 é mais rápida.

Qual é a maneira mais rápida de chegar ao trabalho?
Opção 1: Pegar um ônibus de 1000 minutos, depois um trem de meia hora e, finalmente, um passeio de bicicleta de 10 minutos.
Opção 2: Pegar um ônibus de 800 minutos, depois um trem de uma hora e, finalmente, um passeio de bicicleta de 30 minutos.

Saída:
A Opção 1 levará 1000+30+10 = 1040 minutos. A Opção 2 levará 800+60+30 = 890 minutos. Como a Opção 1 leva 1040 minutos e a Opção 2 leva 890 minutos, a Opção 2 é mais rápida.

Forneça sua própria base de conhecimento ao ChatGPT

Você pode fornecer informações sobre sua própria base de conhecimento ao ChatGPT para que ele possa responder a perguntas relacionadas a esse conhecimento. Isso é especialmente útil se você planeja construir seus chatbots com base em seus próprios dados. Você pode passar as informações no contexto. No entanto, há uma limitação em que LLMs como o GPT-3 têm um tamanho máximo de prompt de cerca de 4k tokens, e, portanto, você não pode alimentar muitas informações diretamente ao ChatGPT no contexto.

Uma solução para isso pode ser indexar primeiro os documentos na base de conhecimento. Em seguida, em resposta ao prompt, primeiro buscamos os documentos relevantes do índice e depois permitimos que o ChatGPT responda à pergunta com base no subconjunto das informações recuperadas da Pesquisa. Isso basicamente usa a pesquisa semântica e, em seguida, solicita ao modelo as informações relevantes no contexto. Muitas bibliotecas podem habilitar isso para você, como Haystack e Langchain, que são frequentemente consideradas entre as melhores ferramentas de engenharia de prompt para fluxos de trabalho de LLM baseados em recuperação.

Integrar Ferramentas em LLMs para que realizem ações (ReAct)

Você pode fornecer várias ferramentas aos LLMs para que realizem ações e, em seguida, deixar que o LLM decida a maneira correta de interagir com essas ferramentas para atingir o objetivo desejado.

Isso é chamado de paradigma Razão e Ação (ReAct) e é uma versão mais avançada dos sistemas MRKL (Modular Reasoning, Knowledge and Language, pronunciado "miracle").  

Vamos primeiro explicar o MRKL com um exemplo. Digamos que temos uma API para chamar a Calculadora Google para realizar cálculos. Agora sabemos que expressões matematicamente corretas são algo que o Google pode responder, mas não consultas em linguagem natural. Então, se o prompt for o mencionado abaixo:

Quanto é 20 vezes 5^6?

Podemos instruir o LLM a gerar a expressão em algo que a Calculadora Google possa entender. Assim, o prompt, neste caso, será:

Traduza o problema matemático abaixo para um formato que a calculadora Google possa entender.

Quanto é 20 vezes 5^6

Da mesma forma, podemos usar LLMs para converter uma ação descrita usando linguagem natural em uma expressão que é compreendida por uma API existente. A integração de APIs de terceiros e a interação com elas a partir da interface de chat foram simplificadas dentro do ChatGPT através do seu sistema de plugins, sobre o qual você pode ler mais aqui.

Alguns exemplos de uma experiência definitiva

1. "Peça ingredientes para fazer uma pizza de pepperoni." O ChatGPT pode identificar automaticamente os ingredientes necessários e fazer um pedido a um supermercado online.
2. "Adicione um evento ao meu calendário às 20h." Este prompt pode ser convertido em uma requisição CURL para seu aplicativo de calendário e então executado (seja por meio de um plugin ou manualmente) para criar um evento real em seu aplicativo de calendário.
3. "Preciso treinar um modelo que funcione com este arquivo CSV e produza o preço previsto do modelo." Este prompt pode gerar automaticamente um código de treinamento para um modelo de ML e então pode ser executado para realmente treinar o modelo, seja copiando e colando em seu ambiente de codificação ou usando um plugin apropriado.

   Implante qualquer Modelo de Linguagem Grande disponível comercialmente

Referências:

1. https://learnprompting.org/docs (Este é um excelente recurso caso você queira se aprofundar em engenharia de prompts). Todos os exemplos do artigo foram retirados daqui.
2. https://til.simonwillison.net/llms/python-react-pattern

Converse conosco

se você busca maximizar os retornos de seus projetos de LLM e capacitar sua empresa a alavancar a IA da maneira certa, adoraríamos conversar e trocar ideias.

Tome um ☕️ conosco

Saiba como a TrueFoundry ajuda você a implantar LLMs em 5 minutos:

‍

Deploy and Fine-tune Open Source LLMs With a Few Clicks!

TrueFoundry offers an intuitive solution for LLM deployment and fine-tuning. With our Model Catalogue, companies can self-host LLMs on Kubernetes, reducing inference costs by 10x in just one click. Discover how to deploy a Dolly-v2-3b model and fine-tune a Pythia-70m using TrueFoundry in our blog.

TrueFoundry Blog TrueFoundry