Compreendendo os plugins do ChatGPT

O ChatGPT é um poderoso modelo de linguagem que pode entender e responder às entradas dos usuários. Ele possui muitos recursos úteis integrados, mas às vezes os usuários precisam de funcionalidades adicionais que não estão disponíveis de imediato. É aí que entram os plugins.

Plugins são complementos que estendem as capacidades do ChatGPT. Eles permitem que os usuários acessem informações atualizadas, executem cálculos ou interajam com serviços de terceiros em resposta a uma solicitação do usuário. Por exemplo, um plugin poderia adicionar a capacidade de pesquisar informações dentro de um site específico ou integrar-se ao software CRM de um usuário.

Ou um plugin de calendário para o ChatGPT pode funcionar permitindo que os usuários agendem eventos e lembretes diretamente na interface de chat. Por exemplo, um usuário poderia digitar "agendar reunião com João na sexta-feira às 14h" e o ChatGPT pode reconhecer a intenção e comunicar-se com o plugin de calendário para criar o evento.

0:00/1×

Plugin Instacart para ChatGPT em ação

O plugin Instacart para ChatGPT é um plugin existente que permite aos usuários adicionar convenientemente ingredientes de receitas ao seu carrinho Instacart sem sair da interface de chat. Por exemplo, se um usuário perguntar "Quais ingredientes preciso para fazer lasanha?", o ChatGPT pode fornecer uma lista de ingredientes necessários para lasanha e oferecer-se para adicioná-los ao carrinho Instacart do usuário. O usuário pode então confirmar o pedido com um simples clique, e o plugin Instacart adicionará automaticamente todos os ingredientes necessários ao seu carrinho.

Como funcionam os Plugins?

Para criar um plugin, os desenvolvedores podem disponibilizar uma API através do seu website e criar um arquivo de manifesto que descreve a API de forma padronizada. O ChatGPT pode então ler esses arquivos e permitir que os modelos de IA se comuniquem com a API especificada pelo desenvolvedor. Um plugin típico inclui:

• API,
• um esquema no formato OpenAPI JSON ou YAML para a API,
• arquivo de manifesto para o plugin em formato JSON.

O ChatGPT usará o arquivo de manifesto e o esquema OpenAPI para entender o que o plugin faz e como interagir com ele. Então, quando o usuário solicitar algo ao ChatGPT, ele determinará se precisa interagir com algum plugin ativo para atender à solicitação e chamará os endpoints relevantes para cumprir os pedidos do usuário. Assim como ao solicitar outros modelos de linguagem, você vai querer testar múltiplos prompts e descrições no manifesto e no esquema da API para ver o que funciona melhor.

A OpenAI fornece código para um plugin de exemplo que pode pesquisar um DB vetorial como o Pinecone e retornar documentos relevantes. Ao responder às solicitações dos usuários, o ChatGPT pode usar este plugin para complementar seu conhecimento consultando documentos relevantes. Por exemplo, dentro de uma organização, o ChatGPT pode precisar consultar documentos internos da empresa para responder a perguntas relacionadas à empresa.

Para este plugin de recuperação de documentos, o arquivo de manifesto chamado ai-plugin.json terá uma aparência semelhante a esta:

Observe como existem campos como description_for_model e description_for_human. O description_for_model atributo dá-lhe a liberdade de instruir o modelo sobre como usar o seu plugin de forma geral. No geral, o modelo de linguagem por trás do ChatGPT é altamente capaz de compreender linguagem natural e seguir instruções. Portanto, este é um bom lugar para colocar instruções gerais sobre o que o seu plugin faz e como o modelo deve usá-lo corretamente.

Implementando um plugin

Iremos implementar o plugin de recuperação acima no TrueFoundry e conectá-lo ao ChatGPT. O plugin pode pesquisar bases de dados vetoriais como o Pinecone e retornar documentos relevantes.

💡

Note que precisará de acesso ao Plugin do ChatGPT para criar um plugin. Pode solicitar acesso para um aqui.

Clonar o repositório do Github

Para implementar esta aplicação, precisará de clonar este repositório. Isto é necessário, uma vez que eventualmente teremos de atualizar o esquema OpenAPI e o manifesto com os URLs subsequentes da aplicação do plugin implementada.

Configurando a DB vetorial: Pinecone

Pinecone é uma base de dados vetorial gerida, construída para velocidade, escala e para ser lançada em produção mais rapidamente. Para usar o Pinecone como seu fornecedor de base de dados vetorial, primeiro obtenha uma chave API ao criar uma conta. Pode aceder à sua chave API na secção "API Keys" na barra lateral do seu painel de controlo. O Pinecone também suporta pesquisa híbrida e, no momento da escrita, é o único armazenamento de dados a suportar vetores esparsos SPLADE nativamente.

Um guia completo em Jupyter notebook para a versão Pinecone do plugin de recuperação pode ser encontrado aqui. Há também um vídeo explicativo aqui.

A aplicação criará um índice Pinecone automaticamente para você na primeira vez que a executar. Basta escolher um nome para o seu índice e defini-lo como uma variável de ambiente ao implantar a aplicação.

Implantando a aplicação no TrueFoundry

Agora vamos implantar a aplicação no TrueFoundry.

1. Crie uma conta gratuita com TrueFoundry e crie um novo espaço de trabalho com um nome exclusivo.

2.  Ao usar o DB de vetor Pinecone, você precisará das seguintes variáveis de ambiente. O token de portador será usado para autenticar solicitações aos endpoints.

NomeObrigatórioDescriçãoDATASTORESimNome do datastore, defina-o como pineconeBEARER_TOKENSimSeu token secreto para autenticar solicitações à APIOPENAI_API_KEYSimSua chave de API OpenAI para gerar embeddings com o modelo text-embedding-ada-002PINECONE_API_KEYSimSua chave de API Pinecone, encontrada no console PineconePINECONE_ENVIRONMENTSimSeu ambiente Pinecone, encontrado no console Pinecone, por exemplo, us-west1-gcp, us-east-1-aws, etc.PINECONE_INDEXSimO nome do índice Pinecone escolhido. Nota: O nome do índice deve consistir em caracteres alfanuméricos minúsculos ou '-'

Vá para o TrueFoundry console de segredos. Crie um novo grupo de segredos e crie segredos para usar como variáveis de ambiente.

3. Vá para o console de implantação. Crie um novo serviço em seu espaço de trabalho.

4. No formulário de criação de serviço, defina a origem para a URL do repositório que você acabou de clonar e a compilação para compilação DockerFile.

5. No formulário, defina a porta como 8080 e escolha um endpoint adequado para o seu serviço:

6. Adicione as variáveis de ambiente e defina-as para os segredos que acabou de criar.

7. Faça o deploy e o seu webapp e endpoint do plugin deverão aparecer na aba de deployments. Usaremos o endpoint gerado aqui para registrar o plugin na OpenAI para usar com o ChatGPT:

8. Vá para o seu repositório do Github e atualize o URL da aplicação tanto no esquema OpenAPI quanto no manifesto localizados na ./well-known pasta. Uma vez atualizado, você pode editar o deployment no TrueFoundry para o commit mais recente e fazer o re-deploy a partir da aba de deployments.

Testando o plugin

Depois de ter criado a API, o arquivo de manifesto e a especificação OpenAPI para a sua API, você está pronto para conectar o plugin através da interface do ChatGPT.

Para a interface do ChatGPT, primeiro selecione “Desenvolver o seu próprio plugin” para configurá-lo e depois “Instalar um plugin não verificado” para instalá-lo para si mesmo.

Primeiro, você precisará fornecer o endpoint para o seu serviço de API. Você pode obter isso na aba de deployments. Em segundo lugar, você precisará fornecer o token de portador usado para autenticar as requisições da API. Uma vez feito isso, o plugin deverá estar pronto para uso com o ChatGPT (apenas para você, já que não é verificado!).