ChatGPT-Plugins verstehen

ChatGPT ist ein leistungsstarkes Sprachmodell, das Benutzereingaben verstehen und darauf reagieren kann. Es hat viele nützliche Funktionen eingebaut, aber manchmal benötigen Benutzer zusätzliche Funktionen, die nicht sofort verfügbar sind. Hier kommen Plugins ins Spiel.

Plugins sind Add-Ons, die die Funktionen von ChatGPT erweitern. Sie ermöglichen es Benutzern, auf aktuelle Informationen zuzugreifen, Berechnungen durchzuführen oder auf Anfrage eines Benutzers mit Diensten von Drittanbietern zu interagieren. Beispielsweise könnte ein Plugin die Möglichkeit bieten, auf einer bestimmten Website nach Informationen zu suchen oder es in die CRM-Software eines Benutzers zu integrieren.

Oder ein Kalender-Plugin für ChatGPT könnte funktionieren, indem es Benutzern ermöglicht, Ereignisse und Erinnerungen direkt in der Chat-Oberfläche zu planen. Zum Beispiel könnte ein Benutzer „Treffen mit John am Freitag um 14 Uhr planen“ eingeben und ChatGPT kann die Absicht erkennen und mit dem Kalender-Plugin kommunizieren, um das Ereignis zu erstellen.

0:00 /1×

Instacart ChatGPT Plugin in Aktion

Das Instacart-Plugin für ChatGPT ist ein vorhandenes Plugin, mit dem Benutzer bequem Rezeptzutaten zu ihrem Instacart-Warenkorb hinzufügen können, ohne die Chat-Oberfläche zu verlassen. Zum Beispiel, wenn ein Benutzer fragt: „Welche Zutaten benötige ich, um Lasagne zuzubereiten?“ , ChatGPT kann eine Liste der Zutaten bereitstellen, die für Lasagne benötigt werden, und anbieten, sie dem Instacart-Warenkorb des Benutzers hinzuzufügen. Der Benutzer kann dann die Bestellung mit einem einfachen Klick bestätigen, und das Instacart-Plugin fügt automatisch alle erforderlichen Zutaten in seinen Warenkorb.

Wie funktionieren Plugins?

Um ein Plugin zu erstellen, können Entwickler eine API über ihre Website zur Verfügung stellen und eine Manifestdatei erstellen, die die API auf standardisierte Weise beschreibt. ChatGPT kann diese Dateien dann lesen und es den KI-Modellen ermöglichen, mit der vom Entwickler angegebenen API zu kommunizieren. Ein typisches Plugin beinhaltet:

• API,
• ein OpenAPI-JSON- oder YAML-Formatschema für die API,
• Manifestdatei für das Plugin im JSON-Format.

ChatGPT verwendet die Manifestdatei und das OpenAPI-Schema, um zu verstehen, was das Plugin tut und wie man damit interagiert. Wenn der Benutzer dann ChatGPT dazu auffordert, bestimmt es, ob es mit aktiven Plugins interagieren muss, um die Anfrage zu erfüllen, und ruft die entsprechenden Endpunkte auf, um Benutzeranfragen zu bearbeiten. Genau wie beim Auffordern anderer Sprachmodelle sollten Sie mehrere Eingabeaufforderungen und Beschreibungen im Manifest und im API-Schema testen, um herauszufinden, was am besten funktioniert.

OpenAI bietet Code für ein Beispiel-Plugin, das eine Vektor-DB wie Pinecone durchsuchen und relevante Dokumente zurückgeben kann. Bei der Beantwortung von Benutzeraufforderungen kann ChatGPT dieses Plugin verwenden, um sein Wissen anzuhängen, indem es nach relevanten Dokumenten abfragt. Beispielsweise muss ChatGPT innerhalb einer Organisation möglicherweise interne Unternehmensdokumente abfragen, um Fragen zu beantworten, die das Unternehmen betreffen.

Für dieses Plugin zum Abrufen von Dokumenten ist die Manifestdatei mit dem Namen ai-plugin.json wird ungefähr so aussehen:

Beachten Sie, wie es Felder gibt wie Beschreibung für_Modell und Beschreibung für Menschen. Das Beschreibung für_Modell Das Attribut gibt Ihnen die Freiheit, dem Model mitzuteilen, wie Sie Ihr Plugin allgemein verwenden sollen. Insgesamt ist das Sprachmodell hinter ChatGPT sehr gut in der Lage, natürliche Sprache zu verstehen und Anweisungen zu befolgen. Daher ist dies ein guter Ort, um allgemeine Anweisungen dazu zu geben, was Ihr Plugin tut und wie das Modell es richtig verwenden sollte.

Ein Plugin bereitstellen

Wir werden das obige Abruf-Plugin auf TrueFoundry bereitstellen und es mit ChatGPT verbinden. Das Plugin kann Vektordatenbanken wie Pinecone durchsuchen und relevante Dokumente zurückgeben.

💡

Beachten Sie, dass Sie Zugriff auf das ChatGPT-Plugin benötigen, um ein Plugin zu erstellen. Sie können den Zugriff auf eines beantragen hier.

Klonen Sie das Github-Repo

Um diese Anwendung bereitzustellen, müssen Sie dieses Repository klonen. Dies ist erforderlich, da wir irgendwann das OpenAPI-Schema und das Manifest mit den nachfolgenden URLs der bereitgestellten Plugin-Anwendung aktualisieren müssen.

Einrichtung der Vektor-DB: Pinecone

Tannenzapfen ist eine verwaltete Vektordatenbank, die auf Geschwindigkeit, Skalierbarkeit und eine schnellere Auslieferung an die Produktion ausgelegt ist. Um Pinecone als Ihren Anbieter für Vektordatenbanken zu verwenden, holen Sie sich zunächst einen API-Schlüssel unter Registrierung für ein Konto. Sie können über den Abschnitt „API-Schlüssel“ in der Seitenleiste Ihres Dashboards auf Ihren API-Schlüssel zugreifen. Pinecone unterstützt auch die Hybridsuche und ist zum Zeitpunkt der Erstellung dieses Artikels der einzige Datenspeicher, der SPLADE-Vektoren mit geringer Dichte nativ unterstützt.

Eine vollständige Jupyter-Notebook-Komplettlösung für die Pinecone-Variante des Retrieval-Plugins finden Sie hier. Es gibt auch eine Video-Walkthrough hier.

Die App erstellt automatisch einen Pinecone-Index für Sie, wenn Sie sie zum ersten Mal ausführen. Wählen Sie einfach einen Namen für Ihren Index und legen Sie ihn bei der Bereitstellung der Anwendung als Umgebungsvariable fest.

Bereitstellung der Anwendung auf TrueFoundry

Lassen Sie uns nun die Anwendung auf TrueFoundry bereitstellen.

1. Erstelle ein kostenloses Konto bei Wahre Gießerei und erstelle einen neuen Workspace mit einem eindeutigen Namen.

2. Wenn Sie die Pinecone-Vektor-DB verwenden, benötigen Sie die folgenden Umgebungsvariablen. Das Bearer-Token wird verwendet, um Anfragen an die Endpunkte zu authentifizieren.

NameRequiredDescriptionDataStoreYesDatastore-Name, setzen Sie diesen auf PineconeBearer_TokenYesYour secret token zur Authentifizierung von Anfragen an die APIopenai_api_keyYesIhr OpenAI-API-Schlüssel zum Generieren von Einbettungen mit dem text-embedding-ada-002-Modell pinecone_api_keyYesIhr Pinecone-API-Schlüssel, den Sie in der Pinecone-ConsolePinecone_EnvironmentYesYour Pinecone-Umgebung finden, in der Pinecone-Konsole gefunden, z. B. us-west1-gcp, us-east-1-aws, etc.pinecone_indexYesIhr gewählter Pinecone-Indexname. Hinweis: Der Indexname muss aus alphanumerischen Kleinbuchstaben oder '-' bestehen

Gehe zur TrueFoundry Secrets-Konsole. Erstellen Sie ein neues geheime Gruppe und erstellen Sie Geheimnisse, um Umgebungsvariablen zu verwenden.

3. Gehe zum Bereitstellungskonsole. Erstelle einen neuen Dienst in deinem Workspace.

4. Stellen Sie im Formular zum Erstellen von Diensten die Quelle auf die Repo-URL ein, die Sie gerade geklont haben, und stellen Sie den Build auf DockerFile-Build ein.

5. Stellen Sie im Formular den Port auf 8080 ein und wählen Sie einen geeigneten Endpunkt für Ihren Service aus:

6. Fügen Sie die Umgebungsvariablen hinzu und setzen Sie sie auf die Secrets, die Sie gerade erstellt haben.

7. Bereitstellen und Ihre Plugin-Webapp und Ihr Endpunkt sollten im angezeigt werden Registerkarte „Bereitstellungen“. Wir verwenden den hier generierten Endpunkt, um das Plugin auf OpenAI für die Verwendung mit ChatGPT zu registrieren:

8. Gehen Sie zu Ihrem Github-Repo und aktualisieren Sie die Anwendungs-URL sowohl im OpenAPI-Schema als auch im Manifest im . /bekannt Mappe. Nach der Aktualisierung können Sie das Deployment auf TrueFoundry auf den neuesten Commit bearbeiten und erneut über den Registerkarte „Bereitstellungen“.

Das Plugin testen

Nachdem Sie die API, die Manifestdatei und die OpenAPI-Spezifikation für Ihre API erstellt haben, können Sie das Plugin nun über die ChatGPT-Benutzeroberfläche verbinden.

Für die ChatGPT-Benutzeroberfläche, wähle zuerst „Entwickle dein eigenes Plugin“, um es einzurichten, und dann „Installiere ein unverifiziertes Plugin“, um es für dich selbst zu installieren.

Zunächst müssen Sie den Endpunkt für Ihren API-Dienst bereitstellen. Sie können dies vom TrueFourDry erhalten Registerkarte „Bereitstellungen“. Zweitens müssen Sie das Bearer-Token angeben, das zur Authentifizierung von API-Anfragen verwendet wird. Sobald das erledigt ist, sollte das Plugin für die Verwendung mit ChatGPT bereit sein (nur für dich, da es nicht verifiziert ist!).