ChatGPT-Plugins verstehen

ChatGPT ist ein leistungsstarkes Sprachmodell, das Benutzereingaben verstehen und darauf antworten kann. Es verfügt über viele nützliche integrierte Funktionen, aber manchmal benötigen Benutzer zusätzliche Funktionalitäten, die nicht direkt verfügbar sind. Hier kommen Plugins ins Spiel.

Plugins sind Add-ons, die die Fähigkeiten von ChatGPT erweitern. Sie ermöglichen Benutzern den Zugriff auf aktuelle Informationen, das Ausführen von Berechnungen oder die Interaktion mit Drittanbieter-Diensten als Reaktion auf eine Benutzeranfrage. Beispielsweise könnte ein Plugin die Möglichkeit hinzufügen, nach Informationen auf einer bestimmten Website zu suchen oder eine Integration mit der CRM-Software eines Benutzers bereitzustellen.

Oder ein Kalender-Plugin für ChatGPT könnte so funktionieren, dass Benutzer Termine und Erinnerungen direkt in der Chat-Oberfläche planen können. Ein Benutzer könnte beispielsweise eingeben: „Platziere ein Meeting mit John am Freitag um 14 Uhr“, und ChatGPT kann die Absicht erkennen und mit dem Kalender-Plugin kommunizieren, um das Ereignis zu erstellen.

0:00/1×

Das Instacart ChatGPT-Plugin in Aktion

Das Instacart-Plugin für ChatGPT ist ein bestehendes Plugin, mit dem Benutzer bequem Rezeptzutaten zu ihrem Instacart-Einkaufswagen hinzufügen können, ohne die Chat-Oberfläche zu verlassen. Wenn ein Benutzer beispielsweise fragt: „Welche Zutaten brauche ich für Lasagne?“, kann ChatGPT eine Liste der für Lasagne erforderlichen Zutaten bereitstellen und anbieten, diese zum Instacart-Einkaufswagen des Benutzers hinzuzufügen. Der Benutzer kann die Bestellung dann mit einem einfachen Klick bestätigen, und das Instacart-Plugin fügt automatisch alle erforderlichen Zutaten zum Einkaufswagen hinzu.

Wie funktionieren Plugins?

Um ein Plugin zu erstellen, können Entwickler eine API über ihre Website zur Verfügung stellen und eine Manifest-Datei erstellen, die die API in einer standardisierten Weise beschreibt. ChatGPT kann diese Dateien dann lesen und den KI-Modellen ermöglichen, mit der vom Entwickler angegebenen API zu kommunizieren. Ein typisches Plugin umfasst:

• API,
• ein Schema im OpenAPI-JSON- oder YAML-Format für die API,
• eine Manifest-Datei für das Plugin im JSON-Format.

ChatGPT verwendet die Manifest-Datei und das OpenAPI-Schema, um zu verstehen, was das Plugin tut und wie es mit ihm interagieren kann. Wenn der Benutzer ChatGPT einen Prompt gibt, stellt es fest, ob es mit aktiven Plugins interagieren muss, um die Anfrage zu erfüllen, und ruft die relevanten Endpunkte auf, um die Benutzeranfragen zu bearbeiten. Genau wie beim Prompting anderer Sprachmodelle sollten Sie mehrere Prompts und Beschreibungen im Manifest und API-Schema testen, um zu sehen, was am besten funktioniert.

OpenAI stellt Code für ein Beispiel-Plugin bereit, das eine Vektor-DB wie Pinecone durchsuchen und relevante Dokumente zurückgeben kann. Bei der Beantwortung von Benutzer-Prompts kann ChatGPT dieses Plugin verwenden, um sein Wissen durch Abfragen relevanter Dokumente zu erweitern. Innerhalb einer Organisation müsste ChatGPT beispielsweise möglicherweise interne Unternehmensdokumente abfragen, um Fragen zum Unternehmen zu beantworten.

Für dieses Dokumentenabruf-Plugin sieht die Manifest-Datei namens ai-plugin.json etwa so aus:

Beachten Sie, dass es Felder wie description_for_model und description_for_human gibt. Das Attribut description_for_model gibt Ihnen die Freiheit, dem Modell allgemeine Anweisungen zur Verwendung Ihres Plugins zu geben. Insgesamt ist das Sprachmodell hinter ChatGPT sehr gut in der Lage, natürliche Sprache zu verstehen und Anweisungen zu befolgen. Daher ist dies ein guter Ort, um allgemeine Anweisungen einzufügen, was Ihr Plugin tut und wie das Modell es ordnungsgemäß verwenden sollte.

Bereitstellung eines Plugins

Wir werden das obige Retrieval-Plugin auf TrueFoundry bereitstellen und mit ChatGPT verbinden. Das Plugin kann Vektordatenbanken wie Pinecone durchsuchen und relevante Dokumente zurückgeben.

💡

Beachten Sie, dass Sie Zugriff auf ChatGPT-Plugins benötigen, um ein Plugin zu erstellen. Sie können den Zugriff hier anfordern.

Klonen des GitHub-Repos

Um diese Anwendung bereitzustellen, müssen Sie dieses Repository klonen. Dies ist erforderlich, da wir später das OpenAPI-Schema und das Manifest mit den nachfolgenden URLs der bereitgestellten Plugin-Anwendung aktualisieren müssen.

Einrichten der Vektor-DB: Pinecone

Pinecone ist eine verwaltete Vektordatenbank, die auf Geschwindigkeit, Skalierung und schnellere Bereitstellung in der Produktion ausgelegt ist. Um Pinecone als Ihren Vektordatenbank-Anbieter zu nutzen, holen Sie sich zuerst einen API-Schlüssel, indem Sie sich für ein Konto registrieren. Sie können auf Ihren API-Schlüssel im Bereich „API Keys“ in der Seitenleiste Ihres Dashboards zugreifen. Pinecone unterstützt auch Hybrid Search und ist zum Zeitpunkt der Erstellung dieses Textes der einzige Datenspeicher, der SPLADE-Sparse-Vektoren nativ unterstützt.

Eine vollständige Jupyter-Notebook-Anleitung für die Pinecone-Variante des Retrieval-Plugins finden Sie hier. Es gibt auch eine Video-Anleitung hier.

Die App erstellt automatisch einen Pinecone-Index für Sie, wenn Sie sie zum ersten Mal ausführen. Wählen Sie einfach einen Namen für Ihren Index und legen Sie ihn beim Bereitstellen der Anwendung als Umgebungsvariable fest.

Bereitstellen der Anwendung auf TrueFoundry

Jetzt stellen wir die Anwendung auf TrueFoundry bereit.

1. Erstellen Sie ein kostenloses Konto bei TrueFoundry und erstellen Sie einen neuen Workspace mit einem eindeutigen Namen.

2. Wenn Sie die Pinecone-Vektor-DB verwenden, benötigen Sie die folgenden Umgebungsvariablen. Der Bearer Token wird verwendet, um Anfragen an die Endpunkte zu authentifizieren.

NameErforderlichBeschreibungDATASTOREJaName des Datenspeichers, setzen Sie diesen auf pineconeBEARER_TOKENJaIhr geheimer Token zur Authentifizierung von Anfragen an die APIOPENAI_API_KEYJaIhr OpenAI-API-Schlüssel zur Generierung von Embeddings mit dem Modell text-embedding-ada-002PINECONE_API_KEYJaIhr Pinecone-API-Schlüssel, zu finden in der Pinecone-KonsolePINECONE_ENVIRONMENTJaIhre Pinecone-Umgebung, zu finden in der Pinecone-Konsole, z. B. us-west1-gcp, us-east-1-aws usw.PINECONE_INDEXJaIhr gewählter Pinecone-Indexname. Hinweis: Der Indexname muss aus klein geschriebenen alphanumerischen Zeichen oder '-' bestehen

Gehen Sie zur TrueFoundry Secrets-Konsole. Erstellen Sie eine neue Secret-Gruppe und erstellen Sie Secrets, die als Umgebungsvariablen verwendet werden sollen.

3. Gehen Sie zur Deployment-Konsole. Erstellen Sie einen neuen Service in Ihrem Workspace.

4. Setzen Sie im Formular zur Service-Erstellung die Quelle auf die Repo-URL, die Sie gerade geklont haben, und den Build auf Dockerfile-Build.

5. Setzen Sie im Formular den Port auf 8080 und wählen Sie einen geeigneten Endpunkt für Ihren Service:

6. Fügen Sie die Umgebungsvariablen hinzu und verknüpfen Sie sie mit den Secrets, die Sie gerade erstellt haben.

7. Führen Sie das Deployment durch. Ihre Plugin-Webapp und Ihr Endpunkt sollten in der Deployments-Registerkarte erscheinen. Wir werden den hier generierten Endpunkt verwenden, um das Plugin auf OpenAI für die Nutzung mit ChatGPT zu registrieren:

8. Gehen Sie zu Ihrem GitHub-Repo und aktualisieren Sie die Anwendungs-URL sowohl im OpenAPI-Schema als auch im Manifest im Ordner ./well-known. Sobald sie aktualisiert ist, können Sie das Deployment auf TrueFoundry auf den neuesten Commit bearbeiten und über die Deployments-Registerkarte erneut bereitstellen.

Testen des Plugins

Sobald Sie die API, die Manifest-Datei und die OpenAPI-Spezifikation für Ihre API erstellt haben, können Sie das Plugin über die ChatGPT-Benutzeroberfläche verbinden.

Wählen Sie in der ChatGPT-Benutzeroberfläche zuerst „Develop your own plugin“, um es einzurichten, und dann „Install an unverified plugin“, um es für sich selbst zu installieren.

Zuerst müssen Sie den Endpunkt für Ihren API-Service angeben. Diesen erhalten Sie aus der TrueFoundry Deployments-Registerkarte. Zweitens müssen Sie den Bearer Token angeben, der zur Authentifizierung von API-Anfragen verwendet wird. Sobald das erledigt ist, sollte das Plugin für die Verwendung mit ChatGPT bereit sein (nur für Sie, da es unverifiziert ist!).