Prompt Engineering: Lernen, mit LLMs zu interagieren

Das Aufkommen von ChatGPT/OpenAI und anderen Large Language Models (LLMs) hat die Welt revolutioniert und ist einer der bedeutendsten technologischen Fortschritte des letzten Jahrzehnts. Mit Hilfe von KI können wir jetzt zahlreiche alltägliche Aufgaben automatisieren, die früher alltäglich und zeitaufwändig waren. Um das Potenzial dieser Technologie voll auszuschöpfen, ist es jedoch wichtig zu verstehen, wie sie effektiv eingesetzt werden kann.

Vor dem Aufkommen der KI waren Programmiersprachen das einzige Mittel, um Maschinen anzuweisen. Mit dem Aufkommen von Large Language Models (LLMs) ist es heute jedoch möglich, mit schlichtem, einfachem Englisch eine Menge zu erreichen. Dieser Artikel wurde aus verschiedenen Quellen zusammengestellt, als ich mehr über dieses spannende Gebiet erfuhr. Ich hoffe, dass dieser Blog dazu beiträgt, die Zeit zu verkürzen, die Sie zum Verständnis benötigen schnelles Engineering.

Nehmen wir an, du tippst das ein OpenAI-Spielplatz:

Was ist 965*590?

Die Antwort ist falsch und jedes Mal ein bisschen anders. Wenn Sie die Anweisung jedoch wie folgt ändern und die Temperatur auf 0 setzen, erhalten Sie wahrscheinlich die richtige Antwort:

Was ist 965*590? Stellen Sie sicher, dass Ihre Antwort genau richtig ist:

Diese Kunst, die Eingabeaufforderungen ändern zu können, damit die KI das tut, was wir von ihr erwarten, heißt Schnelles Engineering. Es ist nicht nur möglich, Antworten von OpenAI zu erhalten, sondern es auch zu verwenden, um Aktionen für uns auszuführen — was die Möglichkeit eröffnet, viele Aktionen im wirklichen Leben zu automatisieren.

Hier sind ein paar Möglichkeiten, Dinge mit KI zu erledigen:

Geben Sie dem Modell Beispiele, die zeigen, was Sie tun möchten (Aufforderung mit wenigen Schüssen)

Geben Sie dem Modell anhand eines Beispiels klare Anweisungen. Basierend auf der Anzahl der von Ihnen angegebenen Beispiele wird es als 0-Shot-Prompting, 1-Shot-Prompting oder Few-Shot-Prompting bezeichnet. Je größer die Anzahl der Beispiele ist, desto besser ist die Ausgabe des Modells. Sie können dem Modell auch mithilfe von Few-Shot-Prompting mitteilen, in welchem Format die Ausgabe zurückgegeben werden soll.

Eingabeaufforderung mit 0 Schüssen
2+2=

Eingabeaufforderung in einem Schuss
2+2=4
3+3=

Eingabeaufforderung mit wenigen Schüssen
2+3=5
10+30=40
3+1=4
1+11=

Hier ist ein Beispiel dafür, wie du Few-Shot-Prompts verwenden kannst, um einen Tweet als positiv oder negativ zu klassifizieren:

Twitter ist eine Social-Media-Plattform, auf der Nutzer Kurznachrichten, sogenannte „Tweets“, posten können. Tweets können positiv oder negativ sein, und wir möchten Tweets als positiv oder negativ klassifizieren können. Hier sind einige Beispiele für positive und negative Tweets. Stellen Sie sicher, dass Sie den letzten Tweet korrekt klassifizieren.

F: Tweet: „Was für ein wunderschöner Tag!“ Ist dieser Tweet positiv oder negativ?
A: positiv

F: Tweet: „Ich hasse diesen Kurs“ Ist dieser Tweet positiv oder negativ?
A: negativ

F: Tweet: „Ich liebe Hosentaschen“
EIN:

Erläutern Sie Ihre Argumentation zum Modell in den Beispielen (Chain of Thought Prompting)

Nehmen wir an, wir geben die folgende Aufforderung an:

Aufforderung:
Was ist ein schnellerer Weg zur Arbeit?
Option 1: Nehmen Sie einen 1000-minütigen Bus, dann eine halbe Stunde Zug und schließlich eine 10-minütige Radtour.
Option 2: Nehmen Sie einen 800-minütigen Bus, dann eine Stunde Zug und schließlich eine 30-minütige Radtour.

Leistung:
Option 1 ist ein schnellerer Weg, um zur Arbeit zu kommen.

Wie Sie sehen können, ist die Ausgabe eindeutig falsch. Wenn wir der KI jedoch die Logik erklären, können wir sie tatsächlich dazu bringen, richtig zu antworten.

Was ist ein schnellerer Weg nach Hause?
Option 1: Nehmen Sie einen 10-Minuten-Bus, dann einen 40-Minuten-Bus und schließlich einen 10-minütigen Zug.
Option 2: Nehmen Sie einen 90-minütigen Zug, dann eine 45-minütige Radtour und schließlich einen 10-minütigen Bus.
Option 1 dauert 10+40+10 = 60 Minuten.
Option 2 dauert 90+45+10=145 Minuten.
Da Option 1 60 Minuten und Option 2 145 Minuten dauert, ist Option 1 schneller.

Was ist ein schnellerer Weg zur Arbeit?
Option 1: Nehmen Sie einen 1000-minütigen Bus, dann eine halbe Stunde Zug und schließlich eine 10-minütige Radtour.
Option 2: Nehmen Sie einen 800-minütigen Bus, dann eine Stunde Zug und schließlich eine 30-minütige Radtour.

Leistung:
Option 1 dauert 1000+30+10 = 1040 Minuten.Option 2 dauert 800+60+30 = 890 Minuten.Da Option 1 1040 Minuten und Option 2 890 Minuten dauert, ist Option 2 schneller.

Stellen Sie ChatGPT Ihre eigene Wissensdatenbank zur Verfügung

Sie können ChatGPT Informationen über Ihre eigene Wissensdatenbank zur Verfügung stellen, damit ChatGPT Fragen zu diesem Wissen beantworten kann. Dies ist besonders nützlich, wenn Sie planen, Ihre Chatbots auf Grundlage Ihrer eigenen Daten zu erstellen. Sie können die Informationen im Kontext weitergeben. Es gibt jedoch eine Einschränkung, bei der LLMs wie GPT-3 eine maximale Eingabeaufforderungsgröße von etwa 4k haben Spielmarken, und daher können Sie im Kontext nicht viele Informationen direkt an ChatGPT weitergeben.

Eine Lösung hierfür kann darin bestehen, zuerst die Dokumente in der Wissensdatenbank zu indexieren.. Als Antwort auf die Aufforderung holen wir zunächst die relevanten Dokumente aus dem Index ab und erlauben ChatGPT dann, die Frage auf der Grundlage der Teilmenge der von der Suche abgerufenen Informationen zu beantworten. Dabei wird im Wesentlichen die semantische Suche verwendet und dann das Modell mit den relevanten Informationen im Kontext aufgefordert. Viele Bibliotheken können dies für Sie ermöglichen, wie Heuhaufen und Langchain, die oft zu den beste schnelle Engineering-Tools für abrufbasierte LLM-Workflows.

Integrieren Sie Tools in LLMs, damit sie Aktionen ausführen können (ReACT)

Sie können LLMs mehrere Tools zur Verfügung stellen, um Aktionen auszuführen, und dann das LLM entscheiden lassen, wie mit diesen Tools richtig interagiert werden soll, um das gewünschte Ziel zu erreichen.

Dies wird Reason and Act Paradigm (React) genannt und ist eine Art fortgeschrittenere Version von MRKL-Systemen (Modular Reasoning, Knowledge and Language, ausgesprochen „Wunder“).

Lassen Sie uns MRKL zunächst anhand eines Beispiels erklären. Nehmen wir an, wir haben eine API, um Google Calculator aufzurufen, um Berechnungen durchzuführen. Jetzt wissen wir, dass Google mathematisch korrekte Ausdrücke beantworten kann, Abfragen jedoch nicht in natürlicher Sprache. Also, wenn die Eingabeaufforderung wie unten erwähnt lautet:

Was ergibt 20 mal 5^6?

Wir können das LLM anweisen, den Ausdruck in einer Form auszugeben, die Google Calculator verstehen kann. In diesem Fall lautet die Aufforderung also:

Übersetzen Sie die folgende mathematische Aufgabe in ein Format, das der Google-Rechner verstehen kann.

Was ergibt 20 mal 5^6

In ähnlicher Weise können wir LLMs verwenden, um eine in natürlicher Sprache beschriebene Aktion in einen Ausdruck umzuwandeln, der von einer vorhandenen API verstanden wird. Die Integration von Drittanbieter-APIs und die Interaktion mit ihnen über die Chat-Oberfläche wurde innerhalb von ChatGPT durch ihr Plugin-System vereinfacht. hier kannst du mehr lesen.

Einige Beispiele für ein ultimatives Erlebnis

1. „Bestelle Zutaten für eine Peperoni-Pizza.“ ChatGPT kann die erforderlichen Zutaten automatisch identifizieren und eine Bestellung bei einem Online-Lebensmittelgeschäft aufgeben.
2. „Füge meinem Kalender um 20 Uhr eine Veranstaltung hinzu.“ Diese Aufforderung kann in eine CURL-Anfrage an Ihre Kalenderanwendung umgewandelt und dann (entweder über ein Plugin oder manuell) ausgelöst werden, um ein aktuelles Ereignis in Ihrer Kalender-App zu erstellen.
3. „Ich muss ein Modell trainieren, das mit dieser CSV-Datei arbeitet und den prognostizierten Preis des Modells ausgibt.“ Diese Aufforderung kann automatisch einen Trainingscode für ein ML-Modell generieren und dann ausgeführt werden, um das Modell tatsächlich zu trainieren, indem Sie ihn entweder in Ihre Programmierumgebung kopieren und einfügen oder ein geeignetes Plugin verwenden.

Stellen Sie jedes kommerziell erhältliche Large Language Model bereit

Referenzen:

1. https://learnprompting.org/docs (Dies ist eine hervorragende Ressource für den Fall, dass Sie tiefer in das Prompt Engineering eintauchen möchten). Alle Beispiele in dem Artikel wurden von hier übernommen.
2. https://til.simonwillison.net/llms/python-react-pattern

Chatte mit uns

Wenn Sie die Rendite Ihrer LLM-Projekte maximieren und Ihr Unternehmen in die Lage versetzen möchten, KI richtig zu nutzen, würden wir uns freuen, mit Ihnen zu chatten und Notizen auszutauschen.

Hab ein ☕️ bei uns

Erfahren Sie, wie TrueFoundry Ihnen hilft, LLMs in 5 Minuten bereitzustellen:

‍

Deploy and Fine-tune Open Source LLMs With a Few Clicks!

TrueFoundry offers an intuitive solution for LLM deployment and fine-tuning. With our Model Catalogue, companies can self-host LLMs on Kubernetes, reducing inference costs by 10x in just one click. Discover how to deploy a Dolly-v2-3b model and fine-tune a Pythia-70m using TrueFoundry in our blog.

TrueFoundry Blog TrueFoundry