Fine-Tuning: OpenAI-Modelle + Ihre Confluence-Daten

Wenn ChatGPT das iPhone ist, dann muss der AppStore erst noch gebaut werden – und zwar in Form einer Suite vertikaler Anwendungen, die darauf aufbauen. Jede Branche, jedes Unternehmen und jede Einzelperson wird diese Anwendungen in unterschiedlichem Umfang entwickeln. Das reicht vom Aufbau eines ChatGPT für das Gesundheitswesen oder die Fertigung über das Verfassen fachspezifischer Marketing-E-Mails und die Beantwortung unternehmensspezifischer Fragen aus der internen Wissensdatenbank bis hin zur Erstellung persönlicher Suchmaschinen, die Fragen beantworten wie: „Wie lautet Johns Adresse?“ oder „Wann hat meine Schwiegermutter Geburtstag?“. Wir haben dazu bereits einige Beispiele in unserem vorherigen Blogbeitrag zusammengestellt.

‍

LLMs, LLMs Everywhere: Exploring their applications!

The advent of extremely large language models, such as ChatGPT (with 20 billion parameters) and GPT-3 (with 175 billion parameters), has revolutionized the field of natural language processing. These models are trained on vast amounts of data and exhibit remarkable performance in text understanding.

TrueFoundry Blog Truefoundry

‍

Warum reicht ChatGPT für diese vertikalen Anwendungen nicht aus?

Um das zu verstehen, ist es wichtig, den Unterschied zwischen dem Clear Web und dem Deep Web zu kennen:

• Clear Web: Öffentlich zugängliche Webseiten, die von Suchmaschinen indexiert werden, z. B. Wikipedia, Bücher, Social-Media-Beiträge usw.
• Deep Web: Der Teil des Internets, der sich hinter einem Authentifizierungssystem befindet, z. B. Ihre E-Mails oder SaaS-Plattformen. Dies macht 96 % des Webs aus.

Modelle wie ChatGPT werden mit einem riesigen Datensatz trainiert, der jedoch nur das umfasst, was im Clear Web verfügbar ist. Sie können dem Modell also keine Frage stellen, deren Antwort von Informationen aus dem Deep Web abhängt, wie etwa Ihre E-Mails oder privaten Dokumente. Da Modelle wie ChatGPT jedoch beim Lernen aus dem massiven Datensatz des Clear Web so viel Intelligenz über Sprache und Semantik aufbauen, fällt es ihnen wesentlich leichter, neue Informationen aus kleinen Datenmengen für eine spezifische Aufgabe zu erlernen.

Hier kommt die Feinabstimmung (Fine-Tuning) ins Spiel

Die Feinabstimmung ist eine leistungsstarke Technik, die es uns ermöglicht, das Wissen und die Lernfähigkeit eines vortrainierten Modells wie ChatGPT zu nutzen, um dessen Leistung bei einer neuen Aufgabe durch das Training mit einem kleineren, aufgabenspezifischen Datensatz zu verbessern. Nehmen wir zum Beispiel an, Sie möchten ein Frage-Antwort-System für Ihre internen Unternehmensdokumente in Confluence erstellen. Sie können alle Textinhalte aus Confluence verwenden, um ein GPT-Modell damit feinabzustimmen.

Klingt einfach. Warum macht das nicht jeder?

Obwohl OpenAI durch seine Fine-Tuning-APIs viele Hürden abgebaut hat, erfordert der Prozess dennoch einiges an Überlegung, Planung und Aufwand in verschiedenen Bereichen:

Datenvorbereitung

Die Daten, die Sie für die Feinabstimmung der Modelle benötigen, müssen in einem spezifischen Format vorliegen: als Paar aus Prompt und Vervollständigung (Completion).

{“prompt”: <prompt-text>, “completion”: <ideal generated text>}


Ein paar Punkte, die Sie beachten sollten:

1. Es ist nicht trivial, beliebige Dokumente wie Confluence-Unternehmensseiten in hochwertige Beispiele im oben genannten Format umzuwandeln.
2. Sie benötigen mindestens einige hundert Prompts, was menschlichen Aufwand und fachliche Expertise erfordert.
3. Sorgfältige Trennzeichen markieren den Anfang und das Ende der Eingabeaufforderung und der Vervollständigungen, die nicht im Text erscheinen. Sie müssen außerdem sicherstellen, dass die späteren Eingabeaufforderungen dieselben Trennzeichen verwenden.
4. Eine Erhöhung der Anzahl der Beispiele verbessert die Leistung des Modells.
5. Etwas so Einfaches wie das Hinzufügen eines Leerzeichens vor Beginn der Vervollständigung kann die Leistung verbessern.

Modellauswahl

OpenAI bietet mehrere Modelle an, die feinabgestimmt werden können, wobei jedes davon Kompromisse erfordert, die berücksichtigt werden müssen:

1. Ada: Kleinere, schnellere Modelle lassen sich leicht feinabstimmen und funktionieren gut bei einer Reihe von Aufgaben wie Klassifizierung, Sprachgenerierung und Fragenbeantwortung. Da sie über weniger Parameter verfügen, sind sie jedoch weniger leistungsfähig als andere und können die Präzision beeinträchtigen.
2. Curie: Größer und leistungsfähiger als Ada und ebenfalls für allgemeine Zwecke geeignet. Aufgrund der hohen Anzahl an Parametern ist es schwieriger, das Modell auf kleineren Datensätzen feinabzustimmen.
3. Babbage: Entwickelt für NLP-Aufgaben, die Fachwissen erfordern, wie etwa in Recht oder Medizin, und lässt sich sehr gut feinabstimmen. Es ist weniger für allgemeine Zwecke geeignet und nicht für die Feinabstimmung auf größeren Datensätzen oder komplexeren Aufgaben ausgelegt.
4. Davinci: Das größte und leistungsfähigste Modell für allgemeine Zwecke. Es ist sehr schwierig, es auf weniger leistungsstarker Hardware zu trainieren, und es sollte für komplexe NLP-Aufgaben verwendet werden.

Hinweis: Sie können auch ein bereits feinabgestimmtes Modell schrittweise weiter feinabstimmen. Aufgrund von API-Änderungen gibt es eine zeitliche Einschränkung: Die Modelle müssen nach dem 21. April 2022 feinabgestimmt worden sein.

Auswahl der Hyperparameter

Wir haben die Feinabstimmungs-APIs von OpenAI mit Standardparametern getestet und sie funktionierten bei einigen Aufgaben sehr gut, aber durch die Anpassung der Hyperparameter konnten wir Verbesserungen von bis zu 40 % erzielen.

1. Lernraten-Multiplikator: standardmäßig 0,05, 0,1 oder 0,2, abhängig von der endgültigen batch_size. Die Lernrate für die Feinabstimmung ist die ursprüngliche Lernrate, die für das Vortraining verwendet wurde, multipliziert mit diesem Multiplikator. Die Lernrate bestimmt, wie schnell das Modell seine Gewichte während des Trainings anpasst. Eine zu hohe Lernrate kann dazu führen, dass das Modell zu einer suboptimalen Lösung konvergiert, während eine zu niedrige Lernrate dazu führen kann, dass das Modell zu langsam konvergiert oder in einem lokalen Minimum stecken bleibt. OpenAI empfiehlt, für größere Batch-Größen höhere Lernraten zu verwenden, wobei man sich typischerweise im Bereich von 0,02 bis 0,2 bewegt.
2. Batch-Größe: standardmäßig ca. 0,2 % der Anzahl der Beispiele im Trainingsdatensatz, begrenzt auf 256. Die Batch-Größe bestimmt, wie viele Beispiele in jeder Trainingsiteration verarbeitet werden. Eine größere Batch-Größe kann zu schnelleren Trainingszeiten führen, kann aber auch dazu führen, dass das Modell überanpasst oder eine höhere Speicherauslastung verursacht. Es wird im Allgemeinen empfohlen, eine so große Batch-Größe wie möglich zu wählen, ohne eine übermäßige Speicherauslastung zu verursachen.
3. Anzahl der Epochen: Standardwert ist 4. Die Anzahl der Epochen bestimmt, wie oft das Modell mit dem gesamten Datensatz trainiert wird. Zu wenige Epochen können zu Underfitting führen, während zu viele Epochen ein Overfitting zur Folge haben können. Es wird allgemein empfohlen, die Leistung des Modells anhand eines Validierungsdatensatzes zu überwachen und das Training zu beenden, sobald sich die Leistung nicht mehr verbessert.
4. Gewichtung des Prompt-Verlusts: Standardwert ist 0,01. Dies ist die Gewichtung für den Verlust bei den Prompt-Tokens. Sie steuert, wie stark das Modell versucht, den Prompt zu generieren (im Vergleich zur Vervollständigung, die immer mit 1,0 gewichtet wird), und kann das Training bei kurzen Vervollständigungen stabilisieren. Bei kurzen Prompts empfiehlt OpenAI, diesen Wert zu erhöhen; bei langen Prompts ist eine geringe Gewichtung am effektivsten.
5. Modell: Standardwert ist Curie. Die oben beschriebene Modellauswahl ist zwar ebenfalls ein Hyperparameter, aber aufgrund ihrer Bedeutung als Ausgangspunkt für diesen Prozess verdient sie eine gesonderte Erwähnung.

Kostenüberlegungen

Die Kosten für das Fine-Tuning variieren stark je nach den gewählten Parametern, daher ist ein fundiertes Verständnis sehr wichtig.

📌

Für 1 Mio. Token:
- Ada: 0,40 $
- Babbage: 0,60 $
- Curie: 3 $
- Davinci: 30 $.

1. 1 Token entspricht etwa 4 Zeichen oder 0,75 Wörtern.
2. Davinci ist fast 100-mal teurer als Ada.
3. Curie ist 10-mal teurer als Ada und ist das Standardmodell.
4. Zur Veranschaulichung: Wikipedia umfasst etwa 5 Mrd. Token, ein Fine-Tuning von Curie würde also satte 15.000 $ kosten. Dies ist nur eine theoretische Aussage, da diese Modelle bereits mit Wikipedia vortrainiert wurden. Bitte sparen Sie Ihr Geld.
5. Die Anzahl der Trainings-Token hängt auch von Ihren Trainingsepochen ab. Grundsätzlich gilt: Gesamtzahl der Trainings-Token = Token in Ihrer Datei * Anzahl der Epochen.

📌

Die Nutzung von feinabgestimmten Modellen ist deutlich teurer (ca. 5-mal) als die der vortrainierten Pendants.

Für 1 Mio. Token:
- Ada: 1,6 $ vs. 0,4 $
- Babbage: 2,4 $ vs. 0,5 $
- Curie: 12 $ vs. 2 $
- DaVinci: 120 $ vs. 20 $

Wenn Sie das Modell verwenden, wirken sich Parameter wie „bestof“ und „n“ ebenfalls auf Ihre Kosten aus, da Sie letztendlich mehrere Vervollständigungen für eine einzige Eingabeaufforderung generieren. Erwägen Sie die Verwendung von „max_response_length“, um Kosten zu sparen, oder reduzieren Sie die Verwendung der Parameter „best_of“ und „n“.

Fallstudie: Feinabstimmung mit Confluence-Dokumenten

Die Erstellung eines feinabgestimmten Modells für unseren eigenen Confluence-Datensatz war nicht trivial. Sie umfasste den folgenden 4-stufigen Prozess.

Datenabruf

Es hat mich einige Mühe gekostet, herauszufinden, wie man alle Daten über die APIs aus Confluence ausliest, da Confluence über umfangreiche Daten mit Tabellen, Überschriften und Unterüberschriften verfügt, die ich zur einfacheren Verwendung in einfachen Text umwandeln musste. Auch die Verwaltung der Berechtigungen und der richtigen Zugriffsebene war nicht trivial. Schließlich konnten wir ein sehr einfaches Formular erstellen, in das man die URL, den Benutzernamen und den API-Schlüssel eingibt, um die Daten abzurufen.

Datenvorverarbeitung

Dies war der schwierigste Teil. Hier haben wir mehrere Ansätze ausprobiert:

1. Zufällige Aufteilung von Sätzen: basierend auf der Anzahl der Wörter in Eingabeaufforderungen und Vervollständigungen
2. Regex: Trennung von Sätzen basierend auf Wörtern wie „und“, „aber“, „jedoch“ usw.
3. ChatGPT: ChatGPT Kontext geben und es bitten, Fragen zu generieren.  

Wir haben uns schließlich für die meisten Paare aus Nr. 3 entschieden, aber auch einige zufällige Stichproben aus Nr. 1 und Nr. 2 hinzugefügt. Für unseren Datensatz haben wir über 50.000 Paare von Eingabeaufforderungen und Vervollständigungen mit einer durchschnittlichen Länge von 17 Wörtern für die Eingabeaufforderung und 133 Wörtern für die Antwort generiert, was insgesamt 150 Wörter pro Paar ergibt. Idealerweise würde dieser Schritt noch viel mehr Experimente erfordern.

Modell-Feinabstimmung

Wir haben mit verschiedenen Modellen und Hyperparametern experimentiert und festgestellt, dass Curie tendenziell besser abschneidet als Ada oder Babbage. Angesichts des Kosten-Nutzen-Verhältnisses erschien uns Ada jedoch ausreichend. Davinci haben wir nicht getestet. Wir mussten die Lernrate anpassen und haben uns schließlich auf 0,05 bei 6 Epochen festgelegt. Die Kosten für einen Trainingsdurchlauf mit Curie lagen bei etwa 30 $, bei Ada bei etwa 4 $. Insgesamt haben wir durch die zahlreichen Experimente etwa 400 $ an OpenAI-Guthaben für das Fine-Tuning ausgegeben – wir hatten auch ein paar Fehlversuche dabei.

Testen

Wir haben festgestellt, dass das feinabgestimmte Modell bei Fragen zu unserem internen Datensatz deutlich besser abschnitt als das ursprüngliche Modell. Unser Team hat etwa 100 verschiedene Prompts ausprobiert und diese manuell bewertet. Das ist zwar nicht wissenschaftlich fundiert, hat aber für diesen einfachen Anwendungsfall funktioniert. Interessanterweise haben wir bemerkt, dass das feinabgestimmte Modell bei allgemeinen Anfragen teilweise schlechter abschnitt als das Originalmodell. Wir müssen noch untersuchen, woran das liegt.

Das war ein spannendes Projekt und wir werden weiter mit dem Fine-Tuning auf anderen Datensätzen experimentieren.

📌

Wenn Sie an bestimmten Datensätzen interessiert sind oder diese App für Ihr eigenes Confluence nutzen möchten, schreiben Sie mir gerne an nikunj@truefoundry.com

TrueFoundryist eine ML-Deployment-PaaS auf Basis von Kubernetes, die Entwickler-Workflows beschleunigt und gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen bietet, während sie dem Infrastruktur-Team umfassende Sicherheit und Kontrolle gewährleistet. Über unsere Plattform ermöglichen wir Machine-Learning-Teams:bereitstellen und überwachenModelle in 15 Minuten mit 100% Zuverlässigkeit, Skalierbarkeit und der Möglichkeit, innerhalb von Sekunden ein Rollback durchzuführen – so sparen sie Kosten, bringen Modelle schneller in die Produktion und erzielen echten geschäftlichen Mehrwert.