TrueFoundry bereitstellen und feintunen von Open-Source-LLMs jetzt mit wenigen Klicks!

Wir freuen uns, Ihnen mitteilen zu können, dass TrueFoundry eine leistungsstarke und dennoch einfach zu bedienende Lösung für die Bereitstellung und das Fine-Tuning von Large Language Models (LLM) über unseren Model Catalouge entwickelt hat. Unser Ziel ist es, Unternehmen dabei zu helfen, ihre Open-Source-LLMs selbst auf Kubernetes zu hosten und so Ihre Inference-Kosten mit 1 Klick um das Zehnfache zu senken. In diesem Blog zeigen wir Ihnen, wie Sie mit TrueFoundry ein Dolly-v2-3b-Modell bereitstellen und ein Pythia-70M-Modell feintunen können.

Werden LLMs die Art und Weise verändern, wie wir über MLOps denken?

Die TrueFoundry-Plattform wurde entwickelt, um Machine-Learning- und Deep-Learning-Modelle aller Art zu unterstützen, von den einfachsten wie der logistischen Regression bis hin zu State-of-the-Art-Modellen wie Stable Diffusion. Man könnte sich fragen: Warum muss man etwas Neues bauen, wenn es um Large Language Models geht?

Die reine Größe und Komplexität dieser Modelle stellen erhebliche Herausforderungen dar, wenn es darum geht, sie in realen Anwendungen einzusetzen. Obwohl die TrueFoundry-Plattform bereits die skalierbare Bereitstellung von Modellen aller Größen unterstützte, haben wir erkannt, dass wir noch weitere Optimierungen (Kosten + Zeit) und Verbesserungen der Benutzererfahrung für diese Modelle vornehmen konnten.

Large Language Models (LLMs) sind gekommen, um zu bleiben.

Large Language Models (LLMs) wie ChatGPT haben unbestreitbar einen erheblichen Hype im Bereich der künstlichen Intelligenz ausgelöst.

Aber nach Gesprächen mit über 50 Unternehmen, die bereits damit beginnen, sie in der Produktion einzusetzen, ist der Wert, den sie bereits schaffen, immens. Wir glauben, dass die Nutzung von LLMs nur noch weiter zunehmen wird, da die Menschen jeden Tag neue Use Cases entdecken.

Aber die Überführung von LLMs in die Produktion ist schwer.

Erstellen eines Proof-of-Concept-Use-Case mit Large Language Models und OpenAI-APIs ist einfach, aber wenn Sie an die Produktion denken 🚀, kommen viel mehr Überlegungen ins Spiel.

Für die meisten Unternehmen ist der Aufbau der Engineering-Kapazitäten zur zuverlässigen Verwaltung der komplexen GPU-Infrastruktur für das Bedienen von LLMs schwierig und zeitaufwendig. Darüber hinaus wünschen sich die meisten Unternehmen spezifische Modelle, die für ihren Anwendungsfall am besten funktionieren, wofür sie diese Modelle feintunen müssen. Dies kann sowohl technisch anspruchsvoll als auch eine kostspielige Angelegenheit sein.

Open-Source-LLMs schnell in Produktion bringen!

Unsere Haltung zur Zukunft von LLMs ist, dass Open-Source-Modelle der Weg in die Zukunft sein werden. Lesen Sie hier mehr über unsere Ansichten zu diesem Thema. Wir haben uns entschieden, diese sich rasch innovierende Gemeinschaft von Innovatoren zu nutzen und Unternehmen dabei zu helfen, den vollen Wert dieser Open-Source-LLMs in ihren Organisationen zu nutzen.

TrueFoundry möchte, dass unsere Partner das volle Ausmaß der Vorteile realisieren können, die für ihren spezifischen Anwendungsfall feingetunte Open-Source-LLMs für ihre Organisationen haben können:

1. Kosteneffizient: 5–10-mal niedrigere Kosten als die Nutzung von OpenAI-APIs
2. Vollständige Datensicherheit: Auf Ihrem eigenen Cloud-/On-Premise-Kubernetes-Cluster
3. Vollständige Kontrolle: zum Feintunen, Zurückrollen usw.

Das Verwalten und Bereitstellen von Open-Source-Modellen auf Ihrer eigenen Infrastruktur ist jedoch keine leichte Aufgabe. Während eine On-Premise-LLM-Bereitstellung unerreichte Datenkontrolle, Compliance-Bereitschaft und langfristige Kosteneffizienz bietet, erfordert sie tiefes Fachwissen in GPU-Orchestrierung, Kubernetes-Management und Modelloptimierung.

Aber stellen Sie sich vor, es wäre so einfach wie das Einbinden Ihrer Daten und ein paar Klicks?

Wir verstehen die Herausforderungen, vor denen Unternehmen beim Übergang vom LLM-Proof-of-Concept zur Produktion stehen. Unser Ziel ist es, die Schicht zu bauen, die diesen Prozess für unsere Partner supereinfach macht. So machen wir es:

Vorstellung des Model Catalogue

Der Model Catalogue von TrueFoundry ist ein Repository aller beliebten Open-Source Large Language Models (LLMs), die mit einem einzigen Klick bereitgestellt werden können. Der Benutzer kann das Modell auch direkt aus dem Model Catalogue feintunen.

Der Katalog unterstützt bereits die meisten beliebten Modelle, und wir fügen jeden Tag Unterstützung für weitere hinzu. Einige der beliebtesten Modelle, die Sie bereits auf Ihrer eigenen Cloud bereitstellen können, sind:

1. Pythia-70M
2. Vicuna 7B 1.1 HF und Vicuna 13 B 1.1 HF
3. Dolly V2 7B und Doly V2 12B
4. Flan T5 XL
5. Alpaca 7B und Alpaca 13B

Und viele mehr.....

Die Magie, die wir auf Open-Source-LLMs anwenden  🪄

Wir sind davon besessen, dass Unternehmen am ersten Tag liefern können. Um dies zu ermöglichen, sind hier die Prinzipien, auf denen wir unsere LLM-Funktionen aufbauen:

1. Kostenoptimierung: Maximiert die Ressourcen-Nutzung, um Infrastrukturausgaben ohne Leistungseinbußen zu reduzieren.
2. Vereinfachte Bereitstellung: Rationalisierte LLM-Bereitstellung mit Containerisierung und Kubernetes für nahtlose Skalierbarkeit und hohe Verfügbarkeit.
3. Infrastruktur-Management: Übernimmt komplexe Aufgaben wie GPU-Zuweisung und Kubernetes-Management, sodass sich Unternehmen auf die LLM-Optimierung konzentrieren können.
4. Vorgefertigte Abstraktionen: Bietet fertige Lösungen für die einfache Integration von LLMs in bestehende Workflows, wodurch individuelle Entwicklungen überflüssig werden.
5. Unterstützung für Modellskalierung: Ermöglicht die Skalierung von LLMs aller Größen und Typen für optimale Leistung und Effizienz.

ℹ️

Eine detaillierte Anleitung zu den Trainings- und Fine-Tuning-Abläufen auf der Benutzeroberfläche finden Sie in diesem YouTube-Video

Tutorial: LLMs mit drei Klicks bereitstellen.

Das Bereitstellen Ihrer LLMs ist so einfach wie dreimal klicken!

• Wählen Sie das gewünschte Modell: Wählen Sie aus einer Vielzahl von Open-Source-Sprachmodellen auf TrueFoundry. Wir schlagen das beste Small Language Model und andere Modelle für Ihren Anwendungsfall vor. (Aufgabenbezogenes Benchmarking kommt bald!) Wählen Sie das Modell, das am besten zu Ihrem spezifischen Problem oder Anwendungsfall passt, und klicken Sie auf die Schaltfläche "Deploy".
• Wählen Sie die passenden Ressourcen: Bestätigen Sie die Ressourcen, die Sie dem Modell zuweisen möchten. TrueFoundry bietet eine kuratierte Auswahl an Hardware-Optionen, die für jedes Modell optimiert sind, um den Entscheidungsprozess zu vereinfachen, die gut mit dem von Ihnen ausgewählten Modell funktionieren.
• Modell bereitstellen: Sobald Sie das Modell und die Bereitstellungsumgebung ausgewählt haben, klicken Sie einfach auf die Schaltfläche „Submit“. TrueFoundry kümmert sich um die Aufgaben hinter den Kulissen, wie den Aufbau der Infrastruktur, die Konfiguration des Modells und die Vorbereitung für die Inference.

🚀

Ihr Modell ist jetzt bereitgestellt!

Starten Sie die Inference mit dem Modell-API-Endpunkt. TrueFoundry stellt Ihnen das OpenAPI-Interface zur Verfügung, um Ihr Modell zu testen, sowie den Beispielcode, um das Modell innerhalb Ihrer Anwendungen aufzurufen.

Tutorial: Fine-Tuning von Large Language Models mit TrueFoundry

Die meisten Unternehmen möchten Modelle verwenden, die für ihren spezifischen Anwendungsfall feingetunt sind. Um ein Modell mit TrueFoundry feinzutunen:

1. Wählen Sie das gewünschte Modell: Wählen Sie das Modell, das Sie verwenden möchten, aus dem Katalog aus. Sobald Sie das Modell ausgewählt haben, klicken Sie auf die Schaltfläche "Fine-tune", um den Prozess zu starten.
2. Wählen Sie die passenden Ressourcen: Wir vorkonfigurieren die vorgeschlagenen Ressourcen für die Fine-Tuning-Aufgabe. Benutzer können diese ändern, wenn sie aufgrund von Konfigurationsänderungen eine höhere Last erwarten.
3. Fine-Tuning-Job starten: Nach Auswahl des Modells und der gewünschten Ressourcen klicken Sie auf die Schaltfläche "Submit". TrueFoundry kümmert sich um die Aufgaben hinter den Kulissen, die mit der Einrichtung der Infrastruktur und der Konfiguration des Trainingsjobs verbunden sind. Der Fine-Tuning-Job beginnt zu laufen und nutzt die angegebenen Hardware-Ressourcen.

🚀

Das Modell hat mit dem Fine-Tuning begonnen!

Sie können das Fine-Tuning überwachen, während es fortschreitet. Im Reiter "Job Runs" können Sie alle relevanten Informationen einsehen, die mit dem Trainingsjob verbunden sind, wie z. B. Loss-Metriken, Trainingskurven und Evaluierungsergebnisse. Dies ermöglicht es Ihnen, den Fine-Tuning-Prozess zu verfolgen und fundierte Entscheidungen basierend auf der Leistung des Jobs zu treffen.

Was kommt als Nächstes?

Dies ist erst der Anfang unserer Reise mit Large Language Models (LLMs) und Generativer KI. Wir planen, in den kommenden Tagen noch viel mehr zu bauen und werden Sie auf dem Laufenden halten!

Sprechen Sie mit uns

Wir lernen in diesem Bereich immer noch dazu, genau wie alle anderen auch. Falls Sie versuchen, Large Language Models in Ihrer Organisation einzusetzen, würden wir uns freuen, uns mit Ihnen zu unterhalten und Erfahrungen auszutauschen.

Trinken Sie einen ☕️ mit uns