True ML Talks #23 - MLOps und LLM-Anwendungen @ GitLab

Wir sind zurück mit einer weiteren Folge von  True ML Talks. In dieser Folge tauchen wir erneut tief in MLOps und LLM-Anwendungen bei GitLab ein und sprechen mit Monmayuri Ray.

Monmayuri leitet den Bereich AI Research bei GitLab mit einem starken Fokus auf LLMs im letzten Jahr. Davor war sie Engineering Manager in der ModelOps Division bei GitLab. Zudem hat sie bei weiteren Unternehmen wie Microsoft und eBay gearbeitet.

📌

Unsere Gespräche mit Monmayuri decken die folgenden Aspekte ab:
- ML- und LLM-Anwendungsfälle bei GitLab
- Die Evolution der ML-Infrastruktur von GitLab zur Unterstützung von Large Language Models (LLMs)
- GitLabs Reise mit LLMs: Von Open Source bis Fine-Tuning
- Training von Large Language Models bei GitLab
- Triton vs. PyTorch, Ensembled GPUs und Dynamic Batching für LLM-Inferenz
- Herausforderungen und Forschung bei der Evaluierung von LLMs bei GitLab
- GitLabs LLM-Architektur und die Zukunft von LLMs

Sehen Sie sich die vollständige Folge unten an:

ML- und LLM-Anwendungsfälle @ GitLab

Machine Learning (ML) transformiert den Softwareentwicklungslebenszyklus, und GitLab steht an der Spitze dieser Innovation. GitLab nutzt ML, um Entwickler während ihrer gesamten Reise zu unterstützen – von der Erstellung von Issues über Merge Requests bis hin zur Bereitstellung von Apps.

Einer der spannendsten Anwendungsfälle für ML bei GitLab sind Large Language Models (LLMs). GitLab nutzt LLMs und GenAI, um neue Funktionen für seine Produkte zu entwickeln, wie z. B. Code-Vervollständigung und Issue-Zusammenfassungen.

Vorteile von ML für GitLab-Nutzer

1. Erhöhte Produktivität: ML kann Entwicklern helfen, produktiver zu sein, indem Aufgaben wie Code-Vervollständigung und Issue-Zusammenfassungen automatisiert werden.
2. Verbesserte Codequalität: ML kann Entwicklern helfen, besseren Code zu schreiben, indem potenzielle Fehler identifiziert und Verbesserungen vorgeschlagen werden.
3. Reduzierte Entwicklungszeit: ML kann Entwicklern helfen, die Zeit für die Softwareentwicklung zu verkürzen, indem Aufgaben automatisiert werden und Probleme schneller erkannt und behoben werden können.
4. Verbesserte Developer Experience: ML kann dazu beitragen, die Developer Experience zu verbessern, indem die Nutzung von GitLab-Produkten vereinfacht wird und Unterstützung sowie Anleitung geboten werden.

Wie sich die ML-Infrastruktur von GitLab entwickelt hat, um Large Language Models (LLMs) zu unterstützen

GitLab war führend beim Einsatz von Large Language Models (LLMs), um Entwickler zu unterstützen. Infolgedessen musste GitLab seine ML-Infrastruktur weiterentwickeln, um diese komplexen Modelle zu unterstützen.

Herausforderungen

1. Größe und Komplexität: LLMs sind viel größer und komplexer als traditionelle ML-Modelle. Das bedeutet, dass sie leistungsfähigere Hardware und Software benötigen, um trainiert und bereitgestellt zu werden.
2. Integration: Die Produkte von GitLab sind in Ruby on Rails und JavaScript geschrieben. Das bedeutete, dass GitLab Wege finden musste, seine ML-Infrastruktur mit diesen Technologien zu integrieren.
3. Verteilte Infrastruktur: Die ML-Infrastruktur von GitLab ist über mehrere verschiedene Cloud-Anbieter verteilt. Das bedeutet, dass GitLab Methoden entwickeln musste, um seine ML-Infrastruktur konsistent und effizient zu verwalten.

Lösungen

Um die oben genannten Herausforderungen zu bewältigen, hat GitLab eine Reihe von Änderungen an seiner ML-Infrastruktur vorgenommen. Diese Änderungen lassen sich in folgende Bereiche unterteilen:

1. Hardware: GitLab hat in neue Hardware wie GPUs und TPUs investiert, um das Training und die Bereitstellung von LLMs zu unterstützen.
2. Software: GitLab hat neue Trainings- und Deployment-Pipelines für LLMs entwickelt. GitLab hat zudem verschiedene Integrationslösungen entwickelt, damit die ML-Infrastruktur mit den Ruby on Rails- und JavaScript-Anwendungen zusammenarbeiten kann.
3. Management: GitLab hat mehrere Tools und Prozesse entwickelt, die bei der Verwaltung der verteilten ML-Infrastruktur helfen.

GitLabs Reise mit LLMs: Von Open Source bis Fine-Tuning

GitLab war führend beim Einsatz von Large Language Models (LLMs), um Entwickler zu unterstützen. In der Anfangszeit begann GitLab mit der Nutzung von Open-Source-LLMs wie Salesforce CodeGen. Da sich die Landschaft jedoch verändert hat und LLMs immer leistungsfähiger geworden sind, ist GitLab dazu übergegangen, eigene LLMs für spezifische Anwendungsfälle wie die Codegenerierung feinzutunen.

Das Fine-Tuning von LLMs erfordert erhebliche Investitionen in die Infrastruktur, da diese Modelle sehr groß und komplex sind. GitLab musste neue Trainings- und Deployment-Pipelines für LLMs entwickeln sowie neue Wege finden, seine ML-Infrastruktur in einer verteilten Umgebung zu verwalten.

Eine der zentralen Herausforderungen für GitLab beim Fine-Tuning von LLMs bestand darin, die richtige Balance zwischen Kosten und Latenz zu finden. LLMs können im Training und bei der Bereitstellung sehr teuer sein und bei der Generierung von Ergebnissen langsam wirken. GitLab musste mit verschiedenen Clustergrößen, GPU-Konfigurationen und Batching-Techniken experimentieren, um das optimale Gleichgewicht für die eigenen Anforderungen zu finden.

Eine weitere Herausforderung für GitLab war die Sicherstellung der Genauigkeit und Zuverlässigkeit der LLMs. LLMs können auf riesigen Text- und Code-Datensätzen trainiert werden, aber diese Datensätze können auch Fehler und Biases enthalten. GitLab musste neue Techniken entwickeln, um seine LLMs zu evaluieren und Entzerrungen (Debiasing) vorzunehmen.

Trotz der Herausforderungen hat GitLab erhebliche Fortschritte beim Einsatz von LLMs zur Unterstützung von Entwicklern gemacht. GitLab ist nun in der Lage, LLMs im großen Maßstab zu trainieren und bereitzustellen, und nutzt diese Modelle, um neue Funktionen und Produkte zu entwickeln, die den Softwareentwicklungsprozess effizienter und angenehmer gestalten.

Training von Large Language Models bei GitLab

Das Training großer Sprachmodelle (LLMs) ist eine anspruchsvolle Aufgabe, die erhebliche Investitionen in Infrastruktur und Ressourcen erfordert. GitLab war führend beim Einsatz von LLMs zur Unterstützung von Entwicklern, und das Unternehmen hat auf diesem Weg viel gelernt.

Hier sind einige Einblicke und Lerneffekte aus den Erfahrungen von GitLab beim Training von LLMs:

1. Klein anfangen und hochskalieren. Bei der Schätzung der benötigten GPU-Ressourcen für das Training ist es am besten, klein anzufangen und schrittweise zu skalieren. Dies hilft Ihnen, Ressourcenverschwendung zu vermeiden und potenzielle Engpässe frühzeitig zu erkennen.
2. Dynamic Batching nutzen. Dynamic Batching kann Ihnen helfen, Ihren Trainingsprozess zu optimieren, indem ähnliche Eingaben gruppiert werden. Dies kann insbesondere bei großen Datensätzen zu erheblichen Leistungssteigerungen führen.
3. Die richtigen Optimierungsparameter wählen. Es gibt keinen Universalkonzept für die Auswahl der richtigen Parameter zur Optimierung beim Fine-Tuning von LLMs. Die besten Parameter variieren je nach spezifischem LLM, den Trainingsdaten und dem gewünschten Ergebnis. Es ist jedoch wichtig, mit verschiedenen Parametern zu experimentieren, um die beste Kombination für Ihre spezifischen Anforderungen zu finden.
4. Verteiltes Training in Betracht ziehen. Verteiltes Training kann helfen, den Trainingsprozess zu beschleunigen, indem die Arbeitslast auf mehrere GPUs oder Maschinen verteilt wird. Dies kann besonders beim Training großer LLMs auf umfangreichen Datensätzen von Vorteil sein.
5. Mit dem Low Rank Adaptation Mode experimentieren. Der Low Rank Adaptation Mode ist eine Technik, mit der LLMs mit einer kleineren Anzahl von Parametern feingetunt werden können. Dies kann nützlich sein, wenn nicht genügend Ressourcen vorhanden sind, um das gesamte Modell feinzutunen.

Zusätzlich zu den obigen Erkenntnissen hat GitLab auch wertvolle Lerneffekte bezüglich der Bedeutung eines guten Verständnisses des Basismodells und der Trainingsdaten gewonnen. Beispielsweise hat GitLab festgestellt, dass es wichtig ist, den Aufbau des Basismodells zu kennen und zu wissen, wie man die Trainingsdaten kuratiert, um sie für den gewünschten Anwendungsfall zu optimieren.

Triton vs. PyTorch, Ensembled GPUs und Dynamic Batching für LLM-Inferenz

GitLab nutzt Triton für die LLM-Inferenz, da es besser für die Skalierung auf das hohe Anfragevolumen geeignet ist, das GitLab erhält. Triton lässt sich zudem leichter kapseln und skalieren als andere Modell-Server wie beispielsweise PyTorch-Server.

GitLab hat noch nicht mit den Modell-Servern TGI von Hugging Face oder VLLM experimentiert, da sich diese noch in einem frühen Entwicklungsstadium befanden, als GitLab seine LLM-Inferenz-Pipeline erstmals bereitstellte.

Beim Dynamic Batching besteht die Strategie von GitLab darin, für den spezifischen Anwendungsfall, die Last, die Abfrageebene, das Volumen und die Anzahl der verfügbaren GPUs zu optimieren. Wenn GitLab beispielsweise 500 GPUs für ein 7B-Modell zur Verfügung hat, kann eine andere Batching-Strategie verwendet werden, als wenn nur wenige GPUs für ein kleineres Modell bereitstehen.

GitLab nutzt zudem ein Ensemble von GPUs zur Bearbeitung von Anfragen. Das bedeutet, dass GitLab einen Mix verschiedener GPU-Typen einsetzt, darunter Hochleistungs-GPUs und GPUs mit geringerer Leistung. GitLab führt ein Load Balancing der Anfragen über das GPU-Ensemble durch, um Leistung und Kosten zu optimieren.

Hier sind einige Tipps für das Design einer Architektur zur Ensembled-GPU-Nutzung und zur Optimierung des Load Balancings:

1. Verstehen Sie Ihre Traffic-Muster. Wann sind Ihre Spitzenzeiten? Welche Arten von Anfragen erhalten Sie am häufigsten?
2. Nutzen Sie A/B-Testing, um mit verschiedenen GPU-Konfigurationen und Load-Balancing-Strategien zu experimentieren.
3. Überwachen Sie Ihre Leistung und Latenz, um sicherzustellen, dass Ihre Architektur Ihren Anforderungen entspricht.

Hier sind einige spezifische Beispiele dafür, wie GitLab seine Architektur für Ensembled GPUs und Dynamic Batching optimiert hat:

1. GitLab nutzt ein dynamisches Orchestrierungssystem, um Anfragen basierend auf Typ, Leistung und Verfügbarkeit den GPUs zuzuweisen.
2. GitLab setzt eine Technik namens "GPU Warm-up" ein, um sicherzustellen, dass die GPUs bereit sind, Anfragen zu verarbeiten, sobald sie benötigt werden.
3. GitLab nutzt Quantisierung, um die Größe seiner Modelle ohne Genauigkeitsverlust zu reduzieren.

Indem Sie diese Tipps befolgen, können Sie eine Architektur entwerfen, die große Mengen an LLM-Inferenzanfragen effizient verarbeiten kann.

Wir haben auch Streaming ausprobiert, und ich denke, wir prüfen Streaming derzeit auch für unsere Drittanbieter - Monmayuri

Herausforderungen und Forschung bei der Evaluierung von LLMs bei GitLab

Die Evaluierung der Leistung von Large Language Models (LLMs) ist eine anspruchsvolle Aufgabe. GitLab arbeitet an diesem Problem und stand vor mehreren Herausforderungen, darunter:

1. Unterschiedliche Anwendungsfälle haben unterschiedliche Anforderungen. Verschiedene LLM-Anwendungsfälle wie Chat, Codevorschläge und Schwachstellenerklärungen haben unterschiedliche Anforderungen und benötigen verschiedene Evaluierungsmetriken.
2. Es ist schwer zu wissen, welches Modell für eine bestimmte Abfrage am besten funktioniert. Es ist schwierig zu bestimmen, welches LLM bei einer bestimmten Abfrage am besten abschneidet, insbesondere in der Produktion.
3. Es ist schwierig, Genauigkeit und Akzeptanzraten auszubalancieren. Es ist wichtig, eine Balance zwischen der Genauigkeit der LLM-Ergebnisse und der Akzeptanzrate dieser Ergebnisse durch die Nutzer zu finden.

GitLab geht diese Herausforderungen wie folgt an:

1. Kuratieren eines guten Datensatzes für jeden Anwendungsfall. GitLab kuratiert für jeden LLM-Anwendungsfall einen Datensatz, der repräsentativ für die Arten von Abfragen ist, die Nutzer in der Produktion einreichen werden.
2. Analysieren historischer Daten. GitLab analysiert historische Daten, um zu verstehen, wie LLMs in der Vergangenheit bei verschiedenen Arten von Abfragen abgeschnitten haben.
3. Entwicklung neuer Evaluierungsmetriken. GitLab entwickelt neue Evaluierungsmetriken, die auf spezifische LLM-Anwendungsfälle zugeschnitten sind.
4. Datengestützte Entscheidungsfindung. GitLab nutzt Daten, um Entscheidungen darüber zu treffen, welche LLMs für verschiedene Anwendungsfälle eingesetzt werden und wie die Parameter dieser LLMs angepasst werden sollen.

Das Ziel von GitLab ist die Entwicklung eines skalierbaren und datengestützten Ansatzes zur Evaluierung von LLMs. Dieser Ansatz wird GitLab dabei helfen sicherzustellen, dass seine LLMs in der Produktion eine gute Leistung erbringen und die Anforderungen der Nutzer erfüllen.

Forschungsrichtungen

GitLab führt auch Forschungen zu neuen Wegen der LLM-Evaluierung durch. Einige der Forschungsrichtungen, die GitLab untersucht, umfassen:

1. Nutzung von Daten der Mensch-Computer-Interaktion (HCI) zur Evaluierung von LLMs. HCI-Daten können Einblicke darüber liefern, wie Nutzer mit LLMs interagieren und wie sie die Ergebnisse dieser Interaktionen wahrnehmen. Diese Daten können genutzt werden, um neue Evaluierungsmetriken für LLMs zu entwickeln.
2. Nutzung adversarieller Methoden zur Evaluierung von LLMs. Adversarielle Methoden können verwendet werden, um Eingaben zu erzeugen, die darauf ausgelegt sind, LLMs zu Fehlern zu verleiten. Diese Daten können genutzt werden, um die Robustheit von LLMs gegenüber verschiedenen Fehlertypen zu bewerten.
3. Nutzung von Transfer Learning zur Evaluierung von LLMs. Transfer Learning kann verwendet werden, um LLMs bei neuen Aufgaben zu evaluieren, ohne für jede Aufgabe einen neuen Datensatz sammeln zu müssen. Dies kann nützlich sein, um LLMs bei Aufgaben zu bewerten, für die Daten nur schwer oder kostenintensiv zu erheben sind.

Die Forschung von GitLab zur Evaluierung von LLMs ist fortlaufend. GitLab setzt sich dafür ein, neue und innovative Wege zur Evaluierung von LLMs zu entwickeln, um sicherzustellen, dass die eigenen LLMs den Anforderungen der Nutzer gerecht werden.

GitLabs LLM-Architektur und die Zukunft von LLMs

Die LLM-Architektur von GitLab ist ein umfassender Ansatz zum Trainieren, Evaluieren und Bereitstellen von LLMs. Die Architektur ist so konzipiert, dass sie flexibel und skalierbar ist, sodass GitLab problemlos neue Technologien übernehmen und die Anforderungen seiner Nutzer erfüllen kann.

Die Architektur besteht aus mehreren Schlüsselkomponenten:

1. Daten-Vorverarbeitung und Tokenisierung: Die LLM-Architektur von GitLab beginnt mit der Vorverarbeitung und Tokenisierung der Daten, die zum Trainieren des LLM verwendet werden. Dieser Prozess umfasst das Bereinigen der Daten, das Entfernen von Rauschen und das Konvertieren des Textes in ein Format, das das LLM verstehen kann.
2. Sampling und Kürzung: Sobald die Daten vorverarbeitet und tokenisiert wurden, führt die LLM-Architektur von GitLab ein Sampling und eine Kürzung der Daten durch. Dies geschieht, um den Rechenaufwand für das Training des LLM zu reduzieren.
3. GPU-Suites: Die LLM-Architektur von GitLab nutzt GPU-Suites zum Trainieren des LLM. GPUs sind spezialisierte Prozessoren, die sich hervorragend für das Training von LLMs eignen.
4. Evaluation-Suite: Die LLM-Architektur von GitLab umfasst eine Evaluation-Suite zur Bewertung der Leistung des LLM. Die Evaluation-Suite enthält eine Vielzahl von Metriken wie Genauigkeit, Flüssigkeit und Kohärenz.
5. Model-Checkpoints: Die LLM-Architektur von GitLab speichert Model-Checkpoints in regelmäßigen Abständen. Dies ermöglicht es GitLab, das Training an einem früheren Punkt wiederaufzunehmen, falls etwas schiefgeht.
6. Prompt-Bibliothek: Die LLM-Architektur von GitLab enthält eine Prompt-Bibliothek, also eine Sammlung von Prompts, mit denen verschiedene Textarten durch das LLM generiert werden können.
7. Model Registry: Die LLM-Architektur von GitLab enthält eine Model Registry als zentrales Repository für alle LLM-Modelle von GitLab.
8. Deployment-Engine: Die LLM-Architektur von GitLab umfasst eine Deployment-Engine, die das LLM in der Produktion bereitstellt. Die Deployment-Engine beinhaltet einen Load Balancer, um den Traffic auf mehrere Instanzen des LLM zu verteilen.

Die LLM-Architektur von GitLab ist ein mächtiges Werkzeug, das es GitLab ermöglicht, LLMs im großen Maßstab zu trainieren, zu evaluieren und bereitzustellen. Die Architektur ist flexibel und skalierbar konzipiert, sodass GitLab problemlos neue Technologien aufgreifen und die Anforderungen der Nutzer erfüllen kann.

Die Zukunft von LLMs

LLMs sind noch eine relativ neue Technologie, aber sie haben das Potenzial, viele Branchen zu revolutionieren. GitLab ist überzeugt, dass LLMs erhebliche Auswirkungen auf die Softwareentwicklungsbranche haben werden.

GitLab nutzt LLMs bereits zur Verbesserung seiner Produkte und Dienstleistungen. Beispielsweise verwendet GitLab LLMs, um Codevorschläge zu generieren, Schwachstellen zu erklären und die User Experience seiner Produkte zu verbessern.

GitLab ist überzeugt, dass auch andere Organisationen in LLMs investieren sollten. LLMs bieten das Potenzial, Produktivität, Effizienz und Qualität in vielen Branchen zu steigern.

Investitionsbereiche

GitLab empfiehlt Organisationen, in die folgenden Bereiche zu investieren, um im LLM-Bereich die Nase vorn zu haben:

1. Infrastruktur: LLMs erfordern erhebliche Investitionen in die Infrastruktur. Organisationen müssen in GPUs, Speicher und Netzwerkverbindungen investieren, um LLMs zu unterstützen.
2. Tools und Technologien: Es gibt eine Reihe von Tools und Technologien, die Organisationen beim Trainieren, Evaluieren und Bereitstellen von LLMs unterstützen können. Organisationen sollten in die Tools und Technologien investieren, die am besten zu ihren Anforderungen passen.
3. Talente: LLMs sind eine komplexe Technologie. Organisationen müssen in Talente mit den Fähigkeiten und dem Wissen investieren, um LLMs zu trainieren, zu evaluieren und bereitzustellen.

Durch Investitionen in diese Bereiche können Organisationen im LLM-Bereich führend bleiben und die Vorteile dieser leistungsstarken Technologie nutzen.

Lesen Sie unsere vorherigen Blogs aus der Reihe True ML Talks:

‍

True ML Talks #21 - LLM, Machine Learning Platform @ Voiceflow

In diesem Blog tauchen wir tief in die Machine Learning Platform bei Voiceflow ein. Verstehen Sie deren ML-Architektur und wie Generative AI und LLMs bei Voiceflow eingesetzt werden.

TrueFoundry Blog TrueFoundry

‍

Schauen Sie weiterhin die TrueML YouTube-Serie und lesen Sie die TrueML Blog-Serie.

TrueFoundry ist eine ML Deployment PaaS auf Kubernetes, um Entwickler-Workflows zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten – bei vollständiger Sicherheit und Kontrolle für das Infrastrukturteam. Über unsere Plattform ermöglichen wir Machine-Learning-Teams, Modelle in 15 Minuten mit 100 % Zuverlässigkeit, Skalierbarkeit und der Möglichkeit zu deployen und zu überwachen, Rollbacks in Sekundenschnelle durchzuführen. Dies spart Kosten, beschleunigt Releases in die Produktion und schafft echten geschäftlichen Mehrwert.