Skalierung der Bereitstellung von feingetunten LoRA-Modellen

Im Bereich der Bereitstellung von KI-Anwendungen hat sich die Skalierung der Bereitstellung feinabgestimmter Modelle zu einer zentralen Herausforderung entwickelt. Stellen Sie sich folgendes Szenario vor: Sie sind ein SaaS-Startup, das 500 Kunden mit unterschiedlichen Anforderungen betreut und feinabgestimmte Sprachmodelle (LLMs) für internen Support und personalisierte Marketinginhalte benötigt. Dies bringt die gewaltige Aufgabe mit sich, etwa 1000 Modelle feinabzustimmen.

Um diese Einschränkungen zu überwinden, kommt LoRA-Fine-Tuning ins Spiel – eine Technik, bei der das Kern-LLM eingefroren und spezifische Gewichte selektiv verfeinert werden, um aktualisierte Daten zu integrieren. Dieser effiziente und skalierbare Ansatz arbeitet mit einem Bruchteil der ursprünglichen Parameter, die durch die LoRA-Konfiguration definiert sind.

Die eigentliche Herausforderung besteht jedoch darin, diese feinabgestimmten Adapter effektiv bereitzustellen.

Versuchsaufbau

Zahlreiche Open-Source-Frameworks für die LLM-Bereitstellung arbeiten aktiv daran, die Bereitstellung von LoRA-Adaptern zu integrieren, doch eine umfassende Lösung lässt noch auf sich warten. In diesem Experiment untersuchen wir LoRAX von Predibase, ein vielversprechendes Framework, das das Problem der Bereitstellung und Skalierung von LoRA-Adaptern effizient gelöst zu haben scheint.

💡

Weitere Einblicke zu LoRAX von Predibase finden Sie in deren Blog: LoRAX – Hunderte feinabgestimmte LLMs zum Preis von einem bereitstellen

Hauptmerkmale von LoRAX

LoRAX zeichnet sich durch drei grundlegende Säulen der Implementierung aus:

1. Dynamisches Laden von Adaptern: Ermöglicht das Just-in-Time-Laden von feinabgestimmten LoRA-Gewichten, wodurch sichergestellt wird, dass laufende Anfragen zur Laufzeit nicht unterbrochen werden.
2. Mehrstufiges Caching von Gewichten: Erleichtert den schnellen Austausch von LoRA-Adaptern zwischen Anfragen und verhindert Speicherprobleme (Out-of-Memory), indem Adaptergewichte auf CPU und Festplatte ausgelagert werden.
3. Kontinuierliches Multi-Adapter-Batching: Nutzt eine faire Scheduling-Richtlinie zur Optimierung des gesamten Systemdurchsatzes und erweitert Strategien für kontinuierliches Batching auf mehrere Sätze von LoRA-Adaptern parallel.

Leistungsbewertung mit LoRAX

In unserem Experiment haben wir die Leistung von LoRAX bei der Verwaltung einer Vielzahl von feinabgestimmten Adaptern unter Verwendung des TinyLlama LLM-Modells umfassend bewertet. Während unserer Versuche haben wir die Effizienz bei der Verarbeitung zahlreicher Anfragen über mehrere Adapter hinweg gemessen.

Voraussetzungen für LoRAX Einrichtung

Um unsere Experimente zu replizieren, befolgen Sie diese Voraussetzungen, um LoRAX auf Ihrem Server einzurichten:

docker run \
   --gpus all \
   --shm-size 1g \
   -p 8080:80 \
   -v $PWD/data:/data \
   ghcr.io/predibase/lorax:latest \
   --model-id TinyLlama/TinyLlama-1.1B-Chat-v0.6 # für das Finetuning verwendetes Basismodell


Installieren Sie zusätzlich den LoRAX-Client für Inferenzaufrufe mit folgendem Befehl:

pip install lorax-client


Erkenntnisse zur Inferenz

Der Einsatz von LoRAX für die Bereitstellung von LoRA-feinabgestimmten Modellen bietet deutliche Vorteile, da es möglich ist, eine einzige GPU für das Basis-LLM-Modell zu nutzen und gleichzeitig jeden Adapter pro Anfrage dynamisch zu laden. Dieser dynamische Ansatz – die Verwendung einer einzelnen GPU und das Laden von Adaptern zur Laufzeit – macht LoRAX zu einer optimalen Lösung für die Bereitstellung einer Vielzahl von feinabgestimmten LoRA-Modellenhandelt.

Beispiel für Inferenz-Code:

from lorax import Client

client = Client("https://example.lorax.truefoundry.tech", timeout=10)
generated_text = client.generate(
   prompt,</SEGMENT 1]
   do_sample=False,</SEGMENT 2]
   max_new_tokens=10,</SEGMENT 3]
   adapter_id=adapter_id,</SEGMENT 4]
   adapter_source="local"</SEGMENT 5]
).generated_text </SEGMENT 6]


Unsere experimentellen Ergebnisse belegen eindeutig die erheblichen Vorteile des Einsatzes von LoRAX für die Bereitstellung feinabgestimmter LoRA-Modelle. Durch das dynamische Laden von Adaptern pro Anfrage und die effiziente Nutzung einer einzelnen A100-GPU für das Basis-LLM-Modell konnte LoRAX die Leistung bemerkenswert optimieren.</SEGMENT 7]

Leistungserkenntnisse</SEGMENT 8]

In unseren jüngsten Experimenten mit dem dynamischen Laden von 100 Adaptern haben wir deren Leistungsmerkmale genau untersucht. Die anfängliche Latenz bei der ersten Anfrage war hauptsächlich auf die Notwendigkeit zurückzuführen, das Basis-LLM-Modell in den Arbeitsspeicher zu laden. Nachfolgende Anfragen zeigten jedoch eine verringerte Latenz, da LoRAX Adapter schnell austauschen und Echtzeit-Zusammenführungen für Vorhersagen durchführen kann.</SEGMENT 9]

In unseren Blogs haben wir bereits den Prozess des Ladens von LoRA-feinabgestimmten Modellen mittels HuggingFace PEFT erörtert. Unsere Experimente zeigten jedoch erhebliche Probleme bei diesem Ansatz auf:</SEGMENT 11]

1) Latenzanstieg bei zunehmender Anzahl von Adaptern im GPU-Speicher:</SEGMENT 12]
Das Hauptproblem trat auf, als wir versuchten, mehr Adapter im GPU-Speicher unterzubringen. Dies führte zu einem deutlichen Anstieg der Latenz. Mit jedem zusätzlichen Adapter nahm die Latenz erheblich zu, was die Gesamtleistung beeinträchtigte.</SEGMENT 13]

2) Begrenzte Kapazität des GPU-Speichers:</SEGMENT 14]
Eine weitere kritische Einschränkung war die begrenzte Anzahl an Adaptern, die im GPU-Speicher Platz fanden. Diese Beschränkung behinderte die Skalierbarkeit und stellte einen Engpass für die gleichzeitige Nutzung einer größeren Anzahl von Adaptern dar.</SEGMENT 15]

Um die Leistungsunterschiede weiter zu verdeutlichen, betrachten Sie die folgenden Vergleiche:</SEGMENT 16]

Verarbeitung von 70 Tokens und Generierung von 10 Tokens auf einer A100-GPU:</SEGMENT 17]
HuggingFace PEFT:</SEGMENT 18] Die Latenz lag zwischen 400 und 450 ms.</SEGMENT 19]
LoRAX:</SEGMENT 20] Es wurde eine durchschnittliche Latenz von 170 ms nachgewiesen.

Auswirkungen von Adaptern auf die Latenz:
HuggingFace PEFT:</SEGMENT 18] Das Hinzufügen von 1000 TinyLlama-LoRA-Adaptern zum Basis-LLM ließ die Latenz auf 3500–4000 ms ansteigen, was einer Zunahme von etwa 700 % entspricht.
LoRAX:</SEGMENT 20] Die Latenz blieb dank des dynamischen Lademechanismus auf der GPU konstant unbeeinflusst von der Anzahl der Adapter, was auch bei einer größeren Anzahl von Modellen für eine stabile Latenz sorgt.

Zusammenfassend lässt sich sagen, dass HuggingFace PEFT zwar die Modellanpassung und die Nutzung von Adaptern erleichtert, jedoch bei steigender Adapteranzahl mit Leistungsproblemen zu kämpfen hat, was sich insbesondere auf Latenz und Skalierbarkeit auswirkt. Im Gegensatz dazu zeichnet sich LoRAX durch die Fähigkeit aus, Adapter dynamisch zu laden und Vorhersagen in Echtzeit auszuführen, wodurch eine konsistente Leistung und Skalierbarkeit selbst bei einer Vielzahl von LoRA-feingetunten Modellen gewährleistet wird.

Fazit

Die Stärke von LoRAX bei der effizienten Handhabung verschiedener feingetunter LoRA-Modelle bei gleichzeitigem Beibehalten eines einheitlichen Basismodells ist ein vielversprechender Ansatz für Unternehmen, die skalierbare KI-Dienste suchen, die auf individuelle Kundenbedürfnisse zugeschnitten sind.

Durch die Nutzung der effizienten Adapter-Ladestrategien von LoRAX können Unternehmen ihre Dienste souverän skalieren und Tausende von spezifisch angepassten, feingetunten LoRA-Modellen einbinden, während sie gleichzeitig ein einheitliches Basismodell beibehalten.

Zusammenfassend lässt sich sagen, dass LoRAX ein echter Wendepunkt bei der Bereitstellung von feingetunten Adaptern ist und eine skalierbare sowie optimierte Lösung für Unternehmen bietet, die verschiedene KI-Modelle effektiv einsetzen möchten.

TrueFoundryist eine ML-Deployment-PaaS auf Basis von Kubernetes, die Entwickler-Workflows beschleunigt und gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen bietet, während sie dem Infrastruktur-Team umfassende Sicherheit und Kontrolle gewährleistet. Über unsere Plattform ermöglichen wir Machine-Learning-Teams:bereitstellen und überwachenModelle in 15 Minuten mit 100% Zuverlässigkeit, Skalierbarkeit und der Möglichkeit, innerhalb von Sekunden ein Rollback durchzuführen – so sparen sie Kosten, bringen Modelle schneller in die Produktion und erzielen echten geschäftlichen Mehrwert.