توسيع نطاق تقديم نماذج LoRA المحسّنة (Fine-tuned)

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
في مجال نشر تطبيقات AI، برز توسيع نطاق تقديم النماذج المحسّنة (finetuned) كتحدٍ محوري. تخيل هذا السيناريو: أنت شركة ناشئة تقدم خدمات SaaS لـ 500 عميل باحتياجات متنوعة، وتتطلب تكييفات لـ Language Model (LLM) المحسّنة للدعم الداخلي ومحتوى التسويق المخصص. ينطوي هذا على المهمة الشاقة المتمثلة في تحسين حوالي 1000 نموذج.
لمعالجة هذه القيود، يظهر LoRA Finetuning—وهي تقنية تتضمن تجميد LLM الأساسي وتعديل أوزان محددة بشكل انتقائي لاستيعاب البيانات المحدثة. يعمل هذا النهج، الفعال والقابل للتوسع، على جزء ضئيل من Paramenters الأصلية المحددة بواسطة LoRA Configuration.
ومع ذلك، فإن التحدي الحقيقي يكمن في نشر هذه Adapters المحسّنة بشكل فعال.
إعداد التجربة
تعمل العديد من أطر تقديم LLM مفتوحة المصدر بجد لإدماج تقديم LoRA adapters، لكن الحل الشامل لا يزال غير متاح بشكل كامل. في هذه التجربة، نستكشف LoRAX من Predibase، وهو إطار عمل واعد يبدو أنه حل الشيفرة بفعالية لتقديم وتوسيع نطاق LoRA adapters.
💡
لمزيد من الرؤى حول LoRAX من Predibase، ارجع إلى مدونتهم: LoRAX - تقديم المئات من LLMs المحسّنة بتكلفة نموذج واحد
الميزات الرئيسية لـ LoRAX
يتميز LoRAX بثلاثة ركائز أساسية للتنفيذ:
- تحميل Adapters الديناميكي: يسمح بتحميل أوزان LoRA المحسّنة في الوقت المناسب (just-in-time)، مما ينفي أي اضطراب للطلبات المتزامنة أثناء التشغيل.
- التخزين المؤقت للأوزان متعدد المستويات (Tiered Weight Caching): يسهل التبادل السريع لـ LoRA adapters بين الطلبات، مما يمنع مشكلات نفاد الذاكرة من خلال تفريغ أوزان Adapters إلى CPU والقرص الصلب.
- التجميع المستمر متعدد Adapters (Continuous Multi-Adapter Batching): يستخدم سياسة جدولة عادلة لتحسين الإنتاجية الإجمالية للنظام، مما يمدد استراتيجيات التجميع المستمر عبر مجموعات متعددة من LoRA adapters بالتوازي.
تقييم الأداء مع LoRAX
في تجربتنا، قمنا بتقييم أداء LoRAX بشكل مكثف في إدارة مجموعة واسعة من Adapters المحسّنة باستخدام نموذج TinyLlama LLM. وطوال تجاربنا، قمنا بفياس كفاءته في معالجة العديد من الطلبات عبر متعدد من Adapters.
المتطلبات الأساسية لإعداد LoRAX
لتكرار تجاربنا، اتصل بالمتطلبات الأساسية التالية لإعداد LoRAX على الخادم الخاص بك:
docker run \
--gpus all \
--shm-size 1g \
-p 8080:80 \
-v $PWD/data:/data \
ghcr.io/predibase/lorax:latest \
--model-id TinyLlama/TinyLlama-1.1B-Chat-v0.6 # base model used for finetuning
بالإضافة إلى ذلك، قم بتثبيت عميل LoRAX لاستدعاءات الاستدلال (inference) باستخدام:
pip install lorax-client
رؤى الاستدلال (Inference)
وفر الاستفادة من LoRAX لتقديم نماذج LoRA المحسّنة مزايا فريدة بفضل قدرته على استخدام GPU واحد لنموذج LLM الأساسي مع تحميل كل Adapter ديناميكيًا لكل طلب. هذا النهج الديناميكي—الذي يستخدم GPU واحدًا ويحمل Adapters فورًا—يجعل LoRAX حلًا مثاليًا لتقديم مجموعة كبيرة من نماذج LoRA المحسّنة.
مثال على كود الاستدلال (Inference Code):
from lorax import Client
client = Client("https://example.lorax.truefoundry.tech", timeout=10)
generated_text = client.generate(
prompt,
do_sample=False,
max_new_tokens=10,
adapter_id=adapter_id,
adapter_source="local"
).generated_text
أثبتت نتائجنا التجريبية بشكل قاطع الفوائد الكبيرة لاستخدام LoRAX لتقديم نماذج LoRA المحسّنة. من خلال التحميل الديناميكي لـ Adapter لكل طلب والاستخدام الفعال لـ A100 GPU واحد لنموذج LLM الأساسي، حسن LoRAX الأداء بشكل ملحوظ.
رؤى الأداء
في تجاربنا الأخيرة التي تضمنت التحميل الديناميكي لـ 100 من Adapters، فحصنا عن كثب خصائص أدائها. نبع زمن الانتقال (Latency) الأولي الملاحظ خلال الطلب الأول أساسًا من الضرورة لتحميل نموذج LLM الأساسي في الذاكرة. ومع ذلك، أظهرت الطلبات اللاحقة انخفاضًا في زمن الانتقال بفضل قدرة LoRAX على تبادل Adapters بسرعة وإجراء دمج في الوقت الفعلي للتنبؤات.

سابقًا، ناقشنا عملية تحميل نماذج LoRA المحسّنة باستخدام HuggingFace PEFT في مدوناتنا. ومع ذلك، أبرزت تجاربنا مشكلات كبيرة مع هذا النهج:
1) تصاعد زمن الانتقال (Latency) مع زيادة Adapters في ذاكرة GPU:
ظهرت المشكلة الرئيسية عندما حاولنا ملاءمة المزيد من Adapters في ذاكرة GPU. أدى هذا إلى ارتفاع ملحوظ في زمن الانتقال. مع كل Adapter إضافي، شهد زمن الانتقال زيادة كبيرة، مما أثر على الأداء العام.
2) السعة المحدودة في ذاكرة GPU:
كان هناك قيد رئيسي آخر يتمثل في المجموعة المحدودة من Adapters التي يمكن استيعابها داخل ذاكرة GPU. عاق هذا القيد التوسع وشكل اختناقًا في استيعاب عدد أكبر من Adapters في نفس الوقت.
لتوضيح فروق الأداء بشكل أكبر، قارن بين ما يلي:
معالجة 70 Tokens وإنشاء 10 Tokens على A100 GPU:
HuggingFace PEFT: تراوح زمن الانتقال بين 400-450 ملي ثانية.
LoRAX: أظهر متوسط زمن انتقال قدره 170 ملي ثانية.
تأثير Adapters على زمن الانتقال:
HuggingFace PEFT: إضافت 1000 من TinyLlama LoRA adapters إلى LLM الأساسي أدت إلى زيادة زمن الانتقال إلى 3500-4000 ملي ثانية، مما يمثل زيادة بنسبة 700٪ تقريبًا.
LoRAX: ظل زمن الانتقال غير متأثر باستمرار بعدد Adapters، بفضل آلية التحميل الديناميكي على GPU، مما يضمن زمن انتقال مستقرًا حتى مع عدد أكبر من النماذج.
باختصار، بينما يسهل HuggingFace PEFT تكييف النماذج واستخدام Adapters، فإنه يواجه تحديات في الأداء مع زيادة عدد Adapters، مما يؤثر بشكل خاص على زمن الانتقال والتوسع. في المقابل، يبرز LoRAX بقدرته على تحميل Adapters ديناميكيًا وتنفيذ التنبؤات في الوقت الفعلي، مما يضمن أداءً مستقرًا وتوسعًا سلسًا، حتى مع عدد كبير من نماذج LoRA المحسّنة.
الخاتمة
إن براعة LoRAX في التعامل بفعالية مع مختلف نماذج LoRA المحسّنة مع الحفاظ على نموذج أساسي موحد تعد أمرًا ممتازًا للشركات التي تبحث عن خدمات AI قابلة للتوسع ومصممة خصيصًا لاحتياجات العملاء الفردية.
من خلال الاستفادة من استراتيجيات تحميل Adapters الفعالة في LoRAX، يمكن للشركات بثقة توسيع نطاق خدماتها لتشمل الآلاف من نماذج LoRA المحسّنة والمصممة خصيصًا، وكل ذلك مع الحفاظ على نموذج أساسي موحد.
باختصار، يبرز LoRAX كحل ثوري في تقديم Adapters المحسّنة، حيث يقدم حلًا قابلًا للتوسع ومحسّنًا للشركات التي تسعى لنشر نماذج AI متنوعة بفعالية.
TrueFoundry هي منصة PaaS لنشر ML فوق Kubernetes لتسريع مسارات عمل المطورين مع منحهم المرونة الكاملة في اختبار النماذج ونشرها مع ضمان الأمان والتحكم الكاملين لفريق البنية التحتية. من خلال منصتنا، نمكّن فرق Machine Learning من نشر ومراقبة النماذج في 15 دقيقة بموثوقية وكفاءة بنسبة 100٪، وقدرة على التراجع في ثوانٍ - مما يسمح لهم بتوفير التكاليف وإطلاق النماذج إلى البيئة الإنتاجية بشكل أسرع، وتحقيق قيمة أعمال حقيقية.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.



















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






