TrueFoundry تنشر وتضبط LLMs المفتوحة المصدر الآن بنقرات قليلة!

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
يسعدنا أن نعلن أن TrueFoundry قد طورت حلاً قوياً وسهل الاستخدام لنشر ودوزنة Large Language Model (LLM) من خلال Model Catalouge. نهدف إلى مساعدة الشركات على استضافة LLMs المفتوحة المصدر الخاصة بها ذاتياً فوق Kubernetes، مما يجعل تكاليف الاستدلال لديك أرخص بـ 10 مرات بنقرة واحدة. في هذه المدونة، نوضح لك كيف يمكنك نشر نموذج Dolly-v2-3b ودوزنة نموذج Pythia-70M باستخدام TrueFoundry.هل ستغير LLMs كيفية تفكيرنا في MLOps؟
تم تصميم منصة TrueFoundry لدعم نماذج Machine Learning و Deep Learning من جميع الأنواع، بدءاً من أَبسطها مثل Logistic Regression وحتى أحدث النماذج مثل Stable Diffusion. قد يتساءل المرء، لماذا نحتاج إلى بناء شيء جديد عندما يتعلق الأمر بـ Large Language Models؟
إن الحجم الهائل لهذه النماذج وتعقيدها يفرضان تحديات كبيرة عندما يتعلق الأمر بنشرها في تطبيقات العالم الحقيقي. على الرغم من أن منصة TrueFoundry كانت تدعم بالفعل نشر النماذج من جميع الأحجام على نطاق واسع، فقد أدركنا أن هناك المزيد من التحسينات (التكلفة + الوقت) وتحسينات تجربة المستخدم التي يمكننا القيام بها لهذه النماذج.
Large Language Models (LLMs) هنا لتبقى.
لقد أثارت Large language models (LLMs)، مثل ChatGPT، بلا شك ضجة كبيرة في مجال الذكاء الاصطناعي.
ولكن بعد التحدث إلى أكثر من 50 شركة بدأت بالفعل في إدخالها في الإنتاج، فإن القيمة التي تخلقها بالفعل هائلة. نحن نؤمن بأن استخدام LLMs سيتوسع فقط حيث يكتشف الناس حالات استخدام جديدة كل يوم.

ولكن إرسال LLMs إلى الإنتاج أمر صعب.
يعد إنشاء حالة استخدام لإثبات المفهوم باستخدام Large Language Models و OpenAI APIs أمراً سهلاً، ولكن عندما تبدأ في التفكير في الإنتاج 🚀، فإن العديد من الاعتبارات الأخرى تدخل في الحسبان.
بالنسبة لمعظم الشركات، فإن بناء القدرات الهندسيّة للتعامل مع البنية التحتية المعقدة لـ GPU لخدمة LLMs بشكل موثوق أمر صعب ويستغرق وقتاً طويلاً. علاوة على ذلك، ترغب معظم الشركات في الحصول على نماذج محددة تعمل بشكل أفضل في حالة الاستخدام الخاصة بها، والتي تحتاج من أجلها إلى دوزنة هذه النماذج. يمكن أن يكون هذا تحدياً تقنياً وأمراً مكلفاً في نفس الوقت.

أرسل LLMs المفتوحة المصدر بسرعة!
موقفنا بشأن مستقبل LLMs هو أن النماذج المفتوحة المصدر ستكون هي السبيل للمضي قدماً. اقرأ المزيد عن آرائنا حول هذا الموضوع هنا. لقد قررنا الاستفادة من مجتمع المبتكرين هذا الذي يتطور بسرعة ومساعدة الشركات على استغلال القيمة الكاملة لهذه النماذج من LLMs المفتوحة المصدر في مؤسساتهم.
تريد TrueFoundry أن يتمكن شركاؤنا من تحقيق النطاق الكامل للمزايا التي يمكن أن تحدثها LLMs المفتوحة المصدر، المدوزنة لحالة الاستخدام الخاصة بهم، في مؤسساتهم:
- فعالة من حيث التكلفة: تكلفة أقل بـ 5-10 مرات من استخدام OpenAI APIs
- خصوصية بيانات كاملة: على السحابة الخاصة بك/عنقود Kubernetes المحلي
- تحكم كامل: للدوزنة، والتراجع، وما إلى ذلك
ومع ذلك، فإن إدارة ونشر النماذج المفتوحة المصدر على البنية التحتية الخاصة بك ليست مهمة سهلة. في حين أن نشر LLM محلياً (on-premise) يوفر تحكماً لا مثيل له في البيانات، وجاهزية للامتثال، وكفاءة تكلفة طويلة الأجل، إلا أنه يتطلب خبرة عميقة في تنسيق GPU، وإدارة Kubernetes، وتحسين النماذج.
ولكن تخيل لو كان الأمر بسهولة توصيل بياناتك وبضع نقرات فقط؟
نحن نفهم التحديات التي تواجهها الشركات عند الانتقال من إثبات مفهوم LLM إلى الإنتاج. نهدف إلى بناء الطبقة التي تجعل هذه العملية سهلة للغاية لشركائنا. إليك كيف نفعل ذلك:
تقديم كتالوج النماذج (Model Catalogue)
إن Model Catalogue الخاص بـ TrueFoundry هو مستودع لجميع Open Source Large Language Models (LLMs) الشائعة التي يمكن نشرها بنقرة واحدة. يمكن للمستخدم أيضاً دوزنة النموذج مباشرة من كتالوج النماذج.
يدعم الكتالوج معظم النماذج الشائعة بالفعل، ونحن نضيف الدعم للمزيد كل يوم. بعض النماذج الشائعة التي يمكنك نشرها بالفعل على السحابة الخاصة بك هي:
- Pythia-70M
- Vicuna 7B 1.1 HF و Vicuna 13 B 1.1 HF
- Dolly V2 7B و Doly V2 12B
- Flan T5 XL
- Alpaca 7B و Alpaca 13B
وغيرها الكثير.....
السحر الذي نفعله فوق LLMs المفتوحة المصدر 🪄
نحن مهووسون بتمكين الشركات من الشحن في اليوم الأول. لجعل هذا ممكناً، إليك المبادئ التي نبني عليها قدرات LLM لدينا:
- تحسين التكلفة: يعظم استخدام الموارد لتقليل نفقات البنية التحتية دون التضحية بالأداء.
- النشر المبسط: نشر مبسط لـ LLM مع Containerization و Kubernetes لتوسع سلس وتوافر عالٍ.
- إدارة البنية التحتية: يتعامل مع المهام المعقدة مثل تخصيص GPU وإدارة Kubernetes، مما يفرغ الشركات للتركيز على تحسين LLM.
- تجريدات مبنية مسبقاً: يوفر حلولاً جاهزة لسهولة دمج LLMs في سير العمل الحالي، مما يلغي الحاجة إلى التطوير المخصص.
- دعم تحجيم النماذج: يتيح تحجيم LLMs من جميع الأحجام والأنواع للحصول على الأداء والكفاءة الأمثل.
ℹ️
للحصول على شرح تفصيلي لتدفقات التدريب والدوزنة على واجهة المستخدم، يرجى الرجوع إلى فيديو YouTube هذا
شرح تعليمي: نشر LLMs في غضون ثلاث نقرات.
إن نشر LLMs الخاص بك بسهولة النقر ثلاث مرات!
- حدد النموذج المطلوب: اختر من بين مجموعة متنوعة من النماذج اللغوية مفتوحة المصدر المتاحة على TrueFoundry. نحن نقترح أفضل small language model ونماذج أخرى لحالة الاستخدام الخاصة بك. (اختبار مقارنة الأداء حسب المهمة قادم قريباً!) حدد النموذج الذي يناسب مشكلتك أو حالة الاستخدام الخاصة بك وانقر على زر النشر.
- اختر الموارد المناسبة: أكد الموارد التي تريد تخصيصها للنموذج. تقدم TrueFoundry مجموعة مختارة من خيارات الأجهزة المحسنة لكل نموذج لتبسيط عملية اتخاذ القرار التي تعمل بشكل جيد مع النموذج الذي حددته.
- انشر النموذج: بمجرد تحديد النموذج وبيئة النشر، ما عليك سوى النقر على زر "Submit". تتولى TrueFoundry المهام الخلفية المتضمنة في إعداد البنية التحتية، وتكوين النموذج، وجعله جاهزاً للاستدلال.
🚀
تم نشر نموذجك الآن!
ابدأ الاستدلال باستخدام نقطة نهاية API الخاصة بالنموذج. توفر لك TrueFoundry واجهة OpenAPI لاختبار نموذجك والكود النموذجي واستدعاء النموذج داخل تطبيقاتك.

شرح تعليمي: دوزنة Large Language Models باستخدام TrueFoundry

ترغب معظم الشركات في استخدام نماذج مدوزنة لحالة الاستخدام الخاصة بها. لدوزنة نموذج باستخدام TrueFoundry:
- حدد النموذج المطلوب: اختر النموذج الذي تريد استخدامه من الكتالوج. بمجرد تحديد النموذج، انقر على زر "Fine-tune" لبدء العملية.
- اختر الموارد المناسبة: نقوم بتكوين الموارد المقترحة مسبقاً لمهمة الدوزنة. يجوز للمستخدمين تغييرها إذا كانوا يتوقعون حملاً أعلى بسبب التغييرات في التكوينات.
- انشر وظيفة الدوزنة: بعد تحديد النموذج والموارد المطلوبة، انقر على زر "Submit". تتولى TrueFoundry المهام الخلفية المتضمنة في إعداد البنية التحتية وتكوين وظيفة التدريب. ستبدأ وظيفة الدوزنة في التشغيل، باستخدام موارد الأجهزة المحددة.
🚀
بدأ النموذج في الدوزنة!
يمكنك مراقبة الدوزنة أثناء تقدمها. في تبويب تشغيل الوظائف (job runs)، يمكنك عرض جميع المعلومات ذات الصلة المرتبطة بوظيفة التدريب، مثل مقاييس الخسارة، ومنحنيات التدريب، ونقاط التقييم. يتيح لك هذا تتبع عملية الدوزنة واتخاذ قرارات مستنيرة بناءً على أداء الوظيفة.
ما التالي؟
هذه مجرد بداية رحلتنا مع Large Language Models (LLMs) والذكاء الاصطناعي التوليدي. نحن نخطط لبناء المزيد في الأيام القادمة وسنبقيكم على اطلاع!
دردش معنا
ما زلنا نتعلم عن هذا الموضوع، مثل أي شخص آخر. في حال كنت تحاول الاستفادة من Large Language Models في مؤسستك، فنحن نحب الدردشة وتبادل الملاحظات.
اشرب ☕️ معنا
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






