جلب OpenCode داخليًا: استخدام الأدوات بأمان على TrueFoundry

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
لقد مررنا جميعًا بتلك اللحظة مع Code Interpreter الخاص بـ ChatGPT (المعروف حاليًا بـ "Advanced Data Analysis"). تقوم بتحميل ملف CSV غير منظم، وتطلب منه "تعديل التواريخ ورسم الاتجاه بيانيًا"، وتراقب بذهول كيف يكتب وينفذ كود Python في الوقت الفعلي.
إنها أداة خارقة للإنتاجية. ولكنها في الوقت نفسه ثغرة أمنية هائلة إذا كنت تعمل مع بيانات حساسة.
في اللحظة التي تقوم فيها بتحميل ملف CSV هذا، فإنه يغادر محيطك الأمني. بالنسبة لفريقنا، كان الهدف هو تكرار قدرة "OpenCode" هذه – بمنح وكلاء LLM لدينا القدرة على كتابة الأكواد وتنفيذها – دون مخاطر تسريب البيانات. لم نكن نريد API عبارة عن "صندوق أسود"؛ بل كنا بحاجة إلى Private Code Interpreter حيث تتم الحوسبة بجوار البيانات مباشرة.
إليك كيفية تطبيق Tool Usage وتنفيذ الأكواد بأمان باستخدام مكونات البنية التحتية لـ TrueFoundry.
البنية التحتية لـ Private Code Interpreter
لا يقتصر "OpenCode" على مجرد امتلاك نموذج يمكنه كتابة Python. بل يتطلب ثلاثة مكونات متميزة تعمل بتناغم:
- العقل (LLM): نموذج قادر على الاستنتاج و Function Calling (مثل Llama 3 أو DeepSeek-Coder أو GPT-4o عبر Gateway).
- الأيدي (Sandbox): بيئة معزولة ومؤقتة يتم فيها تنفيذ الكود فعليًا.
- الغراء (Gateway): البرمجية الوسيطة التي تحلل قصد النموذج وتوجه طلب التنفيذ.
يعلق معظم الأشخاص عند مرحلة "الأيدي". لا يمكنك مجرد السماح لـ LLM بتشغيل os.system('rm -rf /') على بيئة الإنتاج الخاصة بك. أنت بحاجة إلى sandbox.
تعالج TrueFoundry هذه المشكلة عن طريق السماح لنا بنشر بيئات تنفيذ مؤقتة (Services أو Jobs) تعمل كـ sandbox. يتولى LLM Gateway التعامل مع تعريفات استخدام الأدوات، بينما يتم التنفيذ الفعلي داخل حاوية مقفلة تمامًا ضمن VPC الخاص بنا.
إليك سير العمل لكيفية تحول طلب المستخدم إلى تنفيذ آمن للكود.

الشكل 1: سير عمل حلقة تنفيذ OpenCode
مشكلة الـ Sandbox: إدارة "الأيدي"
عندما حاولنا بناء هذا لأول مرة، استخففنا بمدى تعقيد بيئة التنفيذ. إذا كنت تستخدم API قياسيًا لـ SaaS Code Interpreter، فإنك ترسل بياناتك إليهم. وإذا قمت بتشغيله محليًا، فإنك تخاطر بالمساس بالجهاز المستضيف.
نحن نستخدم TrueFoundry Services لاستضافة "Code Execution Agent" مخصص. هذا عبارة عن خدمة Python FastAPI مغلفة في حاوية Docker تحتوي على:
- وصول محدود للشبكة: لا يوجد وصول إلى الإنترنت باستثناء مرايا PyPI الداخلية المحshape.
- حدود الموارد: قيود صارمة على ذاكرة RAM و CPU (تم ضبطها عبر زر تبديل الموارد في TrueFoundry) لمنع حلقات while(true) من إجهاد العقدة (node).
- تخزين مؤقت: يتم مسح نظام الملفات بعد كل طلب.
نظرًا لأن TrueFoundry تدير بيان Kubernetes الأساسي، يمكننا حقن هذه القيود الأمنية (SecurityContext، NetworkPolicies) مباشرة من واجهة مستخدم النشر أو Terraform، مما يضمن أن الـ sandbox يعمل كبيئة معزولة بحق.
مقارنة: Tool Usage العامة مقابل الخاصة
طالمات كانت المفاضلة بين الراحة والتحكم. من خلال استغلال TrueFoundry لتنسيق نمط "OpenCode"، نغير هذه المعادلة. نحصل على راحة النشر المُدار دون مخاطر البيانات.
الجدول 1: هذا مثال على مقارنة Gateway و Sandbox
Tool Usage ولحظة الاكتشاف الحقيقية
تظهر القوة الحقيقية عندما تجمع بين Tool Usage و APIs الداخلية لديك.
قمنا بتهيئة TrueFoundry LLM Gateway لإظهار ليس فقط أداة "Python Interpreter"، بل وأيضًا أدوات لبحيرة البيانات الداخلية لدينا (مثل get_user_churn_metrics(user_id)).
نظرًا لأن LLM يوجه الطلبات عبر Gateway، و Gateway متصل بخدماتنا الخاصة، يمكن للنموذج الآن:
- الاستعلام من قاعدة بيانات SQL الداخلية لدينا (عبر أداة).
- سحب تلك البيانات إلى Python Sandbox.
- تحليلها باستخدام نمط "OpenCode".
- إعادة الإجابة إلى المستخدم.
كل هذا يحدث دون خروج بايت واحد من بيانات العملاء من الشبكة الفرعية الخاصة بنا.
جعله جاهزًا لبيئة الإنتاج
لم يعد تطبيق "OpenCode" مجرد مشروع هافاثون ممتع؛ بل أصبح متطلبًا لوكلاء AI الحديثين. ولكن لا يمكنك مجرد تجميعه بشكل عشوائي مع LangChain وتأمل الأفضل.
نحن نتعامل مع Code Interpreter كـ بنية تحتية حيوية. نقوم بمراقبته باستخدام حزمة الملاحظة والترصد (observability) الخاصة بـ TrueFoundry – حيث نترقب ليس فقط tokens الـ LLM، بل وارتفاعات CPU في الـ sandbox وزمن انتقال التنفيذ. إذا كتب مستخدم برنامجًا نصيًا يحاول تخصيص 50 جيجابايت من RAM، فإن TrueFoundry تقوم بإنهاء الـ pod قبل أن يؤثر على العنقود (cluster)، ويتلقى المستخدم رسالة خطأ مهذبة.
هذا هو الفرق بين العرض التوضيحي والمنصة الحقيقية.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






