بنية التسجيل من TrueFoundry لبوابة الذكاء الاصطناعي

‍مقدمة: التكلفة الخفية للتحليلات

كل بوابة ذكاء اصطناعي في السوق تقدم سجلات وتحليلات. ظاهريًا، تبدو ميزة قياسية. لكن الخيارات المعمارية المتخذة خلف الكواليس لها عواقب ضخمة وخفية على موثوقيتك وأمنك وربحيتك النهائية. الـ كيفية هي تفصيل حاسم يفصل بين منصة بمستوى مؤسسي حقيقي واقتراح محفوف بالمخاطر.

عندما بدأنا لأول مرة في تزويد عملائنا بتحليلات سريعة وقابلة للتوسع، واجهنا هذا التحدي بالذات. كان الهدف واضحًا: تقديم رؤى قوية عبر طبقة بوابة الذكاء الاصطناعي الخاصة بنا دون خلق كابوس تشغيلي لفرق منصات عملائنا.

أدركنا مبكرًا أنه لبناء حل يستحق عملاءنا من الشركات الكبرى، كان علينا الابتكار بما يتجاوز النهج القياسي في الصناعة. توضح هذه المقالة رحلتنا من ClickHouse القوي ولكن المليء بالمشاكل إلى بنية معمارية أصلية لـ S3 لا تتطلب صيانة، وهو نظام يمنح عملاءنا ميزة تنافسية قوية ودائمة.

المشكلة: لماذا يعتبر نشر ClickHouse عملاً محفوفًا بالمخاطر

كان خيارنا الأولي، مثل العديد من الآخرين في الصناعة، هو ClickHouse. إنه جزء رائع من التكنولوجيا مفتوحة المصدر، مشهور بسرعته المذهلة في استعلامات التحليل. ومع ذلك، فإن قوته تأتي بتكلفة تشغيلية باهظة.

المشكلة الأساسية هي كالتالي: إدارة قاعدة بيانات ذات حالة، وحاسمة للمهام مثل ClickHouse داخل بيئة سحابية للعميل هو حقل ألغام تشغيلي. للقيام بذلك بشكل صحيح، تحتاج إلى التعامل مع:

• التوافر العالي (HA): ماذا يحدث إذا تعطل ClickHouse؟ هل لديك خطة تجاوز فشل سلسة؟
• التعافي من الكوارث (DR): هل تقوم بإجراء نسخ احتياطية منتظمة ومتحقق منها؟ ما هو هدف وقت الاسترداد (RTO) إذا حدث خطأ كارثي؟
• الصيانة: من المسؤول عن ترقيات الإصدارات، وتصحيحات الأمان، وتحسين الأداء؟

هذا ليس نظريًا فحسب. خطأ بسيط وغير مقصود kubectl delete pv قد يؤدي إلى مسح وحدة تخزين دائمة لعميل عن طريق الخطأ، مما يمحو جميع سجلاتهم التاريخية وبيانات المقاييس إلى الأبد. بالنسبة لأي مؤسسة، هذا المستوى من المخاطر غير مقبول ببساطة. كنا نتحول فعليًا إلى مزود ClickHouse مُدار، مما صرفنا عن مهمتنا الأساسية.

درسنا مشهد المنافسين

بحثنا ووجدنا أن معظم المنصات في مجال بوابات نماذج اللغة الكبيرة (LLM Gateway) قد استقرت على أحد ثلاثة حلول وسط معيبة.

1. نهج "الصندوق الأسود": إنهم يحلون مشكلة الإدارة عن طريق تشغيل قاعدة بيانات ClickHouse في خدمتهم السحابية الخاصة.
   الحل الوسط: يخسر العملاء سيادة البيانات. لاستخدام المنصة، تضطر إلى إرسال بيانات السجل / المقاييس الخاصة بك — والتي قد تحتوي على معلومات تعريف شخصية (PII) أو معلومات تجارية خاصة — خارج بيئتك السحابية الآمنة. عند التحدث مع عملاء المؤسسات، أدركنا أن الأهمية القصوى تكمن في أن تكون بياناتهم آمنة وتبقى ضمن بيئتهم السحابية أو بيئة معزولة (air-gapped)، وليس داخل مستوى التحكم الخاص ببوابة الذكاء الاصطناعي (AI gateway).

2. نهج "افعلها بنفسك": توفر بعض المنصات مخطط Helm أو قالبًا وتجعل العميل مسؤولاً بالكامل عن تشغيل مثيل ClickHouse الخاص به.
   الحل الوسط: يتم تحويل العبء التشغيلي المعقد بالكامل مباشرة إلى فريق منصة العميل المشغول بالفعل. يُترك لهم أمر اكتشاف كيفية تحقيق التوافر العالي والنسخ الاحتياطية والصيانة بأنفسهم.

3. نهج "النطاق المحدود": يتضمن ذلك إما استخدام قاعدة بيانات معاملات قياسية (مثل Postgres) لا يمكنها التوسع للتعامل مع أعباء العمل التحليلية الكبيرة، أو الاعتماد على شبكة معقدة من أدوات التصدير الخارجية.
   الحل الوسط: يؤدي هذا إلى أداء ضعيف باستمرار، وتجربة مستخدم مجزأة، وعدم القدرة على تقديم رؤى عميقة ومتكاملة.

لقد رفضنا الخيارات الثلاثة. كان لا بد من وجود طريقة لتقديم الأداء والأمان، و عبء تشغيلي معدوم. لذلك قمنا ببنائه.

هيكلنا المعماري

كان مبدأنا التوجيهي بسيطًا ولكنه قوي: فصل التخزين عن الحوسبة. يجب أن تكون البيانات مخزنة بأمان وبشكل دائم في تخزين الكائنات الخاص بالعميل (مثل S3)، بينما يتولى محرك عديم الحالة وقابل للتوسع معالجة الاستعلامات.

طبقة التخزين: S3 الخاص بك + Delta Lake

لقد ألغينا خادم قاعدة البيانات بالكامل وجعلنا حاوية S3 الخاصة بالعميل هي مصدر الحقيقة.

• لماذا S3؟ إنه يحل على الفور مشاكل التوافر العالي (HA) والتعافي من الكوارث (DR) والنسخ الاحتياطي. لقد استثمرت AWS و GCP و Azure مليارات الدولارات في جعل خدمات تخزين الكائنات الخاصة بها متينة ومتاحة بشكل لا يصدق. بياناتك محمية تلقائيًا داخل بيئتك الخاصة.
• لماذا Delta Lake؟ هذه هي وصفتنا السرية الهندسية. S3 هو مجرد مخزن قيم مفتاحية؛ لا يفهم بطبيعته معاملات قواعد البيانات. هنا يأتي دور Delta Lake. إنه إطار عمل تخزين مفتوح المصدر يجلب معاملات ACID (الذرية والاتساق لقاعدة بيانات تقليدية) إلى بحيرة بيانات S3 الخاصة بك. إنه "السحر" الذي يسمح للمستوعب بكتابة البيانات بشكل متزامن دون تلف.
• لماذا تنسيق Parquet؟ يتم تخزين جميع البيانات بتنسيق Apache Parquet، وهو تنسيق تخزين عمودي عالي الكفاءة يُعد المعيار الصناعي للتحليلات. هذا يضمن أنك تمتلك بياناتك حقًا ويمكنك الوصول إليها باستخدام أي أداة تريدها—سواء كانت Spark أو DuckDB أو مكتبة Polars. هذا يلغي تمامًا الارتباط بمورد معين.

محرك الاستعلام: DataFusion من أباتشي

نحن نستخدم DataFusion، وهو محرك استعلام من مشروع أباتشي. إنه محرك حديث، عديم الحالة، يقرأ ملفات Parquet مباشرة من S3. للتغلب على زمن انتقال الشبكة المتأصل في S3، قمنا ببناء طبقة تخزين مؤقت متطورة متعددة المستويات (في الذاكرة وعلى القرص) تحافظ على البيانات الهامة جاهزة للاستعلام، مما يوفر تجربة واجهة مستخدم سريعة ومتجاوبة.

ما هي المزايا؟

تتحول بنيتنا المعمارية إلى قيمة واضحة ومقنعة تؤثر بشكل مباشر على عملك.

• لا توجد أعباء تشغيلية: لن تضطر أبدًا إلى التفكير في إدارة أو ترقيع أو توسيع نطاق أو نسخ احتياطي لقاعدة بيانات لسجلاتك ومقاييسك. إنه يعمل بسلاسة، مما يوفر لفريق منصتك ساعات لا تحصى.
• سيادة كاملة على البيانات: سجلاتك ومقاييسك لا تغادر حسابك السحابي أبدًا. تحتفظ بالملكية والتحكم الكاملين، مما يلبي أشد متطلبات أمان المؤسسات والامتثال.
• تكلفة ملكية إجمالية أقل (TCO): تخزين S3 أرخص بكثير من أقراص SSD المخصصة المطلوبة لقاعدة بيانات عالية الأداء. كما أن بصمتنا الحاسوبية عديمة الحالة والمحسّنة تقلل من فاتورة السحابة الخاصة بك.
• قابلية مراقبة لا مثيل لها ومعايير مفتوحة: لقد بنينا خط أنابيب الاستيعاب الخاص بنا على OpenTelemetry (OTel) المعيار. يتيح لنا ذلك تقديم رؤى دقيقة للغاية على مستوى التتبع — مثل رؤية زمن الاستجابة الدقيق لفحص Guardrail مقابل استدعاء LLM نفسه. كما يمنحك حرية إعادة توجيه هذه البيانات الموحدة إلى أي منصة مراقبة أخرى مثل Datadog بسهولة.

رفع مستوى قابلية المراقبة للمؤسسات باستخدام بوابة الذكاء الاصطناعي من TrueFoundry

كانت رحلة توفير تحليلات جاهزة للمؤسسات باستخدام بوابة الذكاء الاصطناعي الخاصة بنا مليئة بالاختصارات المغرية والتنازلات السهلة. واجهنا تحديًا تشغيليًا حاسمًا، ورفضنا الحلول القياسية للصناعة، وصممنا بنية معمارية متفوقة من المبادئ الأساسية. هل أنت مستعد لترى كيف تبدو بوابة الذكاء الاصطناعي التي لا تتطلب صيانة على الإطلاق، آمنة، وذات زمن استجابة أقل من مللي ثانية؟ احجز عرضًا توضيحيًا معنا اليوم.