Blank white background with no objects or features visible.

تعلن TrueFoundry عن استحواذها على Seldon AI، موسعة بذلك لوحة التحكم الخاصة بها للذكاء الاصطناعي للمؤسسات. البيان الصحفي الكامل →

دراسة حالة
API cloud computing concept with servers, database, laptop, desktop, and data storage.

ملخص

أفيفا كريديتو هي شركة إقراض مقرها المكسيك تركز على توسيع فرص الحصول على الائتمان. للوصول إلى العملاء الذين تجد البنوك التقليدية وشركات التكنولوجيا المالية عبر الإنترنت صعوبة في خدمتهم، تدير أفيفا أكشاكًا مادية صغيرة مدعومة بتجربة إعداد عملاء مؤتمتة تعتمد على الأجهزة اللوحية أولاً - مما يبني الثقة ويقلل من مخاطر الاحتيال.

مع نمو مبادرات الذكاء الاصطناعي لدى أفيفا من نماذج رؤية الكمبيوتر إلى روبوتات الدردشة الجاهزة للإنتاج وسير عمل التحقق من المستندات، واجه الفريق تحديين متكررين: (1) نشر وتشغيل خدمات نماذج اللغة الكبيرة (LLM) دون الحاجة إلى خبرة عميقة في Kubernetes، و (2) إدارة العديد من مزودي نماذج اللغة الكبيرة (LLM) مع مراقبة متسقة وتكلفة محكمة ومرونة.

من خلال استخدام TrueFoundry’s Deployment و AI Gateway، مكنت أفيفا كل مهندس تعلم آلة/ذكاء اصطناعي من إطلاق خدمات إنتاج بشكل مستقل، مع إمكانية المراقبة عبر مزودي نماذج Azure و GCP، وأنشأت أساسًا قابلاً للتطوير للسلامة وسير العمل القائم على الوكلاء.

AI technology icons connected to central AI block on circuit board with security and data symbols.
Green ring on white background, simple rounded square shape object.

مهمة كريديتو

مهمة أفيفا هي زيادة فرص الحصول على الائتمان للمجتمعات المحرومة في المكسيك. يجمع نموذج أفيفا بين التواجد المادي، عبر أكشاك صغيرة يعمل بها موظف واحد، مع الحفاظ على أتمتة العملية بالكامل من خلال الأجهزة اللوحية لتقديم أفضل ما في العالمين: ثقة عالية واحتيال أقل، مع سرعة الأتمتة.

من محادثات العملاء إلى التحقق من المستندات

يقوم فريق الذكاء الاصطناعي في أفيفا ببناء وتشغيل أنظمة الإنتاج عبر:
  • روبوتات الدردشة: مساعدون إنتاجيون متعددون مدعومون بنماذج مستضافة ذاتيًا / عامة، تتطور نحو التنسيق القائم على الفرق (وأنماط وكيل-إلى-وكيل القياسية بمرور الوقت).
  • الذكاء الاصطناعي للمستندات: تحليل OCR + LLM للمستندات المرئية، بالإضافة إلى تدفقات التحقق لإثبات العنوان، وإثبات الهوية، وإثبات الحسابات المصرفية، وفحوصات الموقع.
  • ذكاء التفاعل: استخلاص إشارات منظمة من نصوص المقابلات، ورسائل الملاحظات، والمحادثات الصوتية المنسوخة.

جاءت نقطة التحول الرئيسية الأولى لأفيفا من حاجة عملية: نشر نموذج LLM للتعرف على بطاقات الهوية INE المكسيكية. تمكن فريق تعلم الآلة من ضبط/بناء النموذج، لكن نشره بشكل موثوق تطلب مسارًا تشغيليًا لم يكن لديهم بعد. تراوحت المحاولات المبكرة بين عمليات النشر اليدوية القائمة على الأجهزة الافتراضية (بطيئة وعرضة للأخطاء) إلى الخدمات المدارة التي إما افتقرت إلى دعم وحدات معالجة الرسوميات (GPU) أو فشلت في التسليم بسرعة.

غيرت تجربة النشر من TrueFoundry ذلك: كشفت السجلات الواضحة وsidecars المراقبة عن السبب الجذري وراء فشل حاوية، مما سمح للفريق بإصلاح الصورة والنشر بنجاح في أقل من ساعة.

TrueFoundry Gateway architecture with TFY deployment, nodes, and model providers for observability and controls.

بناء منصة للذكاء الاصطناعي من أجل السرعة والموثوقية والحوكمة

بمجرد إتمام عمليات النشر الأولى، تبنت أفيفا عقلية المنصة: جعل كل خدمة ذكاء اصطناعي قابلة للنشر بشكل متكرر، وسهلة المراقبة، وبسيطة للتسليم بين المهندسين. أصبحت TrueFoundry الطبقة التشغيلية التي أزالت احتكاك البنية التحتية مع فرض أفضل الممارسات.

1. من عمليات النشر اليدوية إلى الإنتاج ذاتي الخدمة

  • عمليات النشر ذاتية الخدمة لمهندسي الذكاء الاصطناعي/تعلم الآلة: يمكن للمهندسين نشر وتحديث الخدمات مباشرة، دون الاعتماد على متخصصي المنصة.
  • تأهيل سريع: يتوقع من المهندسين الجدد دفع تحديث أو نشر نموذج خلال أسبوعهم الأول، مما يحافظ على حلقة تغذية راجعة محكمة بين الكود وسلوك الإنتاج.
  • ضوابط السلامة التشغيلية: توجه تحذيرات وتوصيات المنصة (مثل مرونة منطقة التوفر وتحديد حجم الموارد) الفرق نحو أفضل ممارسات Kubernetes.

2. بوابة الذكاء الاصطناعي: واجهة واحدة عبر مزودي النماذج

مع اعتماد أفيفا لنماذج أساسية متعددة عبر Azure و Google Cloud (اختيار النماذج بناءً على جودة المهمة)، ازداد التعقيد التشغيلي بسرعة: انتشار الأسرار، وتكاملات SDK غير المتسقة، وإمكانية مراقبة مجزأة. وفرت بوابة الذكاء الاصطناعي من TrueFoundry لوحة تحكم موحدة.
  • استقلالية المزود: تستدعي التطبيقات واجهة بوابة متسقة بينما يمكن لأفيفا التبديل بين المزودين والنماذج والإصدارات دون إعادة كتابة كود التكامل.
  • إمكانية المراقبة المركزية: مكان واحد لمراقبة حجم الطلبات، وزمن الاستجابة، وأنماط الفشل، والتكاليف عبر البيئات المختلفة.
  • التحكم في التكلفة والاستخدام: يمكن تتبع ارتفاعات الاستخدام المفاجئة إلى الخدمة الأصلية عبر سجلات البوابة، مما يتيح معالجة سريعة.
White empty space with no objects or features visible in the area provided.Empty white background with no visible objects or features present in the space.
TrueFoundry Gateway architecture diagram with chatbot, user, MCP servers, and logs object store integration.

3. المرونة وتجربة المطورين: آليات التراجع + خوادم MCP

شكلت حقيقتان يوميتان اعتماد أفيفا للبوابة: تفاوت زمن الاستجابة بين المزودين، وسهولة استخدام الأدوات للمطورين.
  • آليات التراجع المدركة لوقت الاستجابة: عندما ازداد زمن الاستجابة p99 لدى مزود أساسي، قدمت أفيفا نموذج تراجع تلقائي للحفاظ على استقرار تجارب العملاء.
  • اتصالات MCP المستمرة: من خلال استضافة خادم Atlassian MCP على TrueFoundry، تجنبت أفيفا عمليات إعادة الاتصال المتكررة في Cursor وجعلت أدوات المعرفة أسهل في الاستخدام اليومي.
  • خارطة طريق استباقية: تخطط أفيفا لتوسيع الضوابط الوقائية وضوابط السلامة مع تزايد مركزية سير العمل القائم على الوكلاء.

التأثير

من خلال مركزية جميع حركة مرور نماذج اللغة الكبيرة (LLM) عبر بوابة الذكاء الاصطناعي من TrueFoundry، اكتسبت أفيفا رؤية وتحكمًا شاملين عبر مكدس ذكاء اصطناعي متعدد السحابات يتوسع بسرعة. على مدار 90 يومًا، أدار الفريق ما يقرب من نصف مليون طلب إنتاجي وأكثر من 1.8 مليار رمز إدخال بتكلفة يمكن التنبؤ بها، وموثوقية قابلة للقياس، وسرعة هندسية محسنة بشكل كبير. أتاحت البوابة الكشف السريع عن حالات الشذوذ في التكلفة وزمن الاستجابة، والتوجيه على مستوى النموذج والتحويل التلقائي دون تغييرات في التطبيق، وتجريدًا مشتركًا سمح للمهندسين بنشر وترقية وتشغيل الخدمات المدعومة بنماذج اللغة الكبيرة بشكل مستقل.

النتائج الرئيسية في 90 يومًا

  • أكثر من 10 ملايين طلب LLM إنتاجي يتم توجيهها عبر مستوى تحكم واحد
  • أكثر من 5 مليارات رمز إدخال، وأكثر من 210 ملايين رمز إخراج يتم تتبعها مركزيًا عبر Azure و GCP
  • معدل فشل فعال أقل من 1%، مع تحليل تفصيلي حسب نوع الخطأ والمزود
  • اكتشاف مشكلات زمن الاستجابة P99 والتخفيف منها في دقائق عبر التراجع التلقائي للنموذج
  • ترقية أكثر من 7 خدمات إنتاج في أقل من 20 دقيقة، دون تبعيات البنية التحتية
  • تأهيل أسرع: يستخدم المهندسون نماذج اللغة الكبيرة (LLMs) على الفور عبر تجريد بوابة مشتركة

اقتباسات العملاء

بوابة الذكاء الاصطناعي من TrueFoundry وفرت لنا مكانًا واحدًا لإدارة كيفية استخدامنا لنماذج اللغة الكبيرة (LLMs) عبر Azure و GCP. يمكننا اكتشاف مشكلات التكلفة وزمن الاستجابة بسرعة، وتتبعها إلى خدمات محددة، وتبديل النماذج دون الحاجة لتعديل كود التطبيق.

مات، أفيفا

إنه تجريد قوي. يوفر الوقت للجميع ويقلل بشكل كبير من حاجز المعرفة لبدء استخدام نماذج اللغة الكبيرة (LLMs) في الإنتاج

إنريكي، أفيفا
Purple and gray gradient background with curved lines on either side.

البنية التحتية للذكاء الاصطناعي التوليدي - بسيطة، أسرع، أرخص

موثوق به من قبل أكثر من 10 شركات من قائمة فورتشن 500

جربها الآن
Blank white background with no visible objects or text present.
تحدث إلى الخبراء
Blank white background with no visible objects or text present.