تعزيز دعم العملاء بمساعدة الذكاء الاصطناعي في الوقت الفعلي باستخدام Cognita

About Cognita

Cognita is a versatile open-source RAG framework designed to enable Data Science, Machine Learning, and Platform Engineering leaders to build and deploy scalable RAG applications. It features a fully modular, user-friendly, and adaptable architecture, ensuring complete security and compliance. It also ships with a UI that makes it easier to try out different RAG configurations and see the results in real-time.

Introduction to the Use Case

In an era where customer experience defines business success, the ability to provide immediate and precise support is crucial. TrueFoundry's Cognita framework enables the development of sophisticated real-time AI applications tailored for customer support. By leveraging the modular and open-source nature of Cognita, businesses can enhance their support systems to deliver superior customer service.

What is the problem we are trying to solve?

Present customer support systems have substantial problems in delivering customers' high expectations for prompt and accurate responses. Conventional support approaches fail to handle vast amounts of requests, ensure consistency in responses, and provide 24/7 availability. These difficulties lead to higher operating expenses, lower customer satisfaction, and inefficiencies, which can deter business growth.

Manual vs Automated Customer Support

In a traditional manual customer support system, human agents are responsible for addressing each customer inquiry individually. This labor-intensive process involves agents navigating through extensive knowledge bases, documentation, and past query records to find accurate and relevant information. The variability in human performance can lead to inconsistencies in responses, with the quality of support depending heavily on the agent's expertise and experience. Furthermore, maintaining a 24/7 support system requires a significant workforce, necessitating shift rotations and leading to increased operational costs. During peak query times, the manual approach often results in backlogs, prolonged response times, and customer dissatisfaction.

This automated pipeline not only significantly reduces response times but also ensures that each customer interaction is handled with consistent accuracy and reliability. Cognita's scalability enables the system to handle high numbers of requests at once, making it a practical choice for enterprises facing growth or shifting support demands. Furthermore, this automation relieves human agents of mundane questions, allowing them to concentrate on more complicated issues, thus increasing the overall efficiency and efficacy of the support operation.

Solution

Transitioning to an automated system powered by TrueFoundry's Cognita framework enables the integration of advanced AI components to automate customer query handling. Specifically, the use of data loaders and parsers ensures that a comprehensive and structured dataset is readily available for the system to learn from. By implementing embedders, textual data is converted into high-dimensional vectors, facilitating efficient and accurate similarity searches. The vector databases support rapid retrieval of this embedded information, ensuring real-time performance. When a query is received, the query controller orchestrates the process, utilizing rerankers to evaluate and prioritize the most relevant responses.

Implementing Cognita for customer support can address these challenges by:

• Automated Query Handling: Using Cognita's embedders and vector databases to quickly retrieve relevant information and provide accurate responses to customer queries.
• Real-Time Assistance: Leveraging the reranking and query controller modules to ensure that the most relevant and concise information is provided, enhancing the customer's experience.
• Scalability: Cognita's modular design allows for easy scaling of the system to handle increasing volumes of queries without compromising performance.

Deploying Cognita using TrueFoundry

You can use Cognita locally or with/without using any Truefoundry components. However, using Truefoundry components makes it easier to test different models and deploy the system in a scalable way. Cognita allows you to host multiple RAG systems using one app. Hence, we will be using TrueFoundry components to create a small-scale support bot for just the MacBook Pro initially and then add a few more products and support for different languages to scale it.

Once you've set up a cluster, added a Storage Integration, and created an ML Repo and Workspace, you are all set to begin deploying a Cognita-based RAG application using TrueFoundry. More information on this one-time setup can be found here. Once done:

• Navigate to the Deployments tab.
• Click on the + New Deployment button on the top-right and select Application Catalogue. Select your workspace and the RAG Application.
• Fill up the deployment template
  • Give your deployment a Name
  • Add ML Repo
  • You can either add an existing Qdrant DB or create a new one

By default, the release branch is used for deployment (You will find this option in Show Advance fields). You can change the branch name and git repository if required.

Make sure to re-select the main branch, as the SHA commit does not get updated automatically.

• Click on Submit, and your application will be deployed.

Implementation Steps

Overall, the architecture of Cognita is composed of several entities. We will be delving into each of them through the implementation steps below.

• Data Loading: Cognita's data loaders are used to import customer support documents and historical query data from various sources, such as local directories or cloud storage. This can be done by adding a new data source from the RAG Endpoint provided after deployment, as shown below. Multiple sources of data can be added here as per the requirements to improve the model's performance. We will begin with adding just one MacBook guide initially and then add other data later. The link to all the documents uploaded can be found here.

• Parsing and Embedding: Parse the documents into a uniform format and create embeddings using pre-trained models to facilitate quick retrieval of relevant information. A new collection of documents from a data source added in the previous step can be used for parsing and embedding. We are trying to solve a multimodal use-case here, where we are taking a PDF, converting it into an image, and breaking it down into pages, and each page is converted into images. Then, specific analysis is done through prompts, where insights are gathered and stored in the VectorDB. When a question is asked, the question is searched across all the stored insights; the page is retrieved, which is then sent to the vision model for question answering. Once the Process button is clicked, the collection is created, a new pod is created, the indexing job begins, and the data is ingested into the different qdrants. Note: This may take a few minutes.

• Query Handling: Implement the query controller to process incoming queries, rerank potential answers, and provide the most accurate responses in real time. For example, we can use the basic-rag for simple text parsing. However, when dealing with PDF documents, a multimodal-rag will be a better option since it uses the vision model, presently GPT-4, to answer questions on PDF, which are parsed using the multimodal parser. Since we are using a multimodal parser, the multimodal-rag leads to better results.

• Continuous Improvement: Continuously update the embeddings and reranking models based on new data and customer interactions to improve the system's accuracy and efficiency. Different retrievers can be used from the dropdown, as shown below. Furthermore, new documents can be added to the data source, and the indexing job can be rerun to improve the model. E.g. For more complex user queries, a multi-query + re-ranking + similarity model can be used, which requires k in search_kwargs for similarity search, and the search_type can either be similarity or MMR or similarity_score_threshold. This works by breaking down complex queries into more straightforward queries, finding relevant documents for each of them, reranking them, and sending them to LLM. Then, the results are accumulated and provided. We can play with the prompt template below the Retriever option to get richer responses.

Suppose you want to scale the RAG application. In that case, we can do this by adding different data sources to allow it to cater to various customer queries and be an all-inclusive solution. We add other documents, including support documents for different MacBooks, iPads, iPhones, AirPods, and watchOS, by adding a new data source and linking it to the collection. The RAG now acts as a comprehensive AI customer support agent for a broad suite of Apple products. Some documents are also in different languages to further scale it by adding multi-language support.

Implementation Example

We will now test the model by giving it a complex query, and the results are shown below.

في اختبار لإطار عمل Cognita، نجح النموذج في الإجابة على الاستعلام، "ما الجديد في iPadOS 17 و iOS 17 باللغة الإنجليزية؟ تحدث عن بطاريات AirPods Pro الجيل الثاني باللغة الفرنسية،" مما يدل على قدرته على التعامل مع الأسئلة المعقدة ومتعددة اللغات. استخدم النموذج تكوين multimodal-rag لمعالجة وتجميع المعلومات من وثائق مختلفة، مقدمًا قائمة مفصلة بالميزات الجديدة في iPadOS 17 و iOS 17، مثل تحسينات قدرات FaceTime والتحسينات في تطبيق الصحة. بالإضافة إلى ذلك، قدم معلومات دقيقة حول بطاريات AirPods Pro الجيل الثاني باللغة الفرنسية، متناولًا جوانب السلامة وعمر البطارية وإجراءات الاستبدال. يؤكد هذا الاختبار قدرة Cognita على دمج نماذج معالجة اللغة الطبيعية (NLP) والرؤية المتقدمة، مما يضمن استجابات دقيقة وذات صلة بالسياق بلغات متعددة، وبالتالي يعزز عمليات دعم العملاء باسترجاع المعلومات عالية الجودة في الوقت الفعلي.

الفوائد

• تقليل زمن الاستجابة وتحسين الإنتاجية: من خلال الاستفادة من تقنيات التضمين المتقدمة وقواعد بيانات المتجهات الفعالة، تضمن Cognita معالجة سريعة للاستعلامات، مما يقلل أوقات الاستجابة إلى أجزاء من الثانية. وهذا أمر بالغ الأهمية للحفاظ على رضا العملاء في البيئات عالية الضغط.
• التعلم التكيفي والتحسين المستمر: يتيح دمج حلقات التغذية الراجعة والتحديث المستمر لتضمينات النموذج بناءً على التفاعلات في الوقت الفعلي للنظام التعلم والتحسن، مما يقلل من معدلات الأخطاء ويعزز دقة الاستجابات بمرور الوقت.
• تحسين الموارد وكفاءة التكلفة: يؤدي أتمتة معالجة الاستعلامات إلى تقليل الحاجة بشكل كبير إلى موظفي دعم بشري مكثف، مما ينتج عنه وفورات كبيرة في التكاليف. علاوة على ذلك، فإنه يسمح للوكلاء البشريين بالتركيز على المهام الأكثر تعقيدًا وذات القيمة العالية، مما يحسن جودة الدعم بشكل عام.
• قابلية التوسع والمرونة: تضمن البنية المعيارية لـ Cognita أن النظام يمكنه التوسع أفقيًا بسرعة لاستيعاب أحجام الاستعلامات المتزايدة دون المساس بالأداء. هذه المرونة حاسمة للشركات ذات التطور السريع أو الارتفاعات الموسمية في احتياجات المساعدة.
• تعزيز الاحتفاظ بالعملاء والولاء: من خلال توفير استجابات متسقة ودقيقة وفي الوقت المناسب، تعزز Cognita تجربة العملاء، مما يؤدي إلى ارتفاع معدلات الرضا وزيادة الولاء وتقليل معدل التوقف عن الخدمة. وهذا يترجم مباشرة إلى تحسين قيمة العميل مدى الحياة وإيرادات الأعمال.

تحسينات إضافية من قبل الشركات

• التخصيص المتقدم وتحديد ملفات المستخدمين:
  من خلال دمج تحديد ملفات المستخدمين وخوارزميات التخصيص المتقدمة، يمكن للشركات تكييف الاستجابات بناءً على تفضيلات المستخدم الفردية والتفاعلات السابقة. يمكن تحقيق ذلك عن طريق تحليل البيانات التاريخية وتضمين السياق الخاص بالمستخدم في الاستعلامات، مما يعزز ملاءمة الاستجابات وتخصيصها.
• دعم متعدد اللغات:
  يتيح دمج القدرات متعددة اللغات للشركات تقديم الدعم بلغات متعددة. يمكن تنفيذ ذلك عن طريق دمج وحدات اكتشاف اللغة والترجمة ضمن Cognita، مما يتيح دعمًا سلسًا لقاعدة عملاء عالمية دون الحاجة إلى موارد بشرية إضافية.
• تحليل المشاعر والذكاء العاطفي:
  يمكن للشركات التي تدمج وحدات تحليل المشاعر والذكاء العاطفي قياس مشاعر العملاء وتكييف الإجابات وفقًا لذلك. يتضمن ذلك تحليلًا في الوقت الفعلي لنبرة العميل وموقفه، مما يمكّن الذكاء الاصطناعي من تقديم استجابات متعاطفة ومناسبة، وبالتالي زيادة رضا العملاء بشكل عام.
• الدعم الاستباقي والتحليلات التنبؤية:
  تُمكّن التحليلات التنبؤية الشركات من توقع متطلبات العملاء وتحدياتهم قبل حدوثها. علاوة على ذلك، من خلال تقييم أنماط الاستخدام والبيانات التاريخية، يمكن لـ Cognita بدء تدخلات دعم استباقية مثل تقديم حلول للمشكلات المتكررة أو إبلاغ العملاء بالمشكلات المحتملة، مما يحسن تجربة العملاء ويقلل من الطلبات الواردة.
• التكامل مع أنظمة إدارة علاقات العملاء (CRM):
  يمكن أن يوفر التكامل السلس مع أنظمة إدارة علاقات العملاء (CRM) نظرة شاملة لتفاعلات العملاء. من خلال سحب البيانات من منصات CRM، يمكن لـ Cognita تقديم استجابات أكثر استنارة ووعيًا بالسياق، مما يضمن أن تكون تفاعلات العملاء متسقة ومخصصة عبر جميع نقاط الاتصال.
• الأمان والخصوصية المعززان:
  يضمن تطبيق إجراءات أمنية متقدمة التعامل مع بيانات العملاء بأمان. يمكن للشركات دمج Cognita مع حلول تخزين البيانات الآمنة واستخدام بروتوكولات التشفير لحماية المعلومات الحساسة، مما يضمن الامتثال للوائح حماية البيانات والحفاظ على ثقة العملاء.
• المحتوى الديناميكي وتحديثات قاعدة المعارف:
  تضمن أتمتة عملية تحديث قواعد المعارف أن النظام لديه دائمًا إمكانية الوصول إلى أحدث المعلومات. من خلال إعداد مسارات عمل مؤتمتة لاستيعاب ومعالجة المحتوى الجديد، يمكن لـ Cognita التعلم باستمرار من البيانات الجديدة، مما يحافظ على تحديث نظام الدعم بأحدث المعلومات والاتجاهات.

الخاتمة

توفر البنية المعيارية لـ Cognita وقدرات الذكاء الاصطناعي المتقدمة حلاً قويًا لتعزيز دعم العملاء. فهي تتعامل بكفاءة مع الاستفسارات المعقدة، وتعالج أنواع البيانات المتنوعة، وتقدم استجابات دقيقة وفي الوقت الفعلي. من خلال دمج ميزات مثل الدعم متعدد اللغات والتحليلات التنبؤية، تعمل Cognita على تحسين رضا العملاء والكفاءة التشغيلية بشكل كبير، مما يجعلها أداة لا تقدر بثمن لأنظمة الدعم الحديثة.