Aprimorando o Suporte ao Cliente com Assistência de IA em Tempo Real Usando a Cognita

Sobre o Cognita

Cognita é um framework RAG de código aberto versátil, projetado para permitir que líderes de Ciência de Dados, Machine Learning e Engenharia de Plataforma construam e implementem aplicações RAG escaláveis. Ele apresenta uma arquitetura totalmente modular, amigável ao usuário e adaptável, garantindo segurança e conformidade completas. Ele também vem com uma interface de usuário que facilita a experimentação de diferentes configurações RAG e a visualização dos resultados em tempo real.

Introdução ao Caso de Uso

Em uma era onde a experiência do cliente define o sucesso dos negócios, a capacidade de fornecer suporte imediato e preciso é crucial. O framework Cognita da TrueFoundry permite o desenvolvimento de aplicações de IA sofisticadas em tempo real, adaptadas para o suporte ao cliente. Ao aproveitar a natureza modular e de código aberto do Cognita, as empresas podem aprimorar seus sistemas de suporte para oferecer um atendimento ao cliente superior.

Qual é o problema que estamos tentando resolver?

Os sistemas atuais de suporte ao cliente enfrentam problemas substanciais para atender às altas expectativas dos clientes por respostas rápidas e precisas. Abordagens de suporte convencionais falham em lidar com grandes volumes de solicitações, garantir consistência nas respostas e oferecer disponibilidade 24 horas por dia, 7 dias por semana. Essas dificuldades resultam em maiores despesas operacionais, menor satisfação do cliente e ineficiências, o que pode prejudicar o crescimento dos negócios.

Suporte ao Cliente Manual vs Automatizado

Em um sistema tradicional de suporte ao cliente manual, agentes humanos são responsáveis por atender a cada consulta do cliente individualmente. Este processo intensivo em mão de obra envolve agentes navegando por extensas bases de conhecimento, documentação e registros de consultas anteriores para encontrar informações precisas e relevantes. A variabilidade no desempenho humano pode levar a inconsistências nas respostas, com a qualidade do suporte dependendo fortemente da expertise e experiência do agente. Além disso, manter um sistema de suporte 24 horas por dia, 7 dias por semana, exige uma força de trabalho significativa, necessitando de rotações de turnos e levando a custos operacionais aumentados. Durante os horários de pico de consultas, a abordagem manual frequentemente resulta em atrasos, tempos de resposta prolongados e insatisfação do cliente.

Este pipeline automatizado não só reduz significativamente os tempos de resposta, mas também garante que cada interação com o cliente seja tratada com precisão e confiabilidade consistentes. A escalabilidade do Cognita permite que o sistema lide com um grande número de solicitações simultaneamente, tornando-o uma escolha prática para empresas que enfrentam crescimento ou demandas de suporte variáveis. Além disso, essa automação liberta os agentes humanos de perguntas rotineiras, permitindo que se concentrem em questões mais complexas, aumentando assim a eficiência e a eficácia geral da operação de suporte.

Solução

A transição para um sistema automatizado impulsionado pelo framework Cognita da TrueFoundry permite a integração de componentes avançados de IA para automatizar o tratamento de consultas de clientes. Especificamente, o uso de carregadores de dados e analisadores garante que um conjunto de dados abrangente e estruturado esteja prontamente disponível para o sistema aprender. Ao implementar geradores de embeddings, dados textuais são convertidos em vetores de alta dimensão, facilitando buscas de similaridade eficientes e precisas. O bancos de dados vetoriais suportam a recuperação rápida dessas informações incorporadas, garantindo desempenho em tempo real. Quando uma consulta é recebida, o controlador de consulta orquestra o processo, utilizando rerankers para avaliar e priorizar as respostas mais relevantes.

A implementação do Cognita para suporte ao cliente pode resolver esses desafios através de:

• Tratamento Automatizado de Consultas: Utilizando os embedders e bancos de dados vetoriais do Cognita para recuperar rapidamente informações relevantes e fornecer respostas precisas às consultas dos clientes.
• Assistência em Tempo Real: Aproveitando os módulos de reranking e controlador de consulta para garantir que as informações mais relevantes e concisas sejam fornecidas, melhorando a experiência do cliente.
• Escalabilidade: O design modular do Cognita permite fácil escalabilidade do sistema para lidar com volumes crescentes de consultas sem comprometer o desempenho.

Implementando o Cognita usando TrueFoundry

Você pode usar o Cognita localmente ou com/sem o uso de quaisquer componentes Truefoundry. No entanto, usar os componentes Truefoundry facilita o teste de diferentes modelos e a implantação do sistema de forma escalável. O Cognita permite hospedar vários sistemas RAG usando um único aplicativo. Assim, usaremos os componentes TrueFoundry para criar um bot de suporte em pequena escala apenas para o MacBook Pro inicialmente e, em seguida, adicionar mais alguns produtos e suporte para diferentes idiomas para escalá-lo.

Depois de configurar um cluster, adicionar uma Integração de Armazenamento e criar um Repositório ML e um Workspace, você estará pronto para começar a implantar um aplicativo RAG baseado em Cognita usando TrueFoundry. Mais informações sobre esta configuração única podem ser encontradas aqui. Uma vez feito:

• Navegue até Implantações aba.
• Clique no + Nova Implantação botão no canto superior direito e selecione Catálogo de Aplicações. Selecione seu espaço de trabalho e o Aplicativo RAG.
• Preencha o modelo de implantação
  • Dê um Nome à sua implantação
  • Adicionar Repositório ML
  • Você pode adicionar um DB Qdrant existente ou criar um novo

Por padrão, o release branch é usado para implantação (Você encontrará esta opção em Mostrar campos avançados). Você pode alterar o nome do branch e o repositório git, se necessário.

Certifique-se de selecionar novamente o branch principal, pois o commit SHA não é atualizado automaticamente.

• Clique em Enviar, e sua aplicação será implantada.

Etapas de Implementação

No geral, a arquitetura do Cognita é composta por várias entidades. Abordaremos cada uma delas através das etapas de implementação abaixo.

• Carregamento de Dados: Os carregadores de dados do Cognita são usados para importar documentos de suporte ao cliente e dados históricos de consultas de várias fontes, como diretórios locais ou armazenamento em nuvem. Isso pode ser feito adicionando uma nova fonte de dados a partir do Endpoint RAG fornecido após a implantação, conforme mostrado abaixo. Múltiplas fontes de dados podem ser adicionadas aqui conforme os requisitos para melhorar o desempenho do modelo. Começaremos adicionando apenas um guia do MacBook inicialmente e depois adicionaremos outros dados. O link para todos os documentos carregados pode ser encontrado aqui.

• Análise e Incorporação: Analise os documentos em um formato uniforme e crie incorporações usando modelos pré-treinados para facilitar a recuperação rápida de informações relevantes. Uma nova coleção de documentos de uma fonte de dados adicionada na etapa anterior pode ser usada para análise e incorporação. Estamos tentando resolver um caso de uso multimodal aqui, onde pegamos um PDF, o convertemos em uma imagem e o dividimos em páginas, e cada página é convertida em imagens. Em seguida, uma análise específica é feita por meio de prompts, onde insights são coletados e armazenados no VectorDB. Quando uma pergunta é feita, a pergunta é pesquisada em todos os insights armazenados; a página é recuperada, que é então enviada ao modelo de visão para responder à pergunta. Assim que o Processar botão for clicado, a coleção é criada, um novo pod é criado, o trabalho de indexação começa e os dados são ingeridos nos diferentes qdrants. Nota: Isso pode levar alguns minutos.

• Tratamento de Consultas: Implemente o controlador de consultas para processar as consultas recebidas, reclassificar as respostas potenciais e fornecer as respostas mais precisas em tempo real. Por exemplo, podemos usar o basic-rag para análise de texto simples. No entanto, ao lidar com documentos PDF, um multimodal-rag será uma opção melhor, pois usa o modelo de visão, atualmente GPT-4, para responder a perguntas em PDFs, que são analisados usando o analisador multimodal. Como estamos usando um analisador multimodal, o multimodal-rag leva a melhores resultados.

• Melhoria Contínua: Atualize continuamente os modelos de embeddings e de reclassificação com base em novos dados e interações com clientes para melhorar a precisão e eficiência do sistema. Diferentes recuperadores podem ser usados no menu suspenso, conforme mostrado abaixo. Além disso, novos documentos podem ser adicionados à fonte de dados, e o trabalho de indexação pode ser executado novamente para melhorar o modelo. Por exemplo, para consultas de usuário mais complexas, um multi-consulta + reclassificação + similaridade modelo pode ser usado, que requer k em search_kwargs para busca por similaridade, e o search_type pode ser similaridade ou MMR ou similarity_score_threshold. Isso funciona dividindo consultas complexas em consultas mais diretas, encontrando documentos relevantes para cada uma delas, reclassificando-os e enviando-os para o LLM. Em seguida, os resultados são acumulados e fornecidos. Podemos experimentar o modelo de prompt abaixo da opção Retriever para obter respostas mais ricas.

Suponha que você queira escalar a aplicação RAG. Nesse caso, podemos fazer isso adicionando diferentes fontes de dados para permitir que ela atenda a várias consultas de clientes e seja uma solução completa. Adicionamos outros documentos, incluindo documentos de suporte para diferentes MacBooks, iPads, iPhones, AirPods e watchOS, adicionando uma nova fonte de dados e vinculando-a à coleção. O RAG agora atua como um agente de suporte ao cliente de IA abrangente para uma ampla gama de produtos Apple. Alguns documentos também estão em diferentes idiomas para escalá-lo ainda mais, adicionando suporte a vários idiomas.

Exemplo de Implementação

Agora testaremos o modelo fornecendo-lhe uma consulta complexa, e os resultados são mostrados abaixo.

Num teste da estrutura Cognita, o modelo respondeu com sucesso à consulta: "O que há de novo no iPadOS 17 e iOS 17 em inglês? Fale sobre as baterias dos AirPods Pro de 2ª Geração em francês", demonstrando sua capacidade de lidar com perguntas complexas e multilíngues. O modelo utilizou a configuração multimodal-rag para processar e sintetizar informações de vários documentos, fornecendo uma lista detalhada de novos recursos no iPadOS 17 e iOS 17, como recursos aprimorados do FaceTime e melhorias no aplicativo Saúde. Além disso, forneceu informações precisas sobre as baterias dos AirPods Pro de 2ª Geração em francês, abordando segurança, vida útil da bateria e procedimentos de substituição. Este teste ressalta a capacidade da Cognita de integrar modelos avançados de PNL e visão, garantindo respostas precisas e contextualmente relevantes em vários idiomas, aprimorando assim as operações de suporte ao cliente com recuperação de informações em tempo real e de alta qualidade.

Benefícios

• Latência Reduzida e Taxa de Transferência Aprimorada: Ao aproveitar técnicas avançadas de embedding e bancos de dados vetoriais eficientes, a Cognita garante o processamento rápido de consultas, reduzindo os tempos de resposta para milissegundos. Isso é fundamental para manter a satisfação do cliente em ambientes de alta pressão.
• Aprendizagem Adaptativa e Melhoria Contínua: A integração de ciclos de feedback e a atualização contínua dos embeddings do modelo com base em interações em tempo real permite que o sistema aprenda e melhore, reduzindo as taxas de erro e aprimorando a precisão das respostas ao longo do tempo.
• Otimização de Recursos e Eficiência de Custos: A automação do tratamento de consultas reduz significativamente a necessidade de uma equipe de suporte humano extensa, resultando em economias de custo substanciais. Além disso, permite que os agentes humanos se concentrem em tarefas mais complexas e de alto valor, melhorando a qualidade geral do suporte.
• Escalabilidade e Flexibilidade: A arquitetura modular da Cognita garante que o sistema possa escalar horizontalmente rapidamente para acomodar volumes crescentes de consultas sem comprometer o desempenho. Essa versatilidade é fundamental para empresas com desenvolvimento rápido ou picos sazonais nas necessidades de assistência.
• Retenção de Clientes Aprimorada e Lealdade: Ao fornecer respostas consistentes, precisas e oportunas, a Cognita aprimora a experiência do cliente, levando a maiores taxas de satisfação, maior lealdade e redução da rotatividade. Isso se traduz diretamente em maior valor vitalício do cliente e receita para o negócio.

Melhorias Adicionais por Empresas

• Personalização Avançada e Criação de Perfil de Usuário:
  Ao integrar a criação de perfil de usuário e algoritmos avançados de personalização, as empresas podem adaptar as respostas com base nas preferências individuais do usuário e interações passadas. Isso pode ser alcançado analisando dados históricos e incorporando contexto específico do usuário nas consultas, aprimorando a relevância e a personalização das respostas.
• Suporte Multilíngue:
  A incorporação de recursos multilíngues permite que as empresas forneçam suporte em vários idiomas. Isso pode ser implementado integrando módulos de detecção e tradução de idiomas dentro da Cognita, permitindo suporte contínuo para uma base global de clientes sem a necessidade de recursos humanos adicionais.
• Análise de Sentimento e Inteligência Emocional:
  Empresas que integram módulos de análise de sentimento e inteligência emocional podem avaliar os sentimentos dos clientes e adaptar as respostas de acordo. Isso envolve a análise em tempo real do tom e da atitude do cliente, o que permite à IA fornecer respostas empáticas e adequadas, aumentando assim a satisfação geral do cliente.
• Suporte Proativo e Análise Preditiva:
  A análise preditiva permite que as empresas antecipem as necessidades e desafios dos clientes antes que eles ocorram. Além disso, ao avaliar padrões de uso e dados históricos, a Cognita pode iniciar intervenções de suporte proativas, como fornecer soluções para problemas frequentemente encontrados ou informar os clientes sobre possíveis problemas, melhorando assim a experiência do cliente e diminuindo as solicitações recebidas.
• Integração com Sistemas CRM:
  A integração perfeita com sistemas CRM pode fornecer uma visão holística das interações com os clientes. Ao extrair dados de plataformas CRM, a Cognita pode oferecer respostas mais informadas e contextualmente conscientes, garantindo que as interações com os clientes sejam consistentes e personalizadas em todos os pontos de contato.
• Segurança e Privacidade Aprimoradas:
  A implementação de medidas de segurança avançadas garante que os dados dos clientes sejam tratados de forma segura. As empresas podem integrar a Cognita com soluções seguras de armazenamento de dados e utilizar protocolos de criptografia para proteger informações sensíveis, garantindo a conformidade com as regulamentações de proteção de dados e mantendo a confiança do cliente.
• Atualizações Dinâmicas de Conteúdo e Base de Conhecimento:
  A automação do processo de atualização das bases de conhecimento garante que o sistema tenha sempre acesso às informações mais atuais. Ao configurar pipelines automatizados para ingerir e processar novos conteúdos, a Cognita pode aprender continuamente com dados recentes, mantendo o sistema de suporte atualizado com as últimas informações e tendências.

Conclusão

A arquitetura modular da Cognita e suas capacidades avançadas de IA fornecem uma solução robusta para aprimorar o suporte ao cliente. Ela lida eficientemente com consultas complexas, processa diversos tipos de dados e entrega respostas precisas em tempo real. Ao integrar recursos como suporte multilíngue e análise preditiva, a Cognita melhora significativamente a satisfação do cliente e a eficiência operacional, tornando-a uma ferramenta inestimável para sistemas de suporte modernos.