TrueML Talks #27 - GenAI e LLMOps para Sucesso do Cliente @ Level AI

Estamos de volta com mais um episódio de True ML Talks. Neste, aprofundamos na estratégia de GenAI e LLMOps na Level AI enquanto conversamos com Abhimanyu Talwar

Abhimanyu é Engenheiro de Pesquisa de IA Sênior na Level AI. Level AI uma empresa de inteligência conversacional. Eles usam aprendizado de máquina para extrair insights de dados conversacionais.

📌

Nossas conversas com Abhimanyu abordarão os seguintes aspectos:
- Aproveitando Conversas Anteriores para IA de Atendimento ao Cliente
- Enfrentando os Desafios Ocultos da IA Generativa
- Código Aberto vs. Ajuste Fino
- Compreendendo os Agentes
- Desmistificando a QA de Contact Center com IA
- IA de Atendimento ao Cliente com GPT-4
- MLOps Revolucionando o Sucesso do Cliente

Assista ao episódio completo abaixo:

Aproveitando Conversas Anteriores para IA de Atendimento ao Cliente

A IA de atendimento ao cliente está em alta, mas depender apenas de bases de conhecimento estáticas tem seus limites. Assistência ao Agente e AgentGPT, duas ferramentas inovadoras da Level AI, que libertam o poder de conversas passadas para aumentar a eficiência do agente e a satisfação do cliente.

• Agent Assist: Analisa as consultas dos clientes e sugere recursos relevantes da base de conhecimento existente, capacitando os agentes a responderem de forma eficaz.
• AgentGPT: Vai um passo além. Ele analisa conversas passadas, extraindo e indexando automaticamente informações valiosas não encontradas na base de conhecimento. Isso cria um corpo dinâmico e em constante crescimento de soluções para consultas de clientes mais complexas.

Recuperação: Mineração de Conversas Passadas para Respostas

Esqueça a correspondência de palavras-chave! A Level emprega um poderoso pipeline de recuperação:

• Pré-processamento: Conversas passadas são transformadas em um formato facilmente pesquisável.
• Indexação Personalizada: Chaves únicas são projetadas para corresponder às consultas atuais com interações passadas relevantes.
• Embeddings: Modelos avançados de embeddings (pense em pipelines RAG) capturam o significado semântico das conversas, permitindo uma recuperação precisa.

Para fornecer melhores resultados, eles fazem o seguinte:

• Reclassificação: Prioriza os resultados mais relevantes com base no contexto e em fatores adicionais.
• Filtros de Palavras-chave: Elimina interações passadas irrelevantes ou inúteis da pesquisa.

Ao aproveitar tanto o poder das bases de conhecimento estáticas quanto os insights dinâmicos ocultos em conversas passadas, o Agent Assist e o AgentGPT oferecem um vislumbre do futuro da IA de atendimento ao cliente. Este futuro é um onde os agentes são capacitados com as informações certas, levando a resoluções mais rápidas, clientes mais satisfeitos e um contact center mais eficiente.

Enfrentando os Desafios Ocultos da IA Generativa

A IA Generativa é uma ferramenta poderosa, mas seu sucesso depende de uma curadoria cuidadosa de dados, métodos de avaliação robustos e uma abordagem orientada por dados

Escolher os dados certos do seu vasto corpus é como encontrar os ingredientes perfeitos para um prato delicioso. Uma má seleção de dados leva a um modelo que é, bem, intragável.

A primeira coisa é focar nos seus dados. Basicamente, tenha um bom controle sobre como é a sua mistura de dados. Qual é a qualidade das suas anotações? Tudo isso realmente importa muito. Caso contrário, será lixo entra, lixo sai
– Abhimanyu

Depois de escolher os dados certos, você precisará avaliar seus modelos de IA Generativa. Isso não é tão simples quanto as tarefas de IA tradicionais. Esqueça métricas simples como a sobreposição de N-gramas – elas perdem as nuances da correção. Uma única palavra trocada ("sim" por "não") pode fazer toda a diferença.

Para isso, você pode usar:

• Métricas Programáticas: Utilize ferramentas como as pontuações ROUGE e BERT para avaliar a similaridade semântica.
• Anotações Humanas: Utilize humanos reais para avaliar aspectos qualitativos como coerência e completude.

Não se apresse em usar modelos grandes. Realize experimentos com checkpoints menores para encontrar a mistura de dados e a ponderação de tarefas ideais.

Código Aberto vs. Ajuste Fino

É tentador manter a aparente versatilidade do ChatGPT. Embora o GPT-4 se destaque em cenários não restritos, as empresas operam com limitações do mundo real. Um alto volume de tráfego exige soluções eficientes e econômicas, sem sacrificar o desempenho ou a capacidade de resposta.

É aqui que o ajuste fino dos seus próprios modelos pode ser vantajoso:

• Hiperfoco: Em vez de tentar ser bom em tudo, adapte seu modelo para se destacar em tarefas específicas e críticas para o negócio. Imagine um modelo apto para interações em contact center em vez de escrever ensaios de pós-graduação!
• Custo-benefício: Modelos menores e focados exigem menos poder computacional, o que se traduz em custos operacionais mais baixos.
• Controle e Explicabilidade: O ajuste fino proporciona uma compreensão mais profunda e controle sobre o comportamento do seu modelo, promovendo confiança e transparência.

ChatGPT como um Trampolim

Não descarte completamente opções como o ChatGPT. Eles podem ser aliados valiosos! Considere usá-los como ponto de partida para:

• Validar sua ideia: Teste as águas com modelos de código aberto antes de investir em desenvolvimento personalizado.
• Obter tração no mercado: Utilize ferramentas prontamente disponíveis para obter feedback do mundo real e demonstrar viabilidade antes de mergulhar no ajuste fino.

Compreendendo os Agentes

O que são agentes?

Pense neles como equipes especializadas de LLMs, cada um desempenhando um papel específico em um fluxo de trabalho maior. Em vez de chamadas de API únicas, as tarefas envolvem múltiplos "agentes" colaborando através de chamadas de API sequenciais.

Por que usar agentes?

Imagine escrever um poema: você precisa de criatividade, análise de rima e até mesmo verificação gramatical. Um LLM pode se destacar na geração de versos iniciais, outro em garantir esquemas de rima, e um terceiro em polir o rascunho final. Os agentes permitem que você aproveite os pontos fortes únicos de diferentes modelos para alcançar resultados superiores.

Quando os agentes são a escolha certa?

• Tarefas complexas: Quando um único LLM tem dificuldade com o escopo completo do seu objetivo, os agentes podem dividi-lo em etapas gerenciáveis.
• Precisão e controle: A sequência de diferentes chamadas de "agente" lhe dá mais controle sobre o processo, permitindo que você adapte as etapas para alcançar resultados específicos.
• Combinando habilidades diversas: Aproveite os pontos fortes únicos de vários LLMs para criar resultados verdadeiramente inovadores.

Desmistificando o QA de Contact Center com IA

Uma das ofertas da Level AI é Agent Assist, uma poderosa ferramenta de IA impulsionada pela tecnologia GPT. Ajuda a automatizar o QA ao analisar conversas e fornecer insights sobre o desempenho do agente.

Veja como funciona:

1. Rubrica de QA: Contact centers têm critérios específicos para boas chamadas, como resolução proativa de problemas e resolução bem-sucedida. O Agent Assist aprende esses critérios a partir de conversas anteriores.
2. Análise de IA: Cada chamada é analisada, e o Agent Assist fornece uma pontuação e uma explicação com base na rubrica de QA.
3. Explicabilidade com Evidências: Não é apenas uma caixa preta, o Agent Assist destaca partes específicas da conversa que apoiam a sua pontuação, dando aos agentes feedback valioso.
4. Humano no Circuito: Os gestores de QA podem rever as descobertas do Agent Assist e ajustar as pontuações, se necessário, garantindo precisão e imparcialidade.

Benefícios do Agent Assist:

• QA mais rápido: Economiza tempo e recursos em comparação com revisões manuais.
• Melhoria do Desempenho do Agente: Fornece feedback direcionado para ajudar os agentes a se destacarem.
• Insights Orientados por Dados: Revela tendências e áreas para melhoria no atendimento ao cliente.
• Eficiência Aumentada: Libera os gerentes de QA para tarefas mais estratégicas.

IA de Atendimento ao Cliente com GPT-4

A chegada do GPT-4 despertou entusiasmo no mundo da IA, mas será que é uma solução completa para experiências excepcionais de atendimento ao cliente? Não exatamente. Embora seu poder seja inegável, existem muitas  camadas ocultas por trás de soluções de IA verdadeiramente impactantes.

O Poder e as Armadilhas dos Grandes Modelos:

O potencial bruto do GPT-4 é notável, superando modelos de código aberto e APIs na geração de respostas. No entanto, confiar apenas na sua saída ignora as partes cruciais do pipeline de IA: seleção de dados, extração de características, agregação e conhecimento de negócios.

Construindo uma Equipe Vencedora:

• Seleção de Dados: Encontrar os dados de treinamento certos é fundamental. Anotar conversas passadas específicas da sua indústria ensina à IA como é um serviço "bom" e "ruim".
• Extração de Características: Dados brutos precisam de refinamento. Extrair atributos chave de cada conversa permite análise e comparação.
• Agregação e Agrupamento: Milhões de conversas com inúmeros atributos são esmagadoras. Esquemas de agrupamento inteligentes apresentam os dados de uma forma que os humanos podem entender e utilizar.
• Conhecimento de Negócios: Compreender o que realmente importa para os seus clientes vai além das métricas. A experiência na indústria ajuda a priorizar os KPIs certos e a guiar o desenvolvimento da IA.

Você pode ler mais sobre como as empresas aproveitam a experiência humana e a IA para o Atendimento ao Cliente no blog abaixo.

‍

How Companies Can Blend AI and Human Expertise for Superior Customer Service | Level AI

This article, an extract from a recent interview where Christian Lunoe spoke with Paul Harraghy, VP of CARE at VistaPrint, explores the intricate balance

Level AI mythreya lingala

‍

MLOPs Revolucionando o Sucesso do Cliente

O cenário de sucesso do cliente está sendo redesenhado pelos MLOPs, a fórmula mágica por trás de implantações eficientes de IA. Aqui está uma prévia do seu impacto em 5 anos:

• Aumente a Eficiência: Diga adeus a consultas lentas e clientes frustrados. Chatbots com IA, impulsionados por MLOPs, responderão instantaneamente a perguntas, liberando os agentes para interações significativas.
• Harmonia Humano-IA: O futuro não é robôs substituindo humanos; é sobre colaboração. MLOPs capacita os agentes com insights baseados em dados para argumentos de venda mais inteligentes, resolução proativa de problemas e experiências personalizadas.
• Decisões Baseadas em Dados: MLOPs liberta o poder dos dados do cliente. Modelos de IA preverão necessidades, personalizarão recomendações e construirão confiança através de ações informadas.
• Hiperpersonalização: MLOPs personaliza tudo, desde ofertas a suporte, cultivando relacionamentos duradouros e lealdade.
• Combatendo as Alucinações: MLOPs combate imprecisões com treinamento focado e verificação baseada em evidências, garantindo interações confiáveis com o cliente.

MLOPs é a chave para criar um futuro centrado no cliente, mas o uso responsável e ético é crucial. Ao abraçar seu potencial e, ao mesmo tempo, abordar os desafios, podemos construir histórias de sucesso dignas de serem celebradas.

Você pode ler mais sobre como a IA Generativa moldará o futuro da Experiência do Cliente no blog abaixo.

‍

Generative AI: the future of CX

Voice of the customer insights unveils hidden trends and emerging themes without bias, effort, or friction.

Level AI mythreya lingala

‍

Leia nossos blogs anteriores da série True ML Talks:

‍

Enterprise GenAI and LLMOps with Labhesh Patel

Learn how to leverage GenAI and LLMs to solve your business use cases from Labhesh Patel, ex-CTO and Chief Scientist @Jumio

TrueFoundry Blog TrueFoundry

‍

Continue assistindo ao TrueML série do YouTube e lendo o TrueML série do blog.

TrueFoundry é uma PaaS de Implantação de ML sobre Kubernetes para acelerar os fluxos de trabalho dos desenvolvedores, permitindo-lhes total flexibilidade no teste e implantação de modelos, ao mesmo tempo em que garante total segurança e controle para a equipe de Infraestrutura. Através da nossa plataforma, capacitamos as equipes de Machine Learning a implantar e monitorar modelos em 15 minutos com 100% de confiabilidade, escalabilidade e a capacidade de reverter em segundos - permitindo-lhes economizar custos e lançar modelos em produção mais rapidamente, gerando valor de negócio real.