Adding a Generative AI Ready Core to Aviso AI's Tech Stack

Adicionando um core pronto para IA generativa à stack tecnológica da Aviso AI 

Sobre a Aviso AI

A Aviso AI é um sistema operacional de receita projetado para ajudar as equipes de vendas a prever e impulsionar melhor a receita, otimizar o desempenho dos representantes e priorizar estratégias de go-to-market (GTM). Ela combina inteligência conversacional com aplicações de vendas para fornecer previsões precisas, prever pipelines futuros e fechar mais negócios. 

Ela ajudou equipes de empresas como Seagate, Honeywell, GitHub etc. a fechar 20% mais negócios e a alcançar um aumento de 15 a 35% no faturamento.

Objetivos que a equipe queria alcançar

A equipe de ML da Aviso AI queria fortalecer ainda mais a stack AI-first da empresa e ampliar o impacto ao:

1. Tornar a stack robusta para novos modelos como LLMs: A equipe queria suporte para todos os modelos mais recentes dentro de sua nuvem e deixar a stack preparada para qualquer novidade que pudesse surgir no futuro.
2. Simplificar o gerenciamento de infraestrutura para os desenvolvedores de ML: A equipe queria que os desenvolvedores de ML/DS gastassem o mínimo de tempo lidando com a infraestrutura, para que pudessem experimentar, testar e implantar seus modelos. 
3. Reduzir os custos de nuvem: A equipe queria aumentar o percentual de utilização da infraestrutura provisionada e empacotar vários serviços/modelos no mesmo recurso de computação. 

O que alcançamos junto com a equipe da Aviso AI

Por meio da parceria, as equipes conseguiram, em conjunto, alcançar o seguinte: 

1. Economizar mais de 100 horas de tempo de desenvolvedor por mês: A equipe de machine learning migrou para um ambiente baseado em docker, reduzindo assim os tempos de build e facilitando os testes locais.
2. Economia de custos de nuvem: A equipe conseguiu empacotar mais software/modelos para a computação provisionada usando docker. Também foi capaz de usar instâncias spot sem se preocupar com a confiabilidade. No geral, a equipe obteve uma economia de custos de nuvem de aproximadamente 30-40%.
3. Deployment de LLMs em escala: Usando o catálogo de modelos de LLM open source pré-configurados, a equipe pôde implantar qualquer modelo de LLM do HuggingFace ou de outras fontes com inferência otimizada na infraestrutura provisionada pela plataforma TrueFoundry.

A Aviso AI usa IA para revolucionar o Revenue Ops

A Aviso AI é uma plataforma integrada que combina diversas ferramentas de vendas impulsionadas por IA para otimizar a execução de receita. Alguns de seus principais produtos incluem:

1. Previsão de vendas: Prever os resultados de vendas, permitindo que as equipes foquem nos negócios essenciais.
2. Otimização de desempenho: Ajudar a otimizar a estratégia de vendas e fornecer feedback de melhoria à equipe.
3. Insights em tempo real: Ajuda os líderes a observar e diagnosticar qualquer interrupção ou mudança de mercado
4. Recomendações acionáveis: Sugerir a próxima melhor ação para os representantes de vendas usando sua análise baseada em IA.

Suas outras ofertas incluem previsão de negócios guiada por IA, gestão de pipeline e de negócios, inteligência conversacional, coaching e capacitação, análise e relatórios de NLP, engajamento de vendas, inteligência de leads e inteligência de Customer Success.

MIKI: o primeiro Chief of Staff baseado em LLM do mundo

A equipe da Aviso AI também vem inovando com IA generativa; central para sua abordagem está o MIKI, o primeiro Chief of Staff de IA generativa do mundo para Revenue Intelligence, projetado para aumentar a produtividade das equipes de GTM e economizar até 15-20 horas/semana dos representantes. Ele ajuda em:

1. Resposta a perguntas: Responder às dúvidas feitas pelos clientes para auxiliar os vendedores em tempo real 
2. Sugestão das próximas melhores ações: Sugerir as etapas ideais para aumentar a probabilidade de fechar uma conversa de vendas.
3. Coaching de representantes de vendas: Analisar e fornecer feedback aos vendedores
4. Automação de tarefas rotineiras feitas pelos Account Executives: Como pesquisa e redação de e-mails 

A equipe queria que os modelos de LLM fossem implantados de forma escalável como um serviço independente

A equipe de IA da Aviso vinha implantando seus serviços de software e de ML em AMIs (Amazon Machine Images). As AMIs são máquinas pré-configuradas que incluem o sistema operacional, o servidor de aplicação e a aplicação/modelo que você deseja implantar. 

A equipe queria criar uma stack tecnológica mais simples e eficiente para treinar, testar e implantar seus modelos à medida que os casos de uso se expandiam para modelos mais novos e exigentes, como LLMs (Large Language Models) e IA generativa.

Queriam manter as AMIs enxutas 

Como os serviços de software e de ML eram agrupados e incorporados às AMIs, isso poderia gerar desafios à medida que os modelos crescessem, o que é especialmente verdadeiro no caso dos LLMs

Facilitar o teste e o diagnóstico de falhas

Isolar problemas durante o lançamento ou corrigir falhas poderia se tornar desafiador por causa das dependências entre os serviços de ML e os não ML. A equipe queria manter os dois deployments e seus testes separados.

Gerenciamento de ambiente mais simples e escalonamento eficiente

Os serviços de LLM e de software poderiam exigir ambientes diferentes para execução. Seus requisitos de recursos também são muito diferentes. Por isso, a equipe viu vantagem em gerenciar o ambiente e o tratamento de recursos dos dois separadamente.

Com uma stack de infraestrutura atualizada, a equipe economiza mais de 100 horas de desenvolvimento por mês

A equipe migrou para uma stack de infraestrutura escalável em um ambiente dockerizado. Decidimos em conjunto que isso poderia preparar a equipe para o sucesso no longo prazo, ao mesmo tempo em que economizava tempo e 

O novo ambiente dockerizado ajuda a equipe a economizar custos e a ser mais ágil

1. Leve: As imagens docker são muito mais leves e encapsulam apenas a aplicação e suas dependências. Isso as torna muito menores e mais rápidas de construir. 
2. Arquitetura de microservices: As imagens docker são blocos de construção que dividem uma aplicação monolítica em microservices menores. Os microservices tornam a aplicação muito mais confiável e transparente. 
3. Custo-efetivo: Os containers compartilham os kernels do SO host, tornando-os mais eficientes em recursos do que as máquinas virtuais. Vários containers podem ser executados em uma infraestrutura compartilhada, levando a uma alta utilização de recursos.

O novo fluxo de trabalho da equipe de ML com a TrueFoundry

A TrueFoundry ajudou a equipe a migrar perfeitamente de sua configuração existente para uma nova configuração baseada em docker, que garante:

1. Mais fácil de gerenciar para as equipes de DS: Cada vez que um serviço/modelo precisa ser implantado ou testado, isso pode ser feito localmente.
2. Boas práticas de SRE aplicadas automaticamente: Autoscaling, gestão de versões, rastreamento de linhagem de dados e de modelos, visibilidade de custos etc.
3. ~40% de economia de custos de nuvem: Por meio do uso confiável de instâncias spot e de maior utilização de recursos

A equipe da Aviso AI pôde entregar LLMs desde o primeiro dia usando a TrueFoundry

Com a nova stack modular implementada, a equipe estava preparada para implantar e usar perfeitamente modelos de nova geração e mais pesados, como LLMs, para impulsionar o MIKI e os novos casos de uso que estavam surgindo.

Dada a escala e a recentidade desses modelos, treinar, fazer fine-tuning e implantar esses modelos em escala são problemas complexos de engenharia. Eles incluem:

1. Escalonamento da infraestrutura de GPU: Para dar suporte a modelos enormes como o LlaMA 2 70 Bn etc. 
2. Descobrir as configurações adequadas do model server: Novos modelos são lançados a cada poucas semanas, e as equipes precisam determinar os parâmetros corretos para servi-los em model servers como vLLM, TGI etc. Encontrar essa configuração com base nos recursos disponíveis e nos requisitos de desempenho pode levar semanas.
3. Fine-tuning e pré-treinamento: O fine-tuning e o pré-treinamento exigem orquestrar clusters multi-GPU, checkpointing e o monitoramento contínuo do job de treinamento.

A equipe podia simplesmente implantar seus modelos e ter, por padrão, garantia de confiabilidade e custos ideais

A TrueFoundry ajudou a equipe a:

1. Implantar com 1 clique qualquer LLM open source do Hugging Face Hub ou de outras fontes
2. Autoscaling com o melhor desempenho sobre os model servers para entregar os modelos de maior desempenho
3. Economizar custos usando instâncias spot, permitindo reduzir a escala do modelo em determinados períodos do dia e o deployment de Kubernetes puro.

A TrueFoundry se tornou o painel único para administradores e equipes de ML

A TrueFoundry se tornou o painel único por meio do qual os diferentes projetos dentro da empresa implantavam seus modelos de ML. Isso permitiu um compartilhamento de contexto mais fácil entre as equipes, já que todos, especialmente os administradores, podiam ver quais deployments e construções de modelos estavam sendo feitos pelas diferentes equipes.