TrueML Talks #29 - GenAI e LLMs para Inteligência de Localização @ Beans.AI

Estamos de volta com mais um episódio do  True ML Talks. Neste, mergulhamos novamente nas pipelines de MLOps e nas aplicações de LLMs em empresas enquanto conversamos com Sandeep Singh

Sandeep é o líder de IA aplicada em machine learning na empresa Beans AI.

📌

Nossas conversas com Sandeep abordarão os seguintes aspectos:
- Revolucionando a Inteligência de Localização com IA
- O Motor de Machine Learning por Trás da Beans.AI
- Além da Nuvem: Um Fluxo de Trabalho Híbrido de Machine Learning
- Um Mergulho Profundo no Model Zoo
- Gerenciando Grandes Modelos de Linguagem
- Experimentação vs. Custo na Hospedagem de Modelos

Assista ao episódio completo abaixo:

Revolucionando a Inteligência de Localização com IA

A Beans.AI oferece um conjunto de soluções de software como serviço (SaaS) que utilizam IA para compreender e navegar em espaços físicos. Suas soluções vão além do mapeamento tradicional, oferecendo:

• Navegação Interna: A Beans.AI consegue identificar sua localização exata dentro de grandes edifícios, guiando você ao seu destino com facilidade. Imagine navegar por um complexo hospitalar extenso ou um estádio enorme com confiança, sabendo exatamente onde você está e para onde precisa ir.
• Otimização de Entregas: Empresas de entrega como a FedEx confiam na tecnologia da Beans.AI para otimizar rotas e garantir entregas pontuais. A plataforma identifica com precisão até mesmo endereços secundários complexos, como apartamentos específicos dentro de grandes edifícios, eliminando atrasos e frustrações nas entregas.
• Insights de Dados em Tempo Real: A Beans.AI oferece insights de dados valiosos para diversas indústrias, incluindo seguros, varejo e segurança pública. Seus métodos de agrupamento inteligentes ajudam a identificar edifícios, entradas e passagens relacionados, permitindo uma tomada de decisão mais inteligente.

A Beans.AI utiliza uma combinação de fontes de dados, incluindo:

• Imagens de Satélite: Imagens de satélite de alta resolução fornecem uma camada base para a compreensão do ambiente físico.
• Dados Públicos e Proprietários: A Beans.AI utiliza vários conjuntos de dados públicos e adquiridos por parceiros, incluindo dados de localização, dados de texto, dados de imagem e muito mais.
• Abordagem com Intervenção Humana: A plataforma combina IA com expertise humana, garantindo precisão e adaptabilidade. Os usuários podem revisar e refinar pontos de dados, aprimorando ainda mais a eficácia da plataforma.

O Motor de Machine Learning por Trás da Beans.AI

Dos Fundamentos de SIG à Tecnologia de Ponta:

É muito importante compreender os sistemas de informação geográfica (SIG) antes de mergulhar na IA. Essa base, combinada com a expertise da Esri, líder em soluções de mapeamento, forma o alicerce de sua abordagem.

A Beans.AI não depende de uma única configuração. Eles utilizam uma combinação flexível de ferramentas e plataformas:

• Esri: Para funcionalidades SIG essenciais e soluções de visão computacional.
• PyTorch: Um popular framework de aprendizado profundo para desenvolvimento de modelos.
• VS Code: Um editor de código versátil para desenvolvedores.
• Google Cloud Platform (GCP): Sua plataforma principal para treinamento e implantação de modelos.
• Vertex AI: Plataforma de machine learning gerenciada do Google para versionamento e disponibilização de modelos.
• Labelbox, V7 Labs, Landing.AI: Diversas plataformas para rotulagem e anotação de dados, atendendo a necessidades específicas.

A Beans.AI prioriza velocidade e adaptabilidade. Eles experimentam diferentes ferramentas e se mantêm ágeis, de olho nas tecnologias em evolução. Sua abordagem não se trata de processos rígidos, mas de escolher a ferramenta certa para o trabalho, permitindo-lhes agir rapidamente e inovar.

A construção desses modelos exige uma colaboração estreita. Seu Diretor de GIS preenche a lacuna entre a expertise geográfica e o desenvolvimento de IA, facilitando a comunicação contínua e o compartilhamento de conhecimento.

Embora a IA desempenhe um papel crucial, a Beans.AI reconhece o valor da expertise humana. Seu conhecimento em GIS e a compreensão de casos de uso específicos guiam o processo de desenvolvimento, garantindo que os modelos estejam bem alinhados com as necessidades do mundo real.

Além da Nuvem: Um Fluxo de Trabalho Híbrido de Machine Learning

Quando os experimentos se tornam modelos prontos para produção, a Beans.AI recorre ao GCP. Desde o treinamento de algoritmos complexos até a disponibilização de previsões em escala, o GCP oferece uma infraestrutura robusta e escalável. Eles utilizam clusters Kubernetes para um escalonamento horizontal contínuo, garantindo responsividade durante as épocas de pico, quando as entregas de pacotes disparam.

A Beans.AI reconhece que uma única plataforma não pode resolver tudo. Eles experimentam ativamente outras soluções, como o Vertex AI, para tarefas específicas. No entanto, eles defendem a flexibilidade e a propriedade dos dados. Soluções como o Landing.AI, que permitem a portabilidade de modelos para além de sua plataforma, ressoam com sua filosofia de facilidade operacional e otimização de custos.

A Beans.AI navega de forma responsável pelo cenário em constante evolução da IA. Eles exploram ativamente novas soluções, como as APIs Palm e o Falcon da OpenAI, priorizando qualidade e agilidade. Equilibrando custo e funcionalidade, eles defendem o acesso aberto a modelos após o treinamento, permitindo uma implantação e impacto mais amplos.

Um Mergulho Profundo no Model Zoo: Da Visão Computacional ao Processamento de Texto

A abordagem da Beans.AI está longe de ser monolítica. Eles exploram e experimentam constantemente vários modelos de código aberto, adaptando-os a necessidades específicas:

• Visão Computacional: Para tarefas como segmentação de edifícios e estacionamentos, eles passaram de modelos baseados em ResNet para os mais recentes transformadores visuais, sempre buscando o melhor ajuste.
• Processamento de Texto: Desde chatbots que respondem a consultas de usuários até a análise de e-mails para criação automatizada de pedidos, eles utilizam modelos como o Falcon 40B e aproveitam o LLM Studio da H2O.AI para uma experimentação mais rápida.

A Beans.AI defende modelos de código aberto, possibilitando o aprendizado por transferência e a personalização:

• Modelos com licença Apache: Permitir uso comercial e ajuste fino para tarefas específicas.
• Plataformas de Experimentação: O LLM Studio da H2O.AI simplifica o teste de diferentes modelos e técnicas de ajuste fino.

Eles enfatizam a importância de testar modelos com seus próprios dados e tarefas, pois os benchmarks nem sempre se traduzem em desempenho no mundo real.

A Beans.AI está explorando aplicações empolgantes de texto para imagem:

• Gerando variações de fotos de pacotes carregadas: Usando soluções semelhantes a NeRF para aprimorar a experiência do usuário exibindo múltiplas visualizações.
• Criando descrições a partir de fotos: Descrevendo automaticamente o posicionamento ou danos de pacotes para análises aprimoradas.

Eles estão explorando o Stable Diffusion para criar múltiplas variações de fotos de pacotes, adicionando um toque de surpresa e encanto à experiência do usuário.

Gerenciando Grandes Modelos de Linguagem

Há uma distinção clara entre a necessidade de treinamento e inferência quando se trata de LLMs:

• Treinamento: Requer imenso poder computacional, frequentemente envolvendo 5x GPUs por tarefa. A Beans.AI utiliza diversas plataformas como Runpod.IO, Paper Space e Nvidia NGC para flexibilidade e otimização de custos.
• Inferência: Um "bicho" menor para lidar, frequentemente implantado em VMs do Google. Isso concede controle total sobre escalabilidade e desempenho, crucial para seu ambiente de ritmo acelerado.

Embora o Google continue sendo seu ecossistema principal, a Beans.AI não hesita em explorar outras opções:

• Lambda Labs: Inicialmente considerado, mas considerado proibitivo em termos de custo.
• Azure: Uma alternativa promissora com hospedagem de modelos, provisionamento e disponibilidade de GPU aprimorados. Eles estão avaliando ativamente seu potencial para tarefas de ciência de dados.

A Beans.AI enfatiza uma abordagem flexível, adaptando sua estratégia com base em necessidades específicas:

• O controle é fundamental: As VMs Vanilla oferecem controle total sobre escalabilidade e desempenho, superando a conveniência de soluções gerenciadas como o Vertex AI.
• O amadurecimento está ocorrendo: À medida que plataformas gerenciadas como o Vertex AI evoluem e oferecem mais controle, elas podem se tornar opções viáveis no futuro.
• O potencial do Azure: Suas ofertas competitivas em hospedagem de modelos, provisionamento e disponibilidade de GPU o tornam um candidato promissor para exploração futura.

Experimentação vs. Custo na Hospedagem de Modelos

Embora a latência e as especificidades da plataforma não sejam preocupações imediatas, a Beans.AI enfatiza a estimativa de custos iniciais:

• Cálculos macro: Estimar os custos gerais antes da experimentação ajuda a definir expectativas e a planejar de forma eficaz.
• Necessidade do setor: Ferramentas inteligentes de previsão de custos para experimentação continuam sendo uma lacuna na área.

A Beans.AI navega o equilíbrio entre engenharia de prompts e fine-tuning:

• Engenharia de prompts: Custo quase zero, perfeito para interações simples, mas potencialmente menos elegante.
• Fine-tuning: Mais poderoso, mas acarreta custos de treinamento significativos.

Eles combinam estrategicamente ambas as técnicas para resultados ótimos:

• Exploração consciente de custos: Engenharia de prompts para experimentação inicial.
• Ajuste fino para aplicações principais: Quando o desempenho supera as preocupações com custos.

É importante ter consciência de custos:

• Treinar do zero raramente é viável: Altos custos e complexidade tornam-na uma opção arriscada.
• A gestão inteligente de custos é fundamental: Otimizar a experimentação economiza recursos e acelera a inovação

Leia nossos blogs anteriores da série True ML Talks:

‍

GenAI and LLMs for Sale Outreach @ OneShot

Dive deep into how OneShot leverages GenAI and LLMS for Sales Outreach, and the architecture, technology, and business model supporting this.

TrueFoundry Blog TrueFoundry

‍

Continue assistindo à TrueML série do YouTube e lendo a TrueML série de blogs.

TrueFoundry é uma PaaS de Implantação de ML sobre Kubernetes para acelerar os fluxos de trabalho dos desenvolvedores, permitindo-lhes total flexibilidade no teste e implantação de modelos, ao mesmo tempo que garante total segurança e controle para a equipe de Infraestrutura. Através da nossa plataforma, capacitamos as equipes de Machine Learning a implantar e monitorar modelos em 15 minutos com 100% de confiabilidade, escalabilidade e a capacidade de reverter em segundos - permitindo-lhes economizar custos e lançar modelos em produção mais rapidamente, possibilitando a realização de valor de negócio real.