TrueML Talks #29 - GenAI and LLMs for Location Intelligence @ Beans.AI

Volvemos con otro episodio de True ML Talks. En este artículo, volvemos a profundizar en las aplicaciones de MLOP, canalizaciones y LLM en empresas, mientras hablamos con Sandeep Singh

Sandeep es el director de IA aplicada al aprendizaje automático en la empresa llamada Beans AI.

📌

Nuestras conversaciones con Sandeep abordarán los siguientes aspectos:
- Revolucionando la inteligencia de ubicación con IA
- El motor de aprendizaje automático detrás de Beans.AI
- Más allá de la nube: un flujo de trabajo híbrido de aprendizaje automático
- Una inmersión profunda en el zoológico modelo
- Gestión de modelos lingüísticos de gran tamaño
- Experimentación frente a costo en el alojamiento de modelos

Mira el episodio completo a continuación:

Revolucionando la inteligencia de ubicación con IA

Beans.AI ofrece un conjunto de soluciones de software como servicio (SaaS) que utilizan la inteligencia artificial para comprender y navegar por los espacios físicos. Sus soluciones van más allá de la cartografía tradicional y ofrecen:

• Navegación interior: Beans.AI puede identificar su ubicación exacta dentro de grandes edificios y guiarlo a su destino con facilidad. Imagínese recorrer un extenso complejo hospitalario o un enorme estadio con total confianza, sabiendo exactamente dónde se encuentra y adónde tiene que ir.
• Optimización de la entrega: Las empresas de entrega como FedEx confían en la tecnología de Beans.AI para optimizar las rutas y garantizar las entregas puntuales. La plataforma identifica con precisión incluso las direcciones secundarias más complejas, como apartamentos específicos en edificios grandes, lo que elimina las demoras y las frustraciones en las entregas.
• Información sobre datos en tiempo real: Beans.AI proporciona información valiosa sobre datos para varios sectores, incluidos los seguros, el comercio minorista y la seguridad pública. Sus métodos de agrupamiento inteligente ayudan a identificar edificios, entradas y pasillos relacionados, lo que permite tomar decisiones más inteligentes.

Beans.AI utiliza una combinación de fuentes de datos, entre las que se incluyen:

• Imágenes de satélite: Las imágenes satelitales de alta resolución proporcionan una capa base para comprender el entorno físico.
• Datos públicos y privados: Beans.AI aprovecha varios conjuntos de datos públicos y adquiridos por socios, incluidos datos de ubicación, datos de texto, datos de imágenes y más.
• Enfoque humanizado: La plataforma combina la inteligencia artificial con la experiencia humana, lo que garantiza la precisión y la adaptabilidad. Los usuarios pueden revisar y refinar los puntos de datos, mejorando aún más la eficacia de la plataforma.

El motor de aprendizaje automático detrás de Beans.AI

Desde los conceptos básicos de SIG hasta la tecnología de vanguardia:

Es muy importante entender los sistemas de información geográfica (SIG) antes de sumergirse en la IA. Esta base, combinada con la experiencia de Esri, líder en soluciones cartográficas, constituye la base de su enfoque.

Beans.AI no depende de una sola configuración. Aprovechan una combinación flexible de herramientas y plataformas:

• Esri: Para las principales funcionalidades de SIG y soluciones de visión artificial.
• PyTorch: Un marco de aprendizaje profundo popular para el desarrollo de modelos.
• Código VS: Un editor de código versátil para desarrolladores.
• Google Cloud Platform (GCP): Su plataforma principal para la capacitación y el despliegue de modelos.
• IA de Vertex: La plataforma de aprendizaje automático gestionada de Google para versionar y publicar modelos.
• Labelbox, V7 Labs, Landing.AI: Diversas plataformas para el etiquetado y la anotación de datos, que se adaptan a necesidades específicas.

Beans.AI prioriza la velocidad y la adaptabilidad. Experimentan con diferentes herramientas y se mantienen ágiles, sin perder de vista la evolución de las tecnologías. Su enfoque no se basa en procesos rígidos, sino en elegir la herramienta adecuada para el trabajo, que les permita avanzar con rapidez e innovar.

La creación de estos modelos requiere una estrecha colaboración. Su director de SIG cierra la brecha entre la experiencia geográfica y el desarrollo de la IA, lo que facilita la comunicación y el intercambio de conocimientos sin interrupciones.

Si bien la IA desempeña un papel crucial, Beans.AI reconoce el valor de la experiencia humana. Su conocimiento de los SIG y su comprensión de los casos de uso específicos guían el proceso de desarrollo, garantizando que los modelos estén bien alineados con las necesidades del mundo real.

Más allá de la nube: un flujo de trabajo híbrido de aprendizaje automático

Cuando los experimentos pasan a ser modelos listos para la producción, Beans.AI recurre a GCP. Desde el entrenamiento de algoritmos complejos hasta la presentación de predicciones a escala, GCP proporciona una infraestructura sólida y escalable. Aprovechan los clústeres de Kubernetes para lograr un escalado horizontal sin problemas, lo que garantiza la capacidad de respuesta durante las temporadas altas, cuando las entregas de paquetes se disparan.

Beans.AI reconoce que una sola plataforma no puede resolverlo todo. Experimentan activamente con otras soluciones, como Vertex AI, para tareas específicas. Sin embargo, abogan por la flexibilidad y la propiedad de los datos. Soluciones como Landing.AI, que permiten la portabilidad de los modelos más allá de su plataforma, concuerdan con su filosofía de facilidad operativa y optimización de costos.

Beans.AI navega de manera responsable por el panorama en constante evolución de la IA. Exploran activamente nuevas soluciones, como las API de Palm y Falcon de OpenAI, y dan prioridad a la calidad y la agilidad. Al equilibrar el costo y la funcionalidad, abogan por un modelo de acceso abierto después de la capacitación, lo que permite una implementación e impacto más amplios.

Una inmersión profunda en el zoológico modelo: de la visión artificial al procesamiento de textos

El enfoque de Beans.AI es cualquier cosa menos monolítico. Exploran y experimentan constantemente con varios modelos de código abierto, adaptándolos a necesidades específicas:

• Visión por computador: Para tareas como la segmentación de edificios y aparcamientos, han pasado de los modelos basados en Resnet a los transformadores visuales más recientes, siempre buscando la mejor opción.
• Procesamiento de textos: Desde los chatbots que responden a las consultas de los usuarios hasta el análisis de correos electrónicos para la creación automática de pedidos, utilizan modelos como el Falcon 40B y aprovechan el LLM Studio de H2O.AI para una experimentación más rápida.

Beans.AI defiende los modelos de código abierto, lo que permite la transferencia, el aprendizaje y la personalización:

• Modelos con licencia de Apache: Permiten el uso comercial y el ajuste preciso para tareas específicas.
• Plataformas de experimentación: LLM Studio de H2O.AI agiliza las pruebas de diferentes modelos y técnicas de ajuste.

Enfatizan la importancia de probar los modelos con sus propios datos y tareas, ya que los puntos de referencia no siempre se traducen en un rendimiento real.

Beans.AI está explorando interesantes aplicaciones de conversión de texto a imágenes:

• Generar variaciones de las fotos de paquetes cargadas: Uso de soluciones similares a Nerf para mejorar la experiencia del usuario mediante la visualización de varias vistas.
• Creación de descripciones a partir de fotos: Describe automáticamente la ubicación o los daños del paquete para mejorar los análisis.

Están explorando Stable Diffusion para crear múltiples variaciones de fotos de paquetes, añadiendo un toque de sorpresa y deleite a la experiencia del usuario.

Gestión de modelos lingüísticos de gran tamaño

Hay una distinción clara entre la necesidad de formación y la inferencia en lo que respecta a los LLM:

• Entrenamiento: Requiere una potencia computacional inmensa, que a menudo implica 5 veces más GPU por trabajo. Beans.AI aprovecha diversas plataformas como RunPod.io, Paper Space y Nvidia NGC para lograr flexibilidad y optimizar los costos.
• Inferencia: Es un «animal» más pequeño de manejar, que a menudo se implementa en máquinas virtuales de Google. Esto garantiza un control total sobre la escalabilidad y el rendimiento, algo crucial para su entorno acelerado.

Si bien Google sigue siendo su ecosistema principal, Beans.AI no duda en explorar otras opciones:

• Laboratorios Lambda: Se consideró inicialmente, pero se consideró que su costo era prohibitivo.
• Azur: Una alternativa prometedora con modelos de alojamiento, aprovisionamiento y disponibilidad de GPU mejorados. Están evaluando activamente su potencial para las tareas de ciencia de datos.

Beans.AI hace hincapié en un enfoque flexible, adaptando su estrategia en función de las necesidades específicas:

• El control es fundamental: Las máquinas virtuales estándar ofrecen un control total sobre la escalabilidad y el rendimiento, lo que supera la comodidad de las soluciones gestionadas como Vertex AI.
• La maduración está ocurriendo: A medida que las plataformas gestionadas como Vertex AI evolucionen y ofrezcan más control, podrían convertirse en opciones viables en el futuro.
• El potencial de Azure: Sus ofertas competitivas en cuanto a alojamiento de modelos, aprovisionamiento y disponibilidad de GPU lo convierten en un candidato prometedor para la exploración futura.

Experimentación frente a costo en el alojamiento de modelos

Si bien la latencia y las características específicas de la plataforma no son preocupaciones inmediatas, Beans.AI hace hincapié en la estimación de costos por adelantado:

• Cálculos de macros: Estimar los costos generales antes de la experimentación ayuda a establecer expectativas y planificar de manera efectiva.
• Necesidad en toda la industria: Las herramientas inteligentes de previsión de costes para la experimentación siguen siendo un vacío en este campo.

Beans.AI navega por el equilibrio entre la ingeniería rápida y el ajuste fino:

• Ingeniería rápida: Costo casi nulo, perfecto para interacciones simples, pero potencialmente menos elegantes.
• Puesta a punto: Más potente, pero conlleva importantes costes de formación.

Combinan estratégicamente ambas técnicas para obtener resultados óptimos:

• Cost-conscious exploration: Prompt engineering for initial experimentation.
• Fine-tuning for key applications: When performance outweighs cost concerns.

It is important to have cost awareness:

• Training from scratch is rarely feasible: High costs and complexity make it a risky option.
• Intelligent cost management is key: Optimizing experimentation saves resources and accelerates innovation

Read our previous blogs in the True ML Talks series:

‍

GenAI and LLMs for Sale Outreach @ OneShot

Dive deep into how OneShot leverages GenAI and LLMS for Sales Outreach, and the architecture, technology, and business model supporting this.

TrueFoundry Blog TrueFoundry

‍

Keep watching the TrueML youtube series and reading the TrueML blog series.

TrueFoundry is a ML Deployment PaaS over Kubernetes to speed up developer workflows while allowing them full flexibility in testing and deploying models while ensuring full security and control for the Infra team. Through our platform, we enable Machine learning Teams to deploy and monitor models in 15 minutes with 100% reliability, scalability, and the ability to roll back in seconds - allowing them to save cost and release Models to production faster, enabling real business value realisation.