TrueML Talks #29 - GenAI en LLMs voor Location Intelligence @ Beans.AI

We zijn terug met een nieuwe aflevering van  True ML Talks. In deze aflevering duiken we opnieuw diep in MLOps-pijplijnen en LLM-toepassingen binnen ondernemingen, in gesprek met Sandeep Singh

Sandeep is hoofd Machine Learning en Applied AI bij het bedrijf Beans AI.

📌

Onze gesprekken met Sandeep behandelen de volgende aspecten:
- Een revolutie in Location Intelligence met AI
- De Machine Learning Engine achter Beans.AI
- Voorbij de Cloud: Een Hybride Machine Learning Workflow
- Een diepe duik in de Model Zoo
- Beheer van Large Language Models
- Experimenteren vs. Kosten bij Model Hosting

Bekijk de volledige aflevering hieronder:

Een revolutie in Location Intelligence met AI

Beans.AI biedt een reeks Software-as-a-Service (SaaS)-oplossingen die AI gebruiken om fysieke ruimtes te begrijpen en erin te navigeren. Hun oplossingen gaan verder dan traditionele kartografie en bieden:

• Binnenshuis navigeren: Beans.AI kan uw exacte locatie binnen grote gebouwen bepalen en u eenvoudig naar uw bestemming leiden. Stel u voor dat u met vertrouwen door een uitgestrekt ziekenhuiscomplex of een gigantisch stadion navigeert, precies wetend waar u bent en waar u heen moet.
• Bezorgoptimalisatie: Bezorgbedrijven zoals FedEx vertrouwen op de technologie van Beans.AI om routes te optimaliseren en tijdige leveringen te garanderen. Het platform identificeert nauwkeurig zelfs complexe secundaire adressen, zoals specifieke appartementen in grote gebouwen, waardoor vertragingen en frustraties bij de bezorging worden voorkomen.
• Realtime data-inzichten: Beans.AI biedt waardevolle data-inzichten voor diverse sectoren, waaronder verzekeringen, retail en openbare veiligheid. Hun intelligente clusteringmethoden helpen bij het identificeren van gerelateerde gebouwen, ingangen en looproutes, wat slimmere besluitvorming mogelijk maakt.

Beans.AI maakt gebruik van een combinatie van databronnen, waaronder:

• Satellietbeelden: Satellietbeelden met een hoge resolutie bieden een basislaag voor het begrijpen van de fysieke omgeving.
• Publieke en propriëtaire data: Beans.AI benut diverse openbare en via partners verkregen datasets, waaronder locatiedata, tekstdata, beelddata en meer.
• Human-in-the-Loop-benadering: Het platform combineert AI met menselijke expertise, wat nauwkeurigheid en aanpassingsvermogen garandeert. Gebruikers kunnen datapunten beoordelen en verfijnen, wat de effectiviteit van het platform verder verhoogt.

De Machine Learning Engine achter Beans.AI

Van GIS-basisprincipes tot geavanceerde technologie:

Het is erg belangrijk om geografische informatiesystemen (GIS) te begrijpen alvorens in AI te duiken. Deze basis, gecombineerd met expertise van Esri, een leider in kartografische oplossingen, vormt het fundament van hun aanpak.

Beans.AI vertrouwt niet op één enkele opzet. Ze maken gebruik van een flexibele mix van tools en platformen:

• Esri: Voor kern-GIS-functionaliteiten en Computer Vision-oplossingen.
• PyTorch: Een populair Deep Learning-framework voor modelontwikkeling.
• VS Code: Een veelzijdige code-editor voor ontwikkelaars.
• Google Cloud Platform (GCP): Hun primaire platform voor het trainen en deployen van modellen.
• Vertex AI: Google's beheerde Machine Learning-platform voor versiebeheer en het serveren van modellen.
• Labelbox, V7 Labs, Landing.AI: Diverse platformen voor datalabeling en annotatie, afgestemd op specifieke behoeften.

Beans.AI geeft prioriteit aan snelheid en aanpassingsvermogen. Ze experimenteren met verschillende tools en blijven wendbaar, waarbij ze opkomende technologieën nauwlettend in de gaten houden. Hun aanpak draait niet om starre processen, maar om het kiezen van de juiste tool voor de taak, waardoor ze snel kunnen handelen en innoveren.

Het bouwen van deze modellen vereist nauwe samenwerking. Hun Chief GIS Officer overbrugt de kloof tussen geografische expertise en AI-ontwikkeling, wat naadloze communicatie en kennisdeling vergemakkelijkt.

Hoewel AI een cruciale rol speelt, erkent Beans.AI de waarde van menselijke expertise. Hun GIS-kennis en inzicht in specifieke use cases sturen het ontwikkelingsproces, zodat modellen goed aansluiten op de behoeften in de praktijk.

Voorbij de Cloud: Een Hybride Machine Learning Workflow

Wanneer experimenten doorgroeien naar productieklare modellen, wendt Beans.AI zich tot GCP. Van het trainen van complexe algoritmen tot het op schaal serveren van voorspellingen biedt GCP een robuuste en schaalbare infrastructuur. Ze maken gebruik van Kubernetes-clusters voor naadloze horizontale schaalbaarheid, wat responstijden garandeert tijdens piekseizoenen wanneer pakketbezorgingen sterk toenemen.

Beans.AI erkent dat één enkel platform niet alles kan oplossen. Ze experimenteren actief met andere oplossingen zoals Vertex AI voor specifieke taken. Ze pleiten echter voor flexibiliteit en data-eigenaarschap. Oplossingen zoals Landing.AI, die modelportabiliteit buiten hun platform mogelijk maken, sluiten aan bij hun filosofie van operationeel gemak en kostenoptimalisatie.

Beans.AI navigeert op verantwoorde wijze door het voortdurend veranderende AI-landschap. Ze onderzoeken actief nieuwe oplossingen zoals PaLM API's en OpenAI's Falcon, waarbij kwaliteit en wendbaarheid vooropstaan. Met een balans tussen kosten en functionaliteit pleiten ze voor open modeltoegang na training, wat een bredere deployment en impact mogelijk maakt.

Een diepe duik in de Model Zoo: Van Computer Vision tot Tekstverwerking

De aanpak van Beans.AI is allesbehalve monolithisch. Ze onderzoeken en experimenteren voortdurend met diverse open-source modellen en passen deze aan voor specifieke behoeften:

• Computer Vision: Voor taken zoals de segmentatie van gebouwen en parkeerterreinen zijn ze overgestapt van op ResNet gebaseerde modellen naar de nieuwste Visual Transformers, altijd op zoek naar de beste pasvorm.
• Tekstverwerking: Van chatbots die vragen van gebruikers beantwoorden tot e-mailparsing voor geautomatiseerde orderaanmaak, ze gebruiken modellen zoals Falcon 40B en benutten H2O.AI's LLM Studio voor snellere experimenten.

Beans.AI ondersteunt open-source modellen, wat Transfer Learning en aanpassing mogelijk maakt:

• Modellen met Apache-licentie: Maakt commercieel gebruik en fine-tuning voor specifieke taken mogelijk.
• Experimenteerplatformen: H2O.AI's LLM Studio stroomlijnt het testen van verschillende modellen en fine-tuningtechnieken.

Ze benadrukken het belang van het testen van modellen op uw eigen data en taken, aangezien benchmarks zich niet altijd vertalen naar prestaties in de praktijk.

Beans.AI verkent boeiende text-to-image toepassingen:

• Genereren van variaties van geüploade pakketfoto's: Gebruik van NeRF-achtige oplossingen om de gebruikerservaring te verbeteren door meerdere weergaven te tonen.
• Beschrijvingen maken op basis van foto's: Automatisch de plaatsing van pakketten of schade beschrijven voor verbeterde analyses.

Ze onderzoeken Stable Diffusion om meerdere variaties van pakketfoto's te maken, wat een verrassend en prettig element toevoegt aan de gebruikerservaring.

Beheer van Large Language Models

Er is een duidelijk verschil tussen de vereisten voor training en voor inference als het gaat om LLMs:

• Training: Vereist enorme rekenkracht, waarbij vaak 5x GPU's per taak betrokken zijn. Beans.AI benut diverse platformen zoals RunPod.io, Paperspace en Nvidia NGC voor flexibiliteit en kostenoptimalisatie.
• Inference: Een kleiner "beestje" om te beheren, vaak gedeployd op Google VM's. Dit geeft volledige controle over schaling en prestaties, wat cruciaal is voor hun dynamische omgeving.

Hoewel Google hun primaire ecosysteem blijft, schrikt Beans.AI er niet van terug om andere opties te onderzoeken:

• Lambda Labs: Aanvankelijk overwogen, maar als kostenprohibitief beoordeeld.
• Azure: Een veelbelovend alternatief met verbeterde model hosting, provisioning en GPU-beschikbaarheid. Ze evalueren actief het potentieel voor data science-taken.

Beans.AI benadrukt een flexibele aanpak en past de strategie aan op basis van specifieke behoeften:

• Controle is van het grootste belang: Standaard VM's bieden volledige controle over schaling en prestaties, wat opweegt tegen het gemak van beheerde oplossingen zoals Vertex AI.
• Rijping is gaande: Naarmate beheerde platformen zoals Vertex AI evolueren en meer controle bieden, kunnen ze in de toekomst haalbare opties worden.
• Het potentieel van Azure: De concurrerende proposities op het gebied van model hosting, provisioning en GPU-beschikbaarheid maken het een veelbelovende kandidaat voor toekomstige verkenning.

Experimenteren vs. Kosten bij Model Hosting

Hoewel latency en platformspecificaties geen directe zorgen zijn, benadrukt Beans.AI het vooraf inschatten van de kosten:

• Macrocalculaties: Het schatten van de totale kosten voorafgaand aan experimenten helpt om verwachtingen te managen en effectief te plannen.
• Sectorbrede behoefte: Intelligente tools voor kostenprognoses bij experimenten blijven een ontbrekende factor binnen het vakgebied.

Beans.AI navigeert door de afweging tussen Prompt Engineering en Fine-tuning:

• Prompt Engineering: Vrijwel geen kosten, perfect voor eenvoudige interacties, maar mogelijk minder elegant.
• Fine-tuning: Krachtiger, maar brengt aanzienlijke trainingskosten met zich mee.

Ze combineren beide technieken strategisch voor optimale resultaten:

• Kostenbewuste verkenning: Prompt Engineering voor initiële experimenten.
• Fine-tuning voor sleuteltoepassingen: Wanneer prestaties zwaarder wegen dan kostenoverwegingen.

Het is belangrijk om kostenbewust te zijn:

• Vanuit het niets trainen is zelden haalbaar: Hoge kosten en complexiteit maken het een risicovolle optie.
• Intelligent kostenbeheer is essentieel: Het optimaliseren van experimenten bespaart middelen en versnelt innovatie.

Lees onze eerdere blogs in de True ML Talks-serie:

‍

GenAI en LLMs voor Sales Outreach @ OneShot

Duik diep in hoe OneShot GenAI en LLMs benut voor Sales Outreach, en de architectuur, technologie en het bedrijfsmodel dat dit ondersteunt.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML YouTube-serie en lees de TrueML blogserie.

TrueFoundry is een ML Deployment PaaS over Kubernetes om workflows van ontwikkelaars te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen met gegarandeerde veiligheid en controle voor het infrateam. Via ons platform stellen we Machine Learning-teams in staat om binnen 15 minuten modellen te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen seconden te terug te draaien - waardoor ze kosten besparen, modellen sneller naar productie brengen en echte zakelijke waarde realiseren.