TrueML Talks #29 — GenAI und LLMs für Location Intelligence @ Beans.AI

Wir sind zurück mit einer weiteren Folge von True ML Talks. In dieser Ausgabe befassen wir uns erneut eingehend mit MLOps-Pipelines und LLMS-Anwendungen in Unternehmen, mit denen wir gerade sprechen Sandeep Singh

Sandeep ist Leiter der Abteilung für maschinelles Lernen und angewandte KI bei der Firma Beans AI.

📌

Unsere Gespräche mit Sandeep werden die folgenden Aspekte behandeln:
- Revolutionierung von Location Intelligence mit KI
- Die Engine für maschinelles Lernen hinter Beans.AI
- Jenseits der Cloud: Ein hybrider Arbeitsablauf für maschinelles Lernen
- Ein tiefer Einblick in den Modellzoo
- Verwaltung großer Sprachmodelle
- Experimentieren im Vergleich zu Kosten beim Modelhosting

Sehen Sie sich die ganze Folge unten an:

Revolutionierung von Location Intelligence mit KI

Beans.AI bietet eine Reihe von Software-as-a-Service (SaaS) -Lösungen, die KI nutzen, um physische Räume zu verstehen und sich darin zurechtzufinden. Ihre Lösungen gehen über die traditionelle Kartierung hinaus und bieten:

• Navigation in Innenräumen: Beans.AI kann Ihren genauen Standort in großen Gebäuden lokalisieren und Sie mühelos an Ihr Ziel führen. Stellen Sie sich vor, Sie navigieren selbstbewusst durch einen weitläufigen Krankenhauskomplex oder ein riesiges Stadion und wissen genau, wo Sie sich befinden und wohin Sie gehen müssen.
• Lieferoptimierung: Lieferunternehmen wie FedEx verlassen sich auf die Technologie von Beans.AI, um Routen zu optimieren und pünktliche Lieferungen sicherzustellen. Die Plattform identifiziert selbst komplexe Sekundäradressen, wie z. B. bestimmte Wohnungen in großen Gebäuden, präzise und verhindert so Lieferverzögerungen und Frustrationen.
• Dateneinblicke in Echtzeit: Beans.AI bietet wertvolle Dateneinblicke für verschiedene Branchen, darunter Versicherungen, Einzelhandel und öffentliche Sicherheit. Ihre intelligenten Clustering-Methoden helfen dabei, verwandte Gebäude, Eingänge und Gehwege zu identifizieren und ermöglichen so intelligentere Entscheidungen.

Beans.AI verwendet eine Kombination von Datenquellen, darunter:

• Satellitenbilder: Hochauflösende Satellitenbilder bilden eine Grundlage für das Verständnis der physikalischen Umgebung.
• Öffentliche und urheberrechtlich geschützte Daten: Beans.AI nutzt verschiedene öffentliche und von Partnern erworbene Datensätze, darunter Standortdaten, Textdaten, Bilddaten und mehr.
• Human-in-the-Loop-Ansatz: Die Plattform kombiniert KI mit menschlichem Fachwissen und gewährleistet Genauigkeit und Anpassungsfähigkeit. Benutzer können Datenpunkte überprüfen und verfeinern, wodurch die Effektivität der Plattform weiter verbessert wird.

Die Engine für maschinelles Lernen hinter Beans.AI

Von GIS-Grundlagen bis hin zu Spitzentechnologie:

Es ist sehr wichtig, die geographischen Informationssysteme (GIS) zu verstehen, bevor Sie sich mit KI befassen. Diese Grundlage bildet zusammen mit dem Fachwissen von Esri, einem führenden Anbieter von Kartierungslösungen, das Fundament ihres Ansatzes.

Beans.AI ist nicht auf ein einziges Setup angewiesen. Sie nutzen eine flexible Mischung aus Tools und Plattformen:

• Esri: Für GIS-Kernfunktionen und Computer Vision-Lösungen.
• PyTorch: Ein beliebtes Deep-Learning-Framework für die Modellentwicklung.
• VS-Code: Ein vielseitiger Code-Editor für Entwickler.
• Google Cloud-Plattform (GCP): Ihre primäre Plattform für das Training und den Einsatz von Modellen.
• Scheitelpunkt-KI: Googles verwaltete Plattform für maschinelles Lernen zur Versionierung und Bereitstellung von Modellen.
• Labelbox, V7 Labs, Landing.AI: Vielfältige Plattformen für die Kennzeichnung und Anmerkung von Daten, die auf spezifische Bedürfnisse zugeschnitten sind.

Beans.AI legt Wert auf Geschwindigkeit und Anpassungsfähigkeit. Sie experimentieren mit verschiedenen Tools und bleiben flexibel und behalten die sich entwickelnden Technologien im Auge. Bei ihrem Ansatz geht es nicht um starre Prozesse, sondern darum, das richtige Tool für die jeweilige Aufgabe auszuwählen, damit sie schnell vorankommen und innovativ sein können.

Der Aufbau dieser Modelle erfordert eine enge Zusammenarbeit. Ihr Chief GIS Officer schließt die Lücke zwischen geografischem Fachwissen und KI-Entwicklung und ermöglicht so eine reibungslose Kommunikation und den Wissensaustausch.

Während KI eine entscheidende Rolle spielt, erkennt Beans.AI den Wert menschlichen Fachwissens an. Ihr GIS-Wissen und ihr Verständnis für spezifische Anwendungsfälle leiten den Entwicklungsprozess und stellen sicher, dass die Modelle gut auf die realen Bedürfnisse abgestimmt sind.

Jenseits der Cloud: Ein hybrider Arbeitsablauf für maschinelles Lernen

Wenn Experimente zu serienreifen Modellen übergehen, wechselt Beans.AI zu GCP. Vom Training komplexer Algorithmen bis hin zur Erstellung skalierbarer Vorhersagen bietet GCP eine robuste und skalierbare Infrastruktur. Sie nutzen Kubernetes-Cluster für eine nahtlose horizontale Skalierung und stellen so die Reaktionsfähigkeit in der Hochsaison sicher, wenn die Paketzustellungen stark ansteigen.

Beans.AI erkennt, dass eine einzelne Plattform nicht alles lösen kann. Sie experimentieren aktiv mit anderen Lösungen wie Vertex AI für bestimmte Aufgaben. Sie setzen sich jedoch für Flexibilität und Dateneigentum ein. Lösungen wie Landing.AI, die die Portabilität von Modellen über ihre Plattform hinaus ermöglichen, entsprechen ihrer Philosophie der Benutzerfreundlichkeit und Kostenoptimierung.

Beans.AI navigiert verantwortungsbewusst durch die sich ständig weiterentwickelnde KI-Landschaft. Sie erforschen aktiv neue Lösungen wie Palm-APIs und Falcon von OpenAI und legen dabei Wert auf Qualität und Agilität. Sie wägen Kosten und Funktionalität ab und setzen sich nach Abschluss der Schulung für einen offenen Modellzugang ein, um eine breitere Implementierung und Wirkung zu ermöglichen.

Ein tiefer Einblick in den Modellzoo: Von Computer Vision bis Textverarbeitung

Der Ansatz von Beans.AI ist alles andere als monolithisch. Sie erforschen und experimentieren ständig mit verschiedenen Open-Source-Modellen und passen sie an spezifische Bedürfnisse an:

• Maschinelles Sehen: Für Aufgaben wie Gebäude- und Parkplatzsegmentierung sind sie von ResNet-basierten Modellen auf die neuesten visuellen Transformatoren umgestiegen und haben immer nach der besten Lösung gesucht.
• Textverarbeitung: Von Chatbots, die Benutzeranfragen beantworten, bis hin zur E-Mail-Analyse zur automatisierten Auftragserstellung — sie nutzen Modelle wie Falcon 40B und nutzen das LLM Studio von H2O.AI für schnellere Experimente.

Beans.AI setzt sich für Open-Source-Modelle ein und ermöglicht Transferlernen und Anpassung:

• Apache-lizenzierte Modelle: Erlauben Sie die kommerzielle Nutzung und Feinabstimmung für bestimmte Aufgaben.
• Experimentierplattformen: Das LLM Studio von H2O.AI optimiert das Testen verschiedener Modelle und Feinabstimmungstechniken.

Sie betonen, wie wichtig es ist, Modelle mit Ihren eigenen Daten und Aufgaben zu testen, da Benchmarks nicht immer zu einer realen Leistung führen.

Beans.AI erforscht spannende Text-zu-Bild-Anwendungen:

• Generieren von Variationen hochgeladener Paketfotos: Verwendung von NERF-ähnlichen Lösungen zur Verbesserung der Benutzererfahrung durch Anzeige mehrerer Ansichten.
• Beschreibungen aus Fotos erstellen: Automatische Beschreibung der Platzierung oder Beschädigung der Verpackung für eine verbesserte Analytik.

Sie erkunden Stable Diffusion, um mehrere Variationen von Paketfotos zu erstellen, was dem Benutzererlebnis einen Hauch von Überraschung und Freude verleiht.

Verwaltung großer Sprachmodelle

Es gibt einen klaren Unterschied zwischen Schulungsbedarf und Inferenz, wenn es um LLMs geht:

• Schulung: Erfordert eine immense Rechenleistung und erfordert oft 5x GPUs pro Job. Beans.AI nutzt verschiedene Plattformen wie Runpod.io, Paper Space und Nvidia NGC für Flexibilität und Kostenoptimierung.
• Inferenz: Kleineres zu handhabendes „Tier“, das häufig auf Google-VMs eingesetzt wird. Dies gewährt die vollständige Kontrolle über Skalierung und Leistung, was für ihre schnelllebige Umgebung von entscheidender Bedeutung ist.

Google bleibt zwar ihr primäres Ökosystem, aber Beans.AI scheut sich nicht, andere Optionen zu erkunden:

• Lambda Labs: Ursprünglich in Betracht gezogen, aber als unerschwinglich erachtet.
• Azurblau: Eine vielversprechende Alternative mit verbessertem Modellhosting, Bereitstellung und GPU-Verfügbarkeit. Sie evaluieren aktiv ihr Potenzial für datenwissenschaftliche Aufgaben.

Beans.AI legt Wert auf einen flexiblen Ansatz und passt seine Strategie an spezifische Bedürfnisse an:

• Kontrolle ist von größter Bedeutung: Vanilla-VMs bieten die volle Kontrolle über Skalierung und Leistung und überwiegen den Komfort verwalteter Lösungen wie Vertex AI.
• Die Reifung findet statt: Da sich verwaltete Plattformen wie Vertex AI weiterentwickeln und mehr Kontrolle bieten, könnten sie in Zukunft zu praktikablen Optionen werden.
• Das Potenzial von Azure: Seine wettbewerbsfähigen Angebote in den Bereichen Modellhosting, Provisioning und GPU-Verfügbarkeit machen es zu einem vielversprechenden Kandidaten für zukünftige Explorationen.

Experimentieren im Vergleich zu Kosten beim Modelhosting

Obwohl Latenz und Plattformspezifika kein unmittelbares Problem sind, legt Beans.AI Wert auf eine Vorabschätzung der Kosten:

• Makroberechnungen: Die Schätzung der Gesamtkosten vor dem Experimentieren hilft dabei, Erwartungen zu setzen und effektiv zu planen.
• Branchenweiter Bedarf: Intelligente Tools zur Kostenprognose für Experimente sind nach wie vor eine Lücke in diesem Bereich.

Beans.AI bewältigt den Kompromiss zwischen schnellem Engineering und Feinabstimmung:

• Schnelles Engineering: Fast kostenlos, perfekt für einfache Interaktionen, aber möglicherweise weniger elegant.
• Feinabstimmung: Leistungsfähiger, verursacht jedoch erhebliche Schulungskosten.

Sie kombinieren beide Techniken strategisch, um optimale Ergebnisse zu erzielen:

• Kostenbewusste Erkundung: Schnelles Engineering für erste Experimente.
• Feinabstimmung für wichtige Anwendungen: Wenn die Leistung die Kostenbedenken überwiegt.

Es ist wichtig, Kostenbewusstsein zu haben:

• Ein Training von Grund auf ist selten machbar: Hohe Kosten und Komplexität machen es zu einer riskanten Option.
• Intelligentes Kostenmanagement ist entscheidend: Die Optimierung von Experimenten schont Ressourcen und beschleunigt Innovationen

Lesen Sie unsere vorherigen Blogs in der True ML Talks-Reihe:

‍

GenAI and LLMs for Sale Outreach @ OneShot

Dive deep into how OneShot leverages GenAI and LLMS for Sales Outreach, and the architecture, technology, and business model supporting this.

TrueFoundry Blog TrueFoundry

‍

Schaue weiter TrueML YouTube-Serie und das TrueML lesen Blog-Serie.

Wahre Gießerei ist ein ML Deployment PaaS über Kubernetes, um die Workflows von Entwicklern zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten und gleichzeitig die volle Sicherheit und Kontrolle für das Infra-Team zu gewährleisten. Über unsere Plattform ermöglichen wir Teams für maschinelles Lernen bereitstellen und überwachen Modelle innerhalb von 15 Minuten mit 100% iger Zuverlässigkeit, Skalierbarkeit und der Möglichkeit, innerhalb von Sekunden rückgängig zu machen. So können sie Kosten sparen und Modelle schneller für die Produktion freigeben, wodurch ein echter Geschäftswert erzielt wird.