True ML talks #18 - Generatieve AI-discussie met Tushar Kant

We zijn terug met een nieuwe aflevering van  True ML Talks. In deze aflevering duiken we diep in het ML Platform en spreken we met Tushar

Tushar is een ervaren MLOps-leider met meer dan 20 jaar ervaring bij toonaangevende techbedrijven en beschikt over een brede reeks vaardigheden op het gebied van product, business, engineering en investment banking. Hij is ook de mede-oprichter van het wereldwijde IIT, artificial intelligence, and machine learning forum, en beheert daarvoor tevens een zeer actieve Slack-community.

Bekijk de volledige aflevering hieronder:

IIT Artificial Intelligence and Machine Learning Forum

Visie van het forum

Het IIT AI/ML Forum is gestart met de visie om een community te creëren waarin IITians die werkzaam zijn in AI/ML hun kennis kunnen delen, kunnen samenwerken en elkaar kunnen helpen. Zij geloofden dat IITians door samen te werken elk ander engineering-instituut ter wereld zouden kunnen overtreffen.

Het forum is een groot succes gebleken, met meer dan 1800 leden van over de hele wereld. Het forum heeft evenementen georganiseerd, andere organisaties ondersteund en is uitgegroeid tot een op zichzelf staande, bloeiende community.

Prestaties van het forum

Tushar is bijzonder trots op drie dingen die het forum heeft bereikt:

1. Het organiseren van de eendaagse AI-track bij Icon.: Dit is een grote conferentie in Silicon Valley, en het feit dat het forum de AI-track kon organiseren is een bewijs van zijn reputatie en invloed.
2. Het opbouwen van sterke verbindingen tussen leden: Het forum heeft geholpen om levenslange vriendschappen en zakelijke partnerschappen tussen de leden te creëren.
3. Het bieden van een ondersteuningssysteem tijdens de COVID-19-pandemie: Toen de wereld op slot ging, bleef het forum om de week bijeenkomen, wat een bron van kennis en steun bood voor de leden.

Cruciale momenten in de groei van AI en MLOps

De combinatie van Cloud computing, Transformers en Pre-training zal de komende jaren een belangrijke drijfveer zijn voor innovatie in AI en MLOps. In het bijzonder het potentieel van multimodale AI, die natural language processing en computer vision combineert om complexe problemen op te lossen.

Cloud computing heeft AI toegankelijker en betaalbaarder gemaakt voor iedereen. Dit heeft geleid tot een golf van innovatie in het vakgebied, aangezien startups en individuen nu AI-toepassingen kunnen ontwikkelen en implementeren zonder te hoeven investeren in dure infrastructuur.

Transformers hebben een revolutie teweeggebracht in natural language processing en computer vision. Transformers zijn een type neuraal netwerkarchitectuur dat in staat is om langetermijn-afhankelijkheden in data te leren. Dit maakt ze uitermate geschikt voor taken zoals machineredactie/vertaling en beeldherkenning.

Pre-training is een techniek waarbij een groot taalmodel wordt getraind op een gigantische dataset van tekst en code. Dit voorgetrainde model kan vervolgens worden gefinetuned voor specifieke taken, zoals vertalen of het beantwoorden van vragen. Pre-training heeft de prestaties van AI-modellen op een breed scala aan taken aanzienlijk verbeterd.

ChatGPT en generatieve AI: Mogelijke toepassingen in verschillende sectoren

ChatGPT en generatieve AI hebben het potentieel om vele industrieën te veranderen. Hij is met name geïnteresseerd in de mogelijkheden van deze technologieën om de klantenservice te verbeteren, fraude te verminderen, producten en diensten te personaliseren en de gezondheidszorg te verbeteren.

Voorbeelden van specifieke toepassingen van ChatGPT en generatieve AI in verschillende sectoren:

1. Klantenservice en -ervaring: ChatGPT en generatieve AI kunnen worden gebruikt om klantenservicetaken te automatiseren, zoals het beantwoorden van vragen en het genereren van rapporten. Dit geeft klantenservicemedewerkers de ruimte om zich te richten op complexere taken.
2. Risicobeoordeling en fraudedetectie: ChatGPT en generatieve AI kunnen worden ingezet om risico's in de bank- en financiële sector te identificeren en te beperken. Ze kunnen bijvoorbeeld worden gebruikt om frauduleuze transacties op te sporen en het risico van kredietnemers te beoordelen.
3. Personalisatie: ChatGPT en generatieve AI kunnen worden gebruikt om producten en diensten te personaliseren voor klanten in de detailhandel. Ze kunnen bijvoorbeeld worden gebruikt om producten aan te bevelen op basis van eerdere aankoop- en browsegeschiedenis.
4. Premiebepaling en risicobeoordeling: ChatGPT en generatieve AI kunnen worden gebruikt om verzekeringspremies te bepalen en het risico van polishouders in de verzekeringssector te beoordelen.
5. Patiëntenbelangenbehartiging en diagnose van ziektes: ChatGPT en generatieve AI kunnen worden gebruikt om tools voor patiëntenondersteuning te ontwikkelen en ziektes sneller en nauwkeuriger te diagnosticeren in de gezondheidszorg.

LLM's en risicobeoordeling

LLM's bevinden zich nog in de vroege ontwikkelingsfase, maar ze hebben het potentieel om risicobeoordeling in de financiële dienstverlening te transformeren:

LLM's kunnen meer data sneller verwerken. Traditionele risicobeoordelingsmodellen vertrouwen op een beperkte hoeveelheid data, zoals kredietscores en inkomen. LLM's kunnen veel meer data verwerken, zoals uitgavenpatronen, koopgedrag en online gedrag. Hierdoor kunnen ze nauwkeurigere risicobeoordelingen maken.

LLM's kunnen associatieve factoren meewegen. Naast individuele factoren, zoals een kredietscore, kunnen LLM's ook associatieve factoren meewegen, zoals het bedrijf waar iemand werkt en de sector waarin zij actief zijn. Dit helpt om een completer risicoprofiel op te stellen.

Toekomst van LLM's

Typen spelers in het ecosysteem

Hij gelooft dat er drie typen spelers zullen zijn in het ecosysteem:

1. Foundation model builders: Bedrijven zoals OpenAI, Google en Meta die de grote taalmodellen zelf ontwikkelen.
2. LLM Ops-platformen: Bedrijven zoals AWS en Google die platformen bieden waarmee ontwikkelaars LLM-toepassingen kunnen bouwen en implementeren.
3. LLM-distributeurs: Bedrijven die producten en diensten op basis van LLM's ontwikkelen en verkopen aan eindgebruikers.

📌

Elektriciteitssector:
In de elektriciteitssector zijn er producenten, transmissielijnen en distributeurs. In de LLM-industrie ziet Tushar de foundation model builders als producenten, cloud computing-providers als transmissielijnen en startups als distributeurs.

Closed vs. open source:

Er zal ruimte zijn voor zowel closed source als open source LLM's.
Closed source-modellen zullen de voorkeur genieten van grote ondernemingen die kant-en-klare productie-oplossingen met ondersteuning nodig hebben. Open source-modellen zullen de voorkeur hebben van kleinere bedrijven en onderzoekers die meer flexibiliteit en aanpassingsmogelijkheden vereisen.

De rol van middleware:

Er zal behoefte zijn aan middleware om ontwikkelaars te helpen LLM's eenvoudiger en efficiënter te gebruiken. Middleware kan functies bieden zoals modelbeheer, fine-tuning en monitoring.

Voordelen en risico's van LLM's:

Het is noodzakelijk om LLM's te zien als hulpmiddelen die menselijke vaardigheden kunnen versterken óf risico's kunnen vormen, afhankelijk van de toepassing. Zoals elk instrument wordt het gebruik van LLM's gevormd door menselijke keuzes en intenties. Ze bieden het potentieel om medische behandelingen te verbeteren, innovatieve onderwijsprogramma's te stimuleren en taken te automatiseren die nu door mensen worden uitgevoerd. Ze kunnen echter ook deepfakes genereren, desinformatie verspreiden en individuen manipuleren.

De menselijke rol in de ontwikkeling en het gebruik van LLM's:

Zelfs als LLM's geavanceerder worden, zullen ze nooit in staat zijn om de nuances van menselijke waarden volledig te begrijpen. Daardoor behouden mensen een cruciale rol om ervoor te zorgen dat LLM's aansluiten bij onze waarden. Dit omvat het opstellen van ethische richtlijnen voor de ontwikkeling en het gebruik van LLM's, het voorlichten van het publiek over de voordelen en risico's van LLM's, en het erkennen dat mensen het unieke vermogen hebben om creatief te denken en innovatieve oplossingen te vinden, terwijl LLM's worden beperkt door hun trainingsdata.

Generieke RAG-systemen bouwen: AWS vs. Startups

Als het gaat om het bouwen van generieke RAG-systemen, brengen AWS en startups elk hun eigen specifieke voordelen en uitdagingen met zich mee.

Sterke punten van AWS: AWS is goed gepositioneerd om generieke RAG-systemen te ontwikkelen dankzij het aanzienlijke klantenbestand en een breed scala aan diensten die RAG kunnen ondersteunen. AWS biedt bijvoorbeeld SageMaker, een machine learning-platform voor het trainen en implementeren van RAG-modellen. Daarnaast biedt AWS verschillende data-opslag- en verwerkingsdiensten die ideaal zijn voor RAG-workflows.

Zwakke punten van AWS: AWS kan qua wendbaarheid mogelijk niet tippen aan startups als het gaat om het snel ontwikkelen en lanceren van nieuwe producten. Bovendien is de focus van AWS mogelijk minder specifiek dan die van startups, vooral in use cases zoals RAG voor de gezondheidszorg.

Voordelen voor startups: Startups blinken uit in wendbaarheid, waardoor ze zich kunnen richten op specifieke use cases en snel kunnen innoveren binnen het RAG-domein. Hun nichefocus kan leiden tot unieke RAG-oplossingen en innovaties die door grotere entiteiten vaak over het hoofd worden gezien.

Uitdagingen voor startups: Startups kampen vaak met beperkte middelen en missen het omvangrijke klantenbestand en dienstenportfolio van AWS. Concurreren met AWS op prijs kan een enorme uitdaging zijn vanwege de schaal en middelen van de techgigant.

Advies voor startups die RAG-systemen ontwikkelen:

1. Focus op specifieke use cases: Startups moeten zich richten op het ontwikkelen van RAG-oplossingen voor specifieke use cases. Dit helpt hen om zich te onderscheiden van AWS en andere grote bedrijven.
2. Schakel snel: Startups moeten snel handelen om hun RAG-oplossingen te ontwikkelen en te lanceren. Dit komt omdat AWS en andere grote bedrijven hun producten eenvoudig kunnen kopiëren.
3. Wees een aantrekkelijke M&A-kandidaat: Startups moeten zich richten op het ontwikkelen van RAG-oplossingen die aantrekkelijk zijn voor overnamekandidaten (M&A). Dit biedt een uitweg voor hun bedrijf als ze niet in staat zijn om te concurreren met AWS en andere grote spelers.

Navigeren in de snelle wereld van generatieve AI

Advies voor leiders

1. Wees flexibel en wendbaar. Het vakgebied van generatieve AI ontwikkelt zich voortdurend, dus het is belangrijk om een mentaliteit en een team te hebben dat zich snel kan aanpassen aan nieuwe ontwikkelingen.
2. Focus op het oplossen van echte problemen. Laat je niet meeslepen door de hype rondom generatieve AI. Richt je in plaats daarvan op het identificeren van echte zakelijke uitdagingen die met deze technologie kunnen worden opgelost.
3. Wees niet bang om later te zijn. Het is niet erg als iemand anders je voor is op de markt met een nieuwe generatieve AI-oplossing. Het belangrijkste is om te leren van hun fouten en een beter product te bouwen.
4. Forceer het niet. Niet elk probleem vereist een generatieve AI-oplossing. Gebruik je zakelijk inzicht om de juiste problemen te identificeren die met deze technologie moeten worden opgelost.

Advies voor data science- en engineering-leiders

1. Begin niet met de hamer. Zoek niet alleen naar manieren om generatieve AI te gebruiken. Begin in plaats daarvan met het identificeren van je zakelijke uitdagingen en kijk vervolgens of generatieve AI het juiste middel is om ze op te lossen.
2. Redeneer terug vanuit de klant. Wat zijn de behoeften van de klant? Wat zijn hun pijnpunten? Zodra je de klant begrijpt, kun je gaan nadenken over hoe generatieve AI kan worden ingezet om hen te helpen.
3. Geef niet toe aan top-down mandaten. Als je managementteam eist dat elk team met generatieve AI-use cases komt, doe dit dan niet zomaar voor de vorm. Stel vragen en vraag waarom zij denken dat generatieve AI de juiste oplossing is voor die specifieke problemen.

Lees onze eerdere blogs in de True ML Talks-serie:

‍

‍True ML Talks #17 - ML Platforms @ Slack, LLMs and SlackGPT

In deze blog duiken we diep in de Recommend API van Slack. Begrijp hun ML-architectuur en de LLM-use cases binnen Slack. We gaan dieper in op SlackGPT.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML youtube-serie en lees de TrueML blogreeks.

TrueFoundry is een ML Deployment PaaS over Kubernetes om workflows voor ontwikkelaars te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en implementeren van modellen en het infrastructuurteam volledige beveiliging en controle heeft. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden te roll-backen - waardoor ze kosten besparen, modellen sneller naar productie brengen en echte zakelijke waarde realiseren.