TrueML Talks #26 - Enterprise GenAI en LLMOps met Labhesh Patel

We zijn terug met een nieuwe aflevering van  True ML Talks. Hierin duiken we opnieuw diep in MLOps-pipelines en LLM-toepassingen in enterprise-omgevingen, in gesprek met Labhesh Patel.

Labhesh was CTO en Chief Scientist bij Jumio Corporation, waar hij werkte aan het inzetten van ML / AI op het gebied van identiteitsverificatie. In het verleden heeft hij verschillende leidinggevende functies vervuld, zowel in engineering- als science-rollen bij vooraanstaande organisaties.

📌

Ons gesprek met Labhesh omvat de volgende aspecten:
- Interessante research papers en octrooien
- AI gebruiken om zakelijke problemen op te lossen
- De MLOps-pipeline bouwen
- Silo's doorbreken: hechte MLOps-teams bouwen voor succes
- Navigeren langs obstakels van cloudproviders
- De toekomst van Generative AI

Bekijk de volledige aflevering hieronder:

Interessante research papers en octrooien

Research papers

• Attention is All You Need: Deze paper introduceerde het transformer-netwerk, wat een revolutie teweegbracht in natural language processing en de basis legde voor veel LLMs zoals ChatGPT.

‍

Attention Is All You Need

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.arXiv.orgAshish Vaswani

arXiv.org Ashish Vaswani

‍

• Visual Question Answering with Segmented Guided Attention Networks: Deze paper stelde een nieuwe methode voor om vragen over afbeeldingen te beantwoorden door gebruik te maken van segmentatiekaarten en attention-mechanismen. Hoewel inmiddels ingehaald door nieuwere technieken, onderstreept het het belang van focussen op specifieke gebieden in een afbeelding voor nauwkeurige antwoorden.

‍

Segmentation Guided Attention Networks for Visual Question Answering

Vasu Sharma, Ankita Bishnu, Labhesh Patel. Proceedings of ACL 2017, Student Research Workshop. 2017.

ACL Anthology

‍

• CycleGen: Deze paper onderzoekt het idee om tekstsamenvattingen te genereren op basis van gebruikersreviews en productkenmerken. Het stamt van vóór ChatGPT en toont het potentieel van LLMs om te ondersteunen bij schrijftaken.

‍

Cyclegen: Cyclic consistency based product review generator from attributes

Vasu Sharma, Harsh Sharma, Ankita Bishnu, Labhesh Patel. Proceedings of the 11th International Conference on Natural Language Generation. 2018.

ACL Anthology

‍

Octrooien

• Voice over IP Buffering and Negotiation Protocol: Dit octrooi ontstond uit een eenvoudige bugfix die de spraakkwaliteit bij VoIP-gesprekken verbeterde. Het onderstreept het potentieel voor innovatie in schijnbaar alledaagse oplossingen en het belang van defensieve octrooistrategieën.

AI gebruiken om zakelijke problemen op te lossen

Er zijn veel uitdagingen en kansen bij het transformeren van handmatige processen met AI. Hier zijn enkele belangrijke inzichten:

Begin bij de business, niet bij de hype

• Identificeer het kernprobleem: Waarom automatiseren? Wat zijn de kwantificeerbare voordelen (schaalbaarheid, kostenverlaging, snelheid)?
• Beheer verwachtingen: AI is geen magie. Communiceer wat haalbaar is en stel realistische prestatie-indicatoren vast.
• Begrijp de rol van data: 90% van het werk zit in databeheer, -verzameling en kwaliteitsborging. Schone data is essentieel voor nauwkeurige modellen.

Het juiste pad opbouwen

• Stap voor stap: Richt je op één use-case met een hoge impact om het concept te bewijzen en je pipeline op te bouwen.
• Compliance eerst: Zorg voor de juiste datatoestemming en -gebruik voordat je ook maar één byte aanraakt.
• Metriek is belangrijk: Houd relevante metrieken bij (precision, recall, foutmarges) om succes te evalueren en verdere beslissingen te sturen.
• Teamwork is cruciaal: Stel een team samen met expertise op het gebied van ML engineering, databeheer en productontwikkeling.

Verder dan de eerste stap

• Itereer en evolueer: Evalueer, verbeter en breid je AI-oplossingen continu uit op basis van data en feedback.
• Omarm de leercurve: Wees bereid om te investeren in talent en educatie om een cultuur van AI-begrip binnen je organisatie op te bouwen.

Belangrijke zaken om rekening mee te houden

• Pas op voor de 99%-valkuil: Hoge nauwkeurigheid in geïsoleerde gevallen kan grotere problemen maskeren. Let op algehele prestaties en foutmarges.
• Denk statistisch: Metrieken zoals precision en recall bieden een genuanceerder beeld van AI-prestaties dan eenvoudige nauwkeurigheidspercentages.

Door prioriteit te geven aan zakelijke behoeften, te focussen op datakwaliteit en een sterk team op te bouwen, kun je de complexiteit meester worden en het ware potentieel van AI ontsluiten om je operationele processen te transformeren.

De MLOps-pipeline bouwen

Voor iedereen die complexe ML-systemen bouwt, zijn er een aantal zaken om in gedachten te houden.

Omarm Cloud-First, maar blijf wendbaar

• Benut de ingebouwde MLOps-tools van je cloudprovider, zoals AWS SageMaker, voor een snelle initiële inrichting.
• Vermijd problemen met leveranciersbeheer en compliance door binnen het cloud-ecosysteem te blijven.
• Kijk verder dan het native aanbod wanneer er beperkingen optreden en zoek naar gespecialiseerde oplossingen zoals open-source platforms of externe leveranciers.

Het belang van datakwaliteit

• Erken dat cloudproviders datakwaliteit vaak verwaarlozen, wat aanvullende interne systemen of diensten van derden vereist.
• Geef prioriteit aan geautomatiseerde datacleaning en -validatie om de nauwkeurigheid en prestaties van modellen te garanderen.

Architectonische overwegingen

• Modelbouw vs. productie: Overweeg gescheiden teams voor modelontwikkeling en deployment, met verschillende vaardigheden en verantwoordelijkheden.
• Structureer voor schaalbaarheid en wendbaarheid: Ontwerp een flexibele architectuur die nieuwe tools en integraties kan accommoderen naarmate de pipeline evolueert.

Silo's doorbreken: Hechte MLOps-teams bouwen voor succes

In de snel veranderende wereld van MLOps is samenwerking essentieel. Maar al te vaak raken teams gefragmenteerd, waarbij data scientists in isolatie modellen bouwen en engineers moeite hebben om ze te deployen en te onderhouden. Het resultaat? Trage vooruitgang, gemiste kansen en gefrustreerde belanghebbenden.

Dus hoe doorbreken we deze silo's en bouwen we MLOps-teams die floreren?

Iedereen samenbrengen

Stel je een multidisciplinair team voor van 8-10 personen, elks met unieke expertise: product managers, data engineers, DevOps, security, ML engineers, QA en zelfs customer support. Deze diverse groep, verenigd door een gemeenschappelijk doel (bijv. het verminderen van fraude), wordt een krachtige motor voor innovatie en efficiëntie.

Dit is waarom deze aanpak werkt:

• Gedeeld eigenaarschap: Wanneer iedereen zich verantwoordelijk voelt voor de gehele levenscyclus van een model, is er geen "over de schutting gooien"-mentaliteit. Problemen worden gezamenlijk aangepakt en oplossingen worden geoptimaliseerd voor praktijkgerichte deployment en onderhoud.
• Geïnformeerde beslissingen: Data engineers begrijpen ML-behoeften, en ML engineers begrijpen de werkelijkheid van deployment. Deze kruisbestuiving van kennis leidt tot betere modelselectie en feature engineering, en voorkomt de valkuilen van "onderzoeks-perfecte" modellen die onmogelijk te deployen zijn.
• Snellere iteraties: Nauwe samenwerking bevordert communicatie en wendbaarheid. Het team kan snel experimenteren, verfijnen en itereren op modellen, waardoor de impact van hun inspanningen wordt gemaximaliseerd.

Vaardigheidskloven aanpakken bij het bouwen van zo'n team

Het is van het grootste belang om doelgericht te werven. Je hebt data engineers nodig met een sterk begrip van ML-pipelines en ML engineers die software engineering-principes waarderen. Deze combinatie van diverse vaardigheden is het geheime ingrediënt voor een hoogwaardig MLOps-team.

Silo's doorbreken gaat niet alleen over structuur, het gaat over cultuur. Moedig open communicatie aan, waardeer diverse perspectieven en creëer een omgeving waarin iedereen zich in staat gesteld voelt om bij te dragen. Door dit te doen, bouw je een hecht MLOps-team dat je ML-ambities werkelijkheid kan maken.

Navigeren langs obstakels van cloudproviders

Er zijn veel potentiële obstakels die je kunt tegenkomen wanneer je sterk afhankelijk bent van een Cloud Provider. In dergelijke scenario's is het erg belangrijk om te kunnen bijsturen wanneer zo'n obstakel zich voordoet.

• Wees niet bang om alternatieven te verkennen: Wanneer cloudproviders tegen beperkingen aanlopen, zoek dan naar gespecialiseerde leveranciers of open-source oplossingen om de gaten te dichten.
• Proactieve communicatie is belangrijk: Aarzel niet om je zorgen rechtstreeks te uiten bij cloudproviders. Feedback kan leiden tot betere samenwerking en toegang tot exclusieve oplossingen.
• Aanpassingsvermogen is essentieel: Wees bereid om je aanpak aan te passen op basis van opkomende technologieën en veranderend aanbod van providers.

Hier zijn enkele veelvoorkomende uitdagingen die kunnen ontstaan

Uitdaging 1: Zeer streng gereguleerde datatoegang

Bij het verwerken van gevoelige data (PII, medische gegevens) spelen strenge regelgevingen zoals AVG (GDPR) en CCPA een rol. Cloudproviders voldoen weliswaar aan algemene standaarden, maar bieden mogelijk geen specifieke tools voor veilige toegang en audit trails.

De potentiële oplossingen hiervoor zijn:

• Alternatieve leveranciers: Zoek naar bedrijven die gespecialiseerd zijn in sterk gereguleerde omgevingen en fijnmazige toegangscontrole en auditability-functies bieden.
• Open-source oplossingen: Overweeg open-source tools en pas deze aan om aan specifieke compliance-eisen te voldoen.

Uitdaging 2: Propriëtaire functionaliteiten & beperkte toegang

Soms houden cloudproviders specifieke functionaliteiten tegen of brengen ze deze uit volgens hun eigen planning, waardoor klanten wachten op cruciale functionaliteiten.

De potentiële oplossing hiervoor is om proactief te communiceren met je aanspreekpunt bij die cloudprovider.

Door direct feedback te geven aan het aanspreekpunt en de obstakels te communiceren waar je tegenaan loopt, kun je samen met je team soms vroegtijdige toegang krijgen tot private beta-programma's, zodat je toekomstige oplossingen niet misloopt.

Onthoud dat, zelfs bij obstakels, een proactieve en flexibele houding uitdagingen kan omzetten in kansen in de voortdurend evoluerende wereld van cloud-gebaseerde MLOps.

De toekomst van Generative AI

Generative AI, en met name LLMs (Large Language Models), is enorm populair. Momenteel bevinden LLMs zich echter in een "hypefase", geprezen om hun magische vermogen om diverse taken uit te voeren. Ontwikkelaars nemen hun toevlucht tot het lukraak afvuren van API-calls op LLMs, wat leidt tot problemen zoals rate limiting en hoge kosten.

Uitdagingen voor enterprise-adoptie

• Kosten en schaalbaarheid: Grote modellen zijn duur en rekentechnisch veeleisend, waardoor ze ongeschikt zijn voor grootschalig gebruik in enterprises.
• Modelveiligheid en bias: Enterprise-omgevingen vereisen modelveiligheid en controle over potentiële vooringenomenheid (bias), wat lastig kan zijn bij LLMs.
• Inferentietijd: LLMs hebben moeite met latency, wat vertragingen veroorzaakt die de productiviteit en gebruikerservaring belemmeren.

De toekomst: Small Language Models als oplossing?

Er vindt mogelijk een verschuiving plaats naar SLMs, getraind voor specifieke taken en domeinen binnen bedrijven.

Deze "ge-routede architectuur" zou query's naar het juiste SLM sturen voor snellere en efficiëntere antwoorden.

Kleinere modellen nemen ook zorgen over kosten en schaalbaarheid weg, waardoor ze toegankelijker worden voor bedrijven.

Triggers en overwegingen voor de transitie

De transitie zal waarschijnlijk geleidelijk verlopen, gedreven door de praktische beperkingen van LLMs en de toenemende beschikbaarheid van effectieve SLMs.

Kostenverlaging en verbeterde latency zullen een sleutelrol spelen bij het versnellen van de adoptie van SLMs.

Lees onze vorige blogs in de True ML Talks-serie:

‍

GenAI and LLMOps for GTM (Go-To-Market) @ Twilio‍

Dive deep into Twilio’s GenAI applications like XGPT, and RFP Genie for revolutionizing GTM (Go-To-Market) Strategies. Deep dive into the Backend for these applications.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML YouTube-serie en lees de TrueML blogserie.

TrueFoundry is een ML Deployment PaaS op Kubernetes om ontwikkelaarsworkflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen met gegarandeerde veiligheid en controle voor het infra-team. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen seconden te terug te draaien - waardoor ze kosten besparen en modellen sneller naar productie brengen voor echte zakelijke waarde.