True ML Talks #11 - LLMs, LLMops en GenAI CTO @ Greenhouse

We zijn terug met een nieuwe aflevering van  True ML Talks. Hierin duiken we opnieuw diep in LLMs, LLMops en Generative AI, en we spreken met Michael Boufford.

Michael is de CTO van Greenhouse. Hij trad ongeveer 11 jaar geleden in dienst als eerste werknemer, schreef de eerste regels code en heeft het bedrijf opgebouwd tot wat het vandaag de dag is.

📌

Onze gesprekken met Mike behandelen de volgende aspecten:
- Organisationele structuur van ML-teams bij Greenhouse
- Hoe LLMs en Generative AI-modellen worden gebruikt binnen Greenhouse
- Navigeren door Large Language Models
- Prompt Engineering begrijpen
- LLMOps en kritieke tooling voor LLMs

Bekijk de volledige aflevering hieronder:

Organisationele structuur van Data Science- en Machine Learning-teams bij Greenhouse

De Data Science- en Machine Learning-teams van Greenhouse zijn meegeëvalueerd met de groei van het bedrijf, waarbij ze zijn overgegaan van generalisten naar gespecialiseerde rollen. Belangrijke aspecten van hun organisationele structuur zijn onder meer:

1. Data Engineering en Platform: Een toegewijd team beheert data engineering, data warehousing en de ontwikkeling van machine learning features. Zij ondersteunen marketinginspanningen en verzorgen de deployment en operations voor code en modellen.
2. Product Data Science: Dit team richt zich op het ondersteunen van productbesluitvorming door middel van innovatieve projecten, data-analyse en inzichten die productontwikkeling sturen.
3. ML Engineering: Greenhouse heeft een ML engineering-team dat gespecialiseerd is in het bouwen van schaalbare en betrouwbare productierijpe modellen voor verschillende product-use-cases.

Daarnaast pakt een Business Analyst-team zakelijke vraagstukken aan en biedt het inzichten.

Infrastructuurbeheer is de verantwoordelijkheid van een afzonderlijk Infrastructuurteam, dat toezicht houdt op componenten zoals Kubernetes en AWS. Datastores worden beheerd door een toegewijd team.

Hoe LLMs en Generative AI-modellen worden gebruikt binnen Greenhouse

Hier zijn verschillende use cases waarin deze modellen zijn ingezet binnen de bedrijfsactiviteiten van Greenhouse.

1. Functiegelijkenis en Dataverwerking: Greenhouse gebruikt LLMs, waaronder Bard en GPT-2, om verschillende aspecten van functiegerelateerde data te analyseren en te verwerken. Deze modellen helpen bij het bepalen van overeenkomsten tussen verschillende vacatures, evenals het parseren en verwerken van ruwe cv-data. De nadruk ligt op efficiënte dataverwerking en het labelen van functievermeldingsgegevens.
2. RAG-architectuur voor Snellere Antwoorden: Greenhouse heeft onlangs het gebruik van GPT-4 onderzocht voor innovatieve use cases. Een daarvan omvat het implementeren van de RAG (Retrieval-Augmented Generation)-architectuur om snelle antwoorden op gebruikersvragen te bieden. Door gebruik te maken van generatieve modellen wil Greenhouse gebruikers in staat stellen antwoorden te krijgen op complexe vragen waarvoor voorheen handmatige rapportage nodig was. Het generatieve model fungeert als een vertaler die Engelse vragen omzet in een querytaal die communiceert met de datastore, en vertaalt de respons vervolgens terug voor de gebruiker.
3. Rapportage en Business Intelligence (BI): Met toegang tot grote hoeveelheden tekstdata in de vorm van functievermeldingen en cv's is Greenhouse goed gepositioneerd om LLMs en generatieve modellen te benutten voor rapportage- en BI-doeleinden. Greenhouse biedt al kant-en-klare rapporten, een aangepaste rapportenbouwer en een data lake-product. Het bedrijf heeft voor ogen om LLMs te gebruiken voor het beantwoorden van een breed scala aan rapportagevragen over werving, zoals sourcingprestaties, interviewprocessen, wervingsstatus, budgetanalyses en meer.

Navigeren door Large Language Models: Problemen Aanpakken en Self-Hosting Omarmen

Problemen met Large Language Models

Hoewel ChatGPT, aangedreven door modellen zoals GPT-4, indrukwekkende resultaten levert, zijn er nog steeds uitdagingen en zorgen verbonden aan het gebruik ervan. Hier zijn enkele problemen die zich voordoen bij ChatGPT:

1. Betrouwbaarheid: GPT-4 is nog relatief nieuw en is mogelijk niet volledig betrouwbaar voor deployment in productie-infrastructuur. Als gevolg hiervan is het wellicht niet raadzaam om uitsluitend te vertrouwen op GPT-4 voor kritieke systemen die consistente prestaties en betrouwbaarheid vereisen.
2. Servicevoorwaarden en Dataprivacy: Zoals bij elk AI-model zijn er zorgen over hoe data wordt behandeld en of deze wordt gebruikt voor trainingsdoeleinden. Het vertrouwen dat data veilig wordt verwerkt en niet wordt gelekt of misbruikt, kan een belangrijk pijnpunt zijn, vooral bij het verwerken van gevoelige data zoals persoonlijk identificeerbare informatie (PII).
3. Self-hosted Modellen: Het gebruik van kleinere, self-hosted modellen kan voordelen bieden op het gebied van betrouwbaarheid, kosten en prestaties. Door de modellen binnen uw eigen infrastructuur te hosten, heeft u meer controle over input/output-parameters, monitoring en beveiligingsconfiguraties. Deze aanpak kan de risico's van het vertrouwen op externe diensten beperken.
4. Talent en Infrastructuur: Het hosten van zelfs kleinere taalmodellen vereist gespecialiseerde vaardigheden en infrastructuur. Het kan nodig zijn om de vereiste expertise en middelen binnenshuis op te bouwen om deze modellen effectief te beheren en te benutten. Hoewel cloudproviders zoals Azure, Google en Amazon hun eigen grote taalmodellen ontwikkelen, hebben ze mogelijk geen uitgebreide ervaring met het verwerken van niet-vertrouwde inputs en de specifieke uitdagingen die daarmee gepaard gaan.
5. Databeveiliging: Het beschermen van gevoelige data is cruciaal, vooral bij het verwerken van PII. Eén aanpak is om modellen te trainen zonder de ruwe data rechtstreeks bloot te stellen. Zo kan het gebruik van lossless hashes van waarden in plaats van de werkelijke data helpen de privacy te behouden en toch waardevolle relaties vast te leggen. Experimenteren met verschillende benaderingen en het waarborgen van databeveiliging zal essentieel zijn.

Voordelen van Self-Hosted Modellen

1. Betere modelprestaties: Kleinere modellen kunnen betere prestaties leveren bij het beantwoorden van vragen.
2. Kostenreductie: Rekenkosten zijn lager bij het gebruik van kleinere modellen, zonder de extra overhead van een derde partij.
3. Controle en verantwoordelijkheid: Het zelf hosten van modellen maakt meer controle en verantwoordelijkheid mogelijk, aangezien het binnen uw eigen infrastructuur draait.
4. Databeveiliging en privacy: Self-hosting beperkt het risico op datalekken en zorgt voor betere controle over input- en outputparameters.
5. Monitoring en beveiliging: Self-hosted modellen maken betere monitoring mogelijk en bieden de mogelijkheid om beveiligingsconfiguraties in te stellen volgens uw behoeften.
6. Voorkeur voor enterprise SaaS-applicaties: Voor functies die kunnen worden bediend door self-hosted modellen en aan de vereiste kwaliteitsnormen voldoen, heeft self-hosting de voorkeur.
7. Haalbaarheid van GPT-4: De aspecten van betrouwbaarheid, databeveiliging en dataprivacy van GPT-4 worden nog steeds beoordeeld en vereisen verdere evaluatie voordat overwogen wordt deze in productiesystemen in te zetten.

Evaluatie en Besluitvorming

Bij het overwegen om te investeren in self-hosted modellen of te vertrouwen op grote commerciële taalmodellen, moeten leiders de volgende factoren zorgvuldig evalueren:

1. Use Cases: Beoordeel of het voorliggende probleem effectief kan worden aangepakt door kleinere modellen op het gebied van kostenefficiëntie en rekencapaciteit.
2. Kostenimplicaties op Lange Termijn: Overweeg de potentiële kostenbesparingen van het hosten van uw eigen model in vergelijking met de toegang tot zeer grote modellen, die mogelijk een afnemend rendement opleveren.
3. Controle en Autonomie: Weeg de voordelen af van meer controle en autonomie over de infrastructuur en richting van het model, evenals de mogelijkheid om het model aan te passen en te specialiseren voor specifieke use cases.
4. Investering en Leerkanse: Erkennen dat het bouwen en trainen van kleinere modellen een initiële investering kan vereisen in termen van teambronnen, experimenten en fine-tuning. Deze investering kan echter leiden tot geoptimaliseerde modellen die zijn afgestemd op specifieke use cases en de kennis en het begrip van het team vergroten.

Prompt Engineering Begrijpen

Prompt engineering is een belangrijk discussiepunt geworden binnen het vakgebied van Large Language Models (LLMs). Het omvat het opstellen van effectieve prompts om de gewenste antwoorden van het model te verkrijgen. Hier zijn enkele kernpunten om het concept en de implicaties ervan te begrijpen:

1. Prompt Engineering als een Afzonderlijke Rol: Prompt engineering kan een erkende functietitel of gespecialiseerde rol binnen het vakgebied worden, naarmate experts prompts optimaliseren en neurale netwerken effectief aansturen.
2. Engineering-aanpak voor Prompts: Prompt engineering omvat het toepassen van de wetenschappelijke methode om voorspelbare outputs te genereren door prompts aan te passen en te verfijnen om de gewenste resultaten te bereiken.
3. Onderscheid met Incidenteel Prompt-gebruik: Het simpelweg kopiëren en plakken van prompts zonder dieper begrip of aanpassingen kwalificeert niet als prompt engineering.
4. Veelzijdig Karakter van Prompt Engineering: Prompt engineering vereist een uitgebreid begrip van hoe prompts neurale netwerken beïnvloeden en welke specifieke informatie ze vastleggen, wat verder gaat dan alleen taalkundige vaardigheden.
5. Gebrek aan Deterministisch Programmeren: LLMs introduceren complexiteit vanwege variaties in modellen, trainingsdata en veranderend gedrag, wat prompt engineering uitdagend maakt.
6. Potentiële Verbeteringen in Efficiëntie en Voorspelbaarheid: Het verdiepen van het inzicht in LLMs kan leiden tot een efficiëntere activering van onderdelen van het neurale netwerk, wat resulteert in meer voorspelbare en consistente resultaten.
7. Visualiseren van Gelaagde Codering: Transformer-architecturen in LLMs coderen informatie op verschillende lagen, vergelijkbaar met hoe CNNs beelden verwerken. Prompt engineers kunnen de activering van specifieke lagen verkennen om gegenereerde outputs te beïnvloeden.
8. Tooling-landschap en LLMOps: De aandacht verschuift naar het tooling-landschap rondom LLMs, aangeduid als LLMOps, waaronder ontwikkelings-, deployment- en beheerpraktijken vallen. De term is nog steeds in ontwikkeling.

LLMOps en Kritieke Tooling voor LLMs

LLMOps en het tooling-landschap rondom Large Language Models (LLMs) krijgen steeds meer aandacht.

Als het gaat om promptbeheer, snelle dataverwerking, feedback bij labeling en andere essentiële taken, wordt verwacht dat bepaalde tools een kritieke rol gaan spelen naarmate het gebruik van LLMs toeneemt. Enkele belangrijke overwegingen zijn:

1. Vector Databases: Doorzoekbare databases zoals Minecon zullen cruciaal zijn voor het ophalen van relevante context om terug te voeren naar het neurale netwerk. Toegang tot relevante informatie versterkt prompt engineering en optimalisatie.
2. Project Frameworks: Projecten zoals LangChain bieden coding-frameworks die het gemakkelijker maken om een breed scala aan functionaliteiten te implementeren, wat bijdraagt aan efficiënt LLM-gebruik.
3. Integratie en Infrastructuur: LLMs maken doorgaans deel uit van bredere programma's, wat een effectieve integratie en beheer van verschillende componenten vereist. Het aan elkaar koppelen van verschillende onderdelen om de gewenste resultaten te bereiken is essentieel en vereist mogelijk expertise op het gebied van infrastructuur en geheugenbeheer.
4. Monitoring en Onderhoud: Traditionele machine learning-praktijken, zoals monitoring op regressies, prestatie-evaluatie en beoordeling van infrastructuurcapaciteit, blijven relevant in de context van LLMs. Het waarborgen van de juiste infrastructuur en capaciteitsondersteuning is cruciaal voor optimale prestaties.
5. Prompt Opslag: Het opslaan van prompts voor toekomstig gebruik vereist een doordachte aanpak. Hoewel verschillende opties, zoals databases, caching of bestandsopslag, kunnen worden gebruikt om tekst en zelfs parametriseerbare tekst op te slaan, blijft het ontwerpen van zinvolle manieren om prompts op te slaan een gebied dat volop in ontwikkeling is.
6. Geheugenoptimalisatie: Omgaan met de geheugenvereisten van grote modellen kan uitdagend zijn. Het beheren van GPU RAM-gebruik wordt cruciaal, vooral bij het fine-tunen van modellen die de geheugenvereisten aanzienlijk verhogen. Het optimaliseren van modellen voor specifieke GPU-typen of latency-vereisten vereist expertise en ondersteunende tooling.
7. Infrastructuurbeheer Tooling: Naarmate organisaties LLMs op hun eigen cloud-infrastructuur laten draaien, ontstaan er nieuwe uitdagingen op het gebied van infrastructuurbeheer. Tooling-ondersteuning is nodig voor taken zoals GPU auto-scaling, het garanderen van uptime, het optimaliseren van kosten en het bouwen van schaalbare systemen die aansluiten bij specifieke zakelijke vereisten.
8. Developer Workflows: Tooling die developer workflows verbetert bij het werken met LLMs is essentieel. Het vereenvoudigen van complexe processen en het bieden van intuïtieve interfaces kan helpen de adoptie te versnellen en LLMs toegankelijker te maken voor een bredere groep gebruikers.
9. Educatie van de Community: Aangezien het LLM-vakgebied zich nog in een verkennende fase bevindt, hebben bedrijven zoals TrueFoundry de kans om de community te informeren en te begeleiden op het gebied van beschikbare tools, best practices en oplossingen voor veelvoorkomende uitdagingen.

📌

Evaluatie van Grote Domeinmodellen
In de context van menselijke betrokkenheid bij evaluatie wordt de "human in the loop"-aanpak veelal toegepast bij serieuze use cases met LLMs. Menselijke validatie is cruciaal om de prestaties van het model te beoordelen en de output te verifiëren. Zelfs tijdens het fine-tuningproces van GPT-modellen speelde menselijke betrokkenheid een essentiële rol.

Voor minder kritische use cases waar ruimte is voor een zekere foutmarge, omvat een kosteneffectieve aanpak het gebruik van grotere modellen om de antwoorden van kleinere modellen te evalueren. Meerdere antwoorden gegenereerd door de kleinere modellen kunnen worden vergeleken en beoordeeld door een groter model, wat het mogelijk maakt om metrieken vast te stellen om de prestaties te meten. Hoewel deze aanpak kosten met zich meebrengt, is het over het algemeen voordeliger in vergelijking met het uitsluitend vertrouwen op menselijke inspanningen.

Up-to-date Blijven in een Continu Veranderende Wereld

Up-to-date blijven in de snel veranderende wereld van LLMs en machine learning kan uitdagend zijn. Hier zijn enkele effectieve benaderingen om geïnformeerd te blijven en kennis op te doen:

1. AI-uitlegvideo's: Het bekijken van AI-uitlegvideo's op platforms zoals YouTube biedt een handige manier om de belangrijkste bevindingen en resultaten van academische papers te begrijpen zonder uitgebreid te hoeven lezen. Deze video's vatten complexe concepten samen, wat tijd en moeite bespaart.
2. Online Communities: Betrokkenheid bij online communities, zoals Hacker News en machine learning-subreddits, biedt inzichten, discussies en updates over opkomende trends en technologieën in het vakgebied.
3. Praktijkervaring: Actieve deelname aan praktische toepassingen van LLMs is cruciaal voor het verkrijgen van een dieper begrip van hun potentieel en beperkingen. Door te experimenteren en de mogelijkheden te verkennen, kan men de eigen kennis vergroten.
4. Toegankelijkheid van APIs: In tegenstelling tot vroeger, toen machine learning vereiste dat complexe wiskundige concepten opnieuw moesten worden bestudeerd, is het huidige landschap meer API-gestuurd. Kant-en-klare APIs en libraries stellen developers in staat om te beginnen met experimenteren en het bouwen van applicaties zonder dat geavanceerde wiskunde opnieuw hoeft te worden geleerd.
5. Programmeertechnische Vaardigheden:  Het leren van specifieke library-methoden en het oplossen van omgevingsproblemen zijn waardevolle vaardigheden om LLMs effectief te implementeren.

Lees onze vorige blogs in de True ML Talks-serie:

‍

True ML Talks #10 - LLMs en Generative AI

Diepe duik in LLM's, Generative AI en ChatGPT. We spreken met Anant, Engineering Director bij Meta, over de trends in het Machine Learning-domein.

TrueFoundry Blog TrueFoundry

Blijf de TrueML YouTube-serie bekijken en de TrueML blogserie lezen.

TrueFoundry is een ML Deployment PaaS op Kubernetes om developer workflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen met gegarandeerde beveiliging en controle voor het infrastructuurteam. Via ons platform stellen we Machine Learning-teams in staat om modellen binnen 15 minuten te deployen en monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen seconden een rollback uit te voeren - waardoor ze kosten besparen en modellen sneller naar productie brengen voor echte zakelijke waarde.