True ML Talks #10 - LLM's en GenAI met engineering director @ Meta

We zijn terug met een nieuwe aflevering van  True ML Talks. Hierin duiken we diep in LLM's en Generatieve AI, en we spreken met Anant.

Anant is een engineering leader. Momenteel is hij engineering director bij Meta, waar hij werkt aan enkele van de smart glasses-productervaringen. Hij begon als open-source contributor en heeft sleutelrollen vervuld bij zowel startups als techgiganten. Bij Mozilla heeft hij onder meer geholpen bij het definiëren en implementeren van WebRTC en andere browsertechnologieën. Hij was ook een van de eerste Firebase-engineers en de eerste engineer bij Ozlo.

📌

Onze gesprekken met Anant behandelen de onderstaande aspecten:
- Fine-tuning van Stable Diffusion
- Embeddings bouwen voor Hacker News
- Het debat over duurzaamheid op lange termijn
- De noodzaak van verbeterde experiment tracking en toegankelijke documentatie in LLMOps
- De kracht en het potentieel van OpenAI-plugins
- De kracht van taalmodellen in recovery flow en plugin-adaptatie

Anant sprak met ons op persoonlijke titel en zijn opvattingen vertegenwoordigen niet die van de organisatie (Meta) waaraan hij verbonden is.

Bekijk de volledige aflevering hieronder:

Belangrijkste waarnemingen uit de experimenten van Anant:

LoRA: Een intrigerende techniek voor het fine-tunen van grote taalmodellen.

1. Toegankelijkheid van LoRA: Vergeleken met andere technieken zoals Dreambooth is LoRA toegankelijker; het omvat het toevoegen van enkele lagen aan een voorgeboud model zonder de gewichten ervan te wijzigen.
2. Kosteneffectiviteit en eenvoud: LoRA is kosteneffectief en kan door niet-technische personen worden gebruikt via platforms zoals Google Colab. De eenvoud ervan maakt snelle iteratie en experimenten mogelijk.
3. Potentieel in tekst en afbeeldingen: Hoewel het aanvankelijk werd toegepast op afbeeldingen, wordt het potentieel van LoRA in tekstgerelateerde taken nu verkend.
4. Toekomst van fine-tuning: LoRA heeft de voorkeur boven traditionele technieken vanwege de kosteneffectiviteit, toegankelijkheid en compatibiliteit met oudere grafische kaarten.

Embeddings bouwen voor Hacker News: Uitdagingen en modelselectie

1. Begrijp de fundamenten: Kies geschikte oplossingen op basis van de schaal en vereisten van het project.
2. Embeddings begrijpen: Embeddings zijn verzamelingen van floating-pointgetallen, en het opslaan ervan in een SQLite-database bleek effectief.
3. Modelselectie: Open-source embeddingbibliotheken genoten de voorkeur boven cloudproviders. Het Instructor large-model werd gekozen op basis van benchmarking en prototyping met behulp van MTEB van Hugging Face.
4. Start vanuit eerste principes: Krijg een diepgaand begrip van de gekozen oplossing en richt u op projectvereisten in plaats van de hype.
5. Opschalen met een duidelijke noodzaak: Opschalen moet worden gedaan wanneer het aansluit bij een duidelijke vereiste.

Het debat over duurzaamheid op lange termijn: Grote modellen vs. kleinere, ge-fine-tunede modellen

Een van de belangrijke discussies in het MLOps-ecosysteem draait om de duurzaamheid op lange termijn van grote gegeneraliseerde modellen versus kleinere, ge-fine-tunede modellen die zijn afgestemd op specifieke datasets of use cases. Dit debat krijgt inzichten uit een gelekte memo die wijst op de mogelijke commoditisering van grote taalmodellen (LLM's).

De gelekte memo, hoewel geen officieel standpunt, duidt op een groeiend gevoel dat LLM's waarschijnlijk toegankelijker en navolgbaarder worden. Deze ontwikkeling heeft voor enthousiasme gezorgd binnen de community, met name onder degenen met een open-sourceachtergrond. Recente vorderingen hebben het eenvoudiger gemaakt om LLM's na te bouwen, wat eerdere zorgen over data-acquisitie en modeltrainingskosten wegneemt.

Projecten zoals RunwayML en het diffusiemodel hebben bijgedragen aan een open-sourcebeweging, waardoor modellen kunnen worden vrijgegeven op platforms zoals GitHub. Dit democratiseert de toegang tot LLM's, waardoor hobbyisten en hackers kunnen verkennen en experimenteren. Hoewel niet alle LLM's open source zijn, zijn er gelicentieerde open-sourceopties beschikbaar, wat een diverse groep contributors stimuleert.

De voordelen van open ontwikkeling en brede betrokkenheid worden benadrukt, omdat dit voorkomt dat de macht wordt geconcentreerd in de handen van enkele entiteiten. Bovendien biedt open ontwikkeling transparantie en veiligheid, rekening houdend met wereldwijde factoren en de potentiële interesse van natiestaten.

Anticiperend op de commoditisering van LLM's wordt er een parallel getrokken met het cloud computing-landschap. Gebruikers zullen de flexibiliteit hebben om te kiezen uit verschillende providers, vergelijkbaar met cloudserviceopties zoals AWS, Azure en Google Compute. Dit zorgt voor gezonde concurrentie en innovatie binnen het ecosysteem.

Het debat omvat ook de wisselwerking tussen grote modellen en kleinere modellen op het apparaat zelf (on-device). Beide typen hebben hun plaats in het MLOps-ecosysteem, waarbij berekeningen op meerdere lagen plaatsvinden. Eenvoudigere taken kunnen efficiënt op apparaten worden uitgevoerd, terwijl meer bronintensieve taken naar servers kunnen worden verplaatst. De keuze voor implementatie hangt af van de specifieke use case, waarbij wordt gepleit voor een hybride aanpak in plaats van de ene kant te bevoordelen boven de andere.

In de zoektocht naar duurzaamheid op lange termijn moet de MLOps-community de praktijk en voordelen van grote modellen versus ge-fine-tunede modellen zorgvuldig afwegen. Het vinden van een evenwicht en het benutten van de sterke punten van elke aanpak zal de toekomst van het ontwikkelen en uitrollen van AI-modellen vormgeven, wat zorgt voor voortdurende vooruitgang binnen het vakgebied.

📌

Prestatievergelijking: Grote taalmodellen vs. kleinere versies
Een ander aspect dat binnen de MLOps-community wordt besproken, is de prestatievergelijking tussen grote taalmodellen en hun kleinere tegenhangers. Grote modellen blinken vaak uit in taken zoals het genereren van blogs of gedichten, waarin ze hun indrukwekkende capaciteiten tonen. Kleinere modellen hebben echter vaak moeite om hun prestaties te evenaren, vooral bij het verwerken van kleinere datasets.
Het is belangrijk om de evaluatiemethoden en tests die dergelijke beweringen ondersteunen kritisch te bekijken om nauwkeurige vergelijkingen te garanderen. Hoewel wordt erkend dat er verschillende use cases en evaluatiebenaderingen kunnen bestaan, is een grondig begrip van de beperkingen en prestatieverschillen tussen grote en kleine modellen cruciaal.

De noodzaak van verbeterde experiment tracking en toegankelijke documentatie in LLMOps

Naarmate het veld van machine learning zich verder ontwikkelt, wordt het belang van robuuste tooling, waaronder MLOps-frameworks, duidelijk. Met de opkomst van LLMOps (Large Language Model Operations) is er echter een specifieke behoefte aan op maat gemaakte tools om ontwikkelaars te ondersteunen die met LLM's werken. In deze discussie ligt de focus op de geleerde lessen en de aanbevelingen voor experiment tracking en toegankelijke documentatie in LLMOps.

Terugkijkend op het leertraject wordt het duidelijk dat een goede documentatie van experimenten essentieel is. Aanvankelijk lag er weinig nadruk op het bijhouden van een trainingsdagboek of een gestructureerd trackingsysteem, wat leidde tot uitdagingen tijdens experimenten. Vooral in het LoRA fine-tuningproject werd het beheren van talrijke hypermeters overweldigend zonder een systematische aanpak om de waarden en bijbehorende resultaten bij te houden.

De waarde van grondige documentatie inziend, wordt de noodzaak van een betrouwbaar trainingsdagboek of geïntegreerd trackingsysteem duidelijk. Helaas waren kant-en-klare oplossingen schaars, wat een uitdaging vormde voor het vinden van een geschikte tool. De ontdekking van Weights & Biases (wandb.ai), een startup die tools biedt voor het volgen en visualiseren van experimenten, bleek echter waardevol. Bij het aanbevelen van deze tools aan anderen wordt erkend dat het eerder opnemen van deze tools in het proces het beheer van experimenten had kunnen verbeteren.

Daarnaast wordt het belang van toegankelijke documentatie binnen de machine learning-community benadrukt. Onvoldoende informatie over hyperparameters en hun effecten belemmerde het begrip en de optimalisatie van experimenten.

Gegevensbeveiligingszorgen aanpakken in MLOps: Privacy en vertrouwen waarborgen

Gegevensbeveiliging is een cruciaal aandachtspunt binnen het domein van MLOps, wat vragen oproept en leidt tot discussies binnen de community. Laten we bij het verkennen van dit kritieke probleem duiken in de aanpak van OpenAI, evenals in het bredere perspectief rond dataprivacy.

Het standpunt van OpenAI over dataprivacy wordt als redelijk beschouwd, met name voor consumenten die diensten zoals ChatGPT gebruiken. Aangezien ChatGPT als een gratis product wordt aangeboden, vinden gebruikers waarde in het platform, wat de uitwisseling van hun gegevens om de modellen te verbeteren rechtvaardigt. Het wordt gezien als een eerlijke ruil, waarbij gebruikers bereidwillig bijdragen met hun gesprekken om de dienst te verbeteren, gezien het bronintensieve karakter van het draaien van dergelijke platforms.

Voor ChatGPT Plus-abonnees die een maandelijks bedrag betalen, is de optie beschikbaar om zich af te melden voor datagebruik. Deze keuze heeft echter tot gevolg dat de gespreksgeschiedenis verloren gaat. Toch, gezien de betaalbare prijs van het abonnement en de enorme waarde die uit de dienst wordt gehaald, ervaren gebruikers deze afweging over het algemeen als redelijk. Ze uiten hun tevredenheid over de regeling en begrijpen dat hun gegevens bijdragen aan het verbeteren van het model, terwijl ze de kosten subsidiëren.

Bedrijven die AI-modellen willen inzetten voor specifieke use cases hebben unieke vereisten op het gebied van gegevensbeveiliging. OpenAI heeft al stappen ondernomen om deze zorgen aan te pakken via samenwerkingen, zoals Microsoft Azure's Secure Enclave. Deze samenwerkingen bieden veilige omgevingen waar gegevens onder de controle van de onderneming blijven. Daarnaast bieden partnerschappen zoals de integratie van Anthropic met AWS Bedrock secure enclaves voor het draaien van cloudmodellen, wat de zorgen over gegevens die het bedrijfspand verlaten wegneemt. Deze stappen in de industrie staan op het punt geschikte oplossingen te bieden voor bedrijven die gericht zijn op gegevensbeveiliging.

Het oplossen van problemen met dataprivacy en beveiliging vereist de gezamenlijke inspanningen van bedrijven zoals OpenAI, Azure en andere grote spelers. Google is bijvoorbeeld met zijn interne capaciteiten goed gepositioneerd om deze zorgen effectief aan te pakken. Het is belangrijk om een gebalanceerd perspectief op dataprivacy in te nemen en te erkennen dat gerenommeerde bedrijven vertrouwen kunnen opbouwen met hun klanten, die bereid kunnen zijn om wat privacy in te leveren voor de waarde die AI-diensten bieden.

De kracht en het potentieel van OpenAI-plugins

OpenAI-plugins zijn een baanbrekende ontwikkeling die de ware kracht en het potentieel van AI-taalmodellen laat zien. Wanneer je in het concept van plugins duikt, wordt het duidelijk hoe opmerkelijk ze zijn in het mogelijk maken van interacties met het model zonder dat er code geschreven hoeft te worden. In plaats daarvan verschuift de focus naar het benutten van Engelse communicatievaardigheden om het model effectief te instrueren. Dit inzicht kan een indrukwekkend 'aha-moment' zijn voor zowel ontwikkelaars als niet-technische personen.

Plugins draaien om het verstrekken van instructies aan het AI-model in het Engels, specifiek met betrekking tot API-beschrijvingen en triggers. Door een document van één pagina op te stellen waarin het API-schema en de specificatie worden gedetailleerd, kunnen gebruikers effectief communiceren wanneer en hoe hun plugin moet worden geactiveerd. Dit benadrukt het belang van sterke Engelse taalvaardigheden om de mogelijkheden van ChatGPT te benutten.

Deze innovatieve aanpak heeft geleid tot vergelijkingen met eerder onderzoek, zoals de Toolformer-paper, wat aantoont dat soortgelijke problemen in het verleden zijn onderzocht. De taalmodellen van OpenAI, met name ChatGPT, laten echter aanzienlijke vooruitgang zien in kwaliteit en prestaties vergeleken met bestaande open-sourcemodellen.

Het kwaliteitsverschil vloeit voornamelijk voort uit de bekwaamheid van het kerntaalmodel in codegerelateerde taken. ChatGPT blinkt uit in het verwerken van code-gerelateerde instructies, wat zich vertaalt in het vermogen om plugins efficiënt aan te sturen en te gebruiken. Het toont de kritieke rol aan van de vaardigheid van het onderliggende model in coderingstaken bij het effectief implementeren van plugins.

Hoewel OpenAI momenteel een aanzienlijke voorsprong heeft op het gebied van kwaliteit, is het essentieel om open-sourcemodellen de tijd te geven om een inhalingsslag te maken. De open-sourcecommunity streeft er voortdurend naar om de kloof te dichten en de capaciteiten van hun modellen te verbeteren. Het feit dat OpenAI het potentieel van open-sourcemodellen erkent en mogelijkheden zoals multimodale capaciteiten onderzoekt, is bemoedigend. Het recente interview van Sam Altman met Lex Friedman belicht het perspectief van OpenAI, wat aangeeft dat de focus verschuift van een parameterrace naar onderscheidende factoren.

Naarmate open-sourcemodellen zich verder ontwikkelen en het niveau van GPT-3.5 en 4 bereiken, is het redelijk om te verwachten dat plugin-functionaliteit ook in open-sourceframeworks beschikbaar zal komen. De vooruitgang in het veld biedt veelbelovende vooruitzichten voor de toekomst, waarin open-sourcemodellen en plugins de manier waarop ontwikkelaars met AI-systemen communiceren radicaal kunnen veranderen.

De kracht van taalmodellen in recovery flow en plugin-adaptatie

De opkomst van taalmodellen, zoals OpenAI's GPT, heeft het Engels op veel manier naar voren gebracht als een nieuwe programmeertaal. Het benutten van het Engels om AI-modellen te instrueren en plugins te activeren heeft nieuwe mogelijkheden geopend voor ontwikkelaars.

Als het om plugins gaat, ligt de focus niet op het micromanagen van het gebruik ervan, maar eerder op het instrueren van hoe ze effectief gebruikt kunnen worden. Door instructies te geven over plugin-gebruik, stellen ontwikkelaars het AI-model in staat om de juiste momenten te bepalen voor het activeren van de plugins. Het is echter belangrijk op te merken dat de huidige implementatie beperkingen kent, zoals het toestaan van slechts drie ingeschakelde plugins tegelijk en afentoe fouten bij het activeren van plugins.

Desalniettemin ligt de kracht van taalmodellen in hun recovery flow (herstelstroom). Zelfs wanneer het model een plugin aanvankelijk niet correct begrijpt of activeert, blijft de gebruikerservaring positief. In tegenstelling tot traditionele spraakassistenten zoals Alexa, waar expliciete en precieze commando's vereist zijn, bieden taalmodellen zoals ChatGPT een andere ervaring.

Met ChatGPT kunnen gebruikers, als het model de plank misslaat, vol vertrouwen expliciete vervolginstructies geven om de fout te herstellen. Het begrip en de reactiesnelheid van het model creëren een gevoel van vertrouwen en samenwerking. Gebruikers voelen dat hun instructies zullen worden erkend en opgevolgd. De herstelcapaciteit van taalmodellen verandert de spelregels vergeleken met assistenten van de oudere generatie, die vaak tot frustratie en teleurstelling leidden.

De kracht van taalmodellen, vooral in combinatie met plugins, ligt in hun vermogen om naadloos te herstellen van fouten. Gebruikers waarderen het dat het model verwarring erkent, beleefd excuses aanbiedt en bereid is de fout te herstellen. Dit niveau van herstel en aanpassingsvermogen is ongeëvenaard in eerdere assistent-technologieën, zelfs met de vooruitgang in multi-turn dialoogsystemen.

De architectuur van taalmodellen maakt een fenomenaal herstelniveau mogelijk, wat het een ideaal platform maakt voor plugin-integratie. De naadloze integratie en samenwerking tussen ontwikkelaars en het model verbeteren de algehele gebruikerservaring. Naarmate ontwikkelaars het potentieel van plugins binnen deze architectuur verkennen, zijn de mogelijkheden voor het creëren van dynamische en aanpasbare AI-systemen enorm.

Met taalmodellen die dienen als het fundament voor AI-gestuurde interacties, worden recovery flow en plugin-adaptatie essentiële onderdelen bij het bouwen van geavanceerde en gebruiksvriendelijke systemen. De combinatie van natuurlijk taalbegrip en reactievermogen positioneert taalmodellen als transformatieve hulpmiddelen in het MLOps-landschap.

📌

GPU's kopen voor MLOps: Uitdagingen en impulsaankopen
Toegang krijgen tot hoogwaardige GPU's via cloudproviders is frustrerend voor hobbyisten; prioriteitstelling bij Enterprise en langetermijnverplichtingen zorgen voor uitdagingen.
Cloudgebaseerde GPU-toegang is tijdrovend voor hobbyisten die korte GPU-tijd nodig hebben. Het instellen van een persoonlijke GPU is uitdagend, waaronder handmatige configuratie en beheer van afhankelijkheden.
Ondanks het gemak van vooraf geconfigureerde cloud-GPU-images, hecht Anant waarde aan de controle en betrouwbaarheid van zijn persoonlijke GPU. Het overwinnen van uitdagingen en zijn beslissing om een toegewijde GPU te kopen, bleek voordelig voor MLOps.

Geïnformeerd blijven: Anant Narayanan's aanpak om op de hoogte te blijven van nieuwe ontwikkelingen

• Twitter: Gebruik Twitter als een kenniscentrum voor AI-gerelateerde updates. Volg experts en organisaties in de AI-community om snel nieuwe ontwikkelingen te ontdekken en op de hoogte te blijven.
• Podcasts: Luister naar podcasts uit de industrie voor waardevolle inzichten. Aanbevolen podcasts zijn "Stratechery" door Ben Thompson en "Dithering" gezamenlijk gehost door Ben Thompson en John Gruber. Deze podcasts behandelen een breed scala aan tech-gerelateerde onderwerpen, waaronder AI-vorderingen.
• Offline interacties: Woon fysieke evenementen en bijeenkomsten bij om waardevolle inzichten en perspectieven op te doen. Zoek naar uitgebreide evenementenlijsten op platforms zoals cerebralvalley.ai. Ga persoonlijke interacties aan, neem deel aan hackathons en wissel ideeën uit met andere professionals om kennis uit te breiden en waardevolle connecties op te bouwen.

Lees onze eerdere blogs in de True ML Talks-serie:

‍

True ML Talks # 9 - Machine Learning Platform @ DoorDash

In deze blog duiken we diep in het Machine Learning Platform van DoorDash. Begrijp de ML-architectuur van DoorDash en hoe ML wordt gebruikt bij DoorDash.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML YouTube-serie en lees de TrueML blogserie.

TrueFoundry is een ML Deployment PaaS over Kubernetes om ontwikkelaarsworkflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en uitrollen van modellen met gegarandeerde beveiliging en controle voor het infrateam. Via ons platform stellen we Machine Learning-teams in staat om binnen 15 minuten modellen te implementeren en te monitoren met 100% betrouwbaarheid, schaalbaarheid en het vermogen om binnen enkele seconden terug te rollen - waardoor ze kosten besparen en modellen sneller naar productie kunnen brengen, wat leidt tot echte zakelijke waarde.