Programmatische data-labeling en LLMs trainen bij Snorkel.ai

Introductie

In de nieuwste aflevering van TrueML Talks duikt Nikunj, medeoprichter van True Foundry, in een verhelderend gesprek met Vincent, een sleutelfiguur bij Snorkel AI. Als een bedrijf dat zich in het hart bevindt van het evoluerende AI-landschap, biedt de reis van Snorkel AI van de academische wereld naar de voorhoede van datagerichte AI-ontwikkeling diepgaande inzichten. Vincent deelt zijn ervaringen uit de begintijd bij Stanford AI Lab tot het sturen van product en design bij Snorkel AI, waarbij hij licht werpt op de ingewikkelde details van machine learning (ML), Large Language Models (LLMs) en de impact van generatieve AI op de industrie. We hebben de volgende onderwerpen besproken:

- De evolutie van Snorkel AI
- Datagerichte AI-ontwikkeling
- Transitie naar productleiderschap
- Generatieve AI en open modellen
- Carrièreadvies voor AI-enthousiastelingen

Het ontstaan van Snorkel AI

Vincent vertelt over de oorsprong van Snorkel AI als een academisch project dat gericht was op zwak toezicht (weak supervision) en programmatische labeling. Deze aanpak legde het fundament voor wat Snorkel AI vandaag de dag is geworden in het begeleiden van AI-applicatieontwikkeling voor ondernemingen. Vincents reis van promovendus tot leider bij Snorkel AI laat zien hoe sterk academisch onderzoek transformeert tot een startup en het Snorkel van nu. Op Stanford werkten ze samen met artsen en creëerden ze op maat gemaakte datasets voor hen, wat hielp om een praktijkgerichte use-case te krijgen voor hun onderzoek.
Hij vertelt ook over zijn tijd bij Y-Combinator, waarbij hij deelt over zijn begintijd en zijn honger naar groei en leren in de techwereld.

De kern van Snorkel AI: Datagerichte AI-ontwikkeling

Vincent deelt hoe het aanmaken van databases in het begin slechts het delen van grote datasheets tussen teams en een ongeorganiseerde taak was, en hoe dit is veranderd. Vincent licht de focus van het bedrijf toe op het faciliteren van enterprise-teams om data op schaal te beheren, cureren en labelen — waarmee de facilitaire taken van AI-ontwikkeling worden getransformeerd. Deze datagerichte aanpak stelt bedrijven in staat om AI nauw aan te sluiten op hun unieke doelstellingen en datasets, waarbij de cruciale rol van data in het programmeren van AI-systemen wordt benadrukt. Hij merkt ook op dat er voor sectoren zoals banken en de gezondheidszorg geen twijfel mag zijn over datanauwkeurigheid, aangezien één fout aan de kant van LLMs fataal kan zijn voor de bedrijfsvoering.

• Programmatische data-ontwikkeling: Introductie van een schaalbare, aanpasbare en efficiënte aanpak voor data-labeling, weg van traditionele handmatige methoden.
• Impact op ondernemingen: Demonstreren hoe de aanpak van Snorkel AI de dataverwerking voor bedrijven heeft gerevolutioneerd, waardoor AI-ontwikkeling wendbaarder wordt en sneller reageert op veranderingen.
• Aanpasbaarheid en schaalbaarheid: Het vermogen van bedrijven om hun data-labelingprocessen snel aan te passen zonder van voren af aan te beginnen, wat een toekomst toont waarin AI-ontwikkeling aanzienlijk dynamischer is.

Verschuiving van ML Engineering naar productleiderschap

Vanuit een ML-achtergrond deelt Vincent hoe de rol van Head of Product(AI/ML) & Design hem helpt om rechtstreeks te spreken met data scientists en ML engineers. Dit helpt hem om hun use-cases en pijnpunten te begrijpen, die hij direct kan verwerken in het product. Door zijn multidimensionale betrokkenheid bij verschillende domeinen binnen Snorkel kan hij het product navigeren volgens de behoeften van klanten.

De impact van generatieve AI en open modellen

Het tijdperk van generatieve AI en de snelle toename van open modellen hebben het AI-landschap aanzienlijk beïnvloed. Vincent legt uit hoe LLMs de nieuwste toevoeging zijn bij het genereren van datasets voor trainingsdoeleinden, maar dat ze aan de andere kant vaak moeite hebben met de nauwkeurigheid van de geproduceerde datasets. Zoals we eerder hebben besproken, kan data gegenereerd door een LLM geschikt zijn voor gegeneraliseerde use-cases en taken op demoniveau, maar dit geldt niet voor use-cases waar nauwkeurigheid een belangrijke rol speelt in domeinen zoals banken, financiën, verzekeringen en de gezondheidszorg.

• Het landschap na ChatGPT: Reflecties op de opkomst van generatieve AI en de impact daarvan op de AI-community en enterprise-toepassingen.
• Het belang van het open-sourcen van data: De oproep om niet alleen AI-modellen open-source te maken, maar ook de datasets en ontwikkelingsprocessen, om zo innovatie te stimuleren en AI-veiligheid en -betrouwbaarheid te waarborgen.
• Gespecialiseerde data voor enterprise-toepassingen: De voortdurende behoefte aan hoogwaardige, gespecialiseerde data om generatieve AI-modellen te trainen voor specifieke zakelijke behoeften.

Prikkelende visie op het huidige AI-landschap

Vincents uitgesproken visie op de huidige staat van AI-ontwikkeling benadrukt de doorslaggevende verschuiving naar open-source modellen en data, en stelt een holistischere aanpak voor het delen van AI-innovaties voor. Hij stelt dat de ware essentie van open-sourcing in AI verder zou moeten gaan dan alleen het vrijgeven van de model weights; het zou ook het toegankelijk maken van datasets, ontwikkelingsprocessen en de onderbouwing achter modeltraining moeten omvatten. Deze aanpak bevordert een samenwerkend ecosysteem dat innovatie versnelt, reproduceerbaarheid garandeert en veiligere AI-systemen bouwt. Door te pleiten voor de open data-beweging benadrukt Vincent het belang van transparantie in AI-ontwikkeling, waardoor een bredere community kan bijdragen aan en profiteren van de vooruitgang in het veld. Dit perspectief daagt niet alleen de conventionele praktijken van het delen van AI uit, maar roept ook op tot een omvattende strategie die AI-ontwikkeling kan democratiseren, om zo te borgen dat de voordelen van AI-technologieën breed worden verdeeld en toegankelijk zijn.

• Versnelt innovatie: Open-source datasets en ontwikkelingsprocessen moedigen de community aan om te innoveren en voort te bouwen op bestaand werk in plaats van van voren af aan te beginnen.
• Waarborgt reproduceerbaarheid: Transparantie in AI-ontwikkelingsprocessen maakt het verifiëren van resultaten en methodologieën mogelijk, wat cruciaal is voor wetenschappelijke vooruitgang en vertrouwen in AI-toepassingen.
• Bouwt veiligere systemen: Toegang tot de datasets en logica die worden gebruikt bij het trainen van modellen helpt bij het identificeren van vooroordelen (biases) en fouten, wat bijdraagt aan de ontwikkeling van betrouwbaardere en ethischere AI-oplossingen.
• Democratiseert AI-ontwikkeling: Het beschikbaar maken van uitgebreide AI-bronnen voor een breder publiek zorgt voor een gelijk speelveld, waardoor individuen en organisaties met uiteenlopende middelen kunnen bijdragen aan en profiteren van AI-vooruitgang.
• Daagt conventionele praktijken uit: Vincents visie nodigt de AI-community uit om te heroverwegen hoe AI-technologieën worden gedeeld en ontwikkeld, en pleit voor een inclusievere en meer op samenwerking gerichte aanpak.

Advies voor aspirant AI-professionals

Vincent merkt op dat het niveau van een hackathon niet voldoende is; je zult je handen vuil moeten maken en iets moeten uitproberen dat je zelf gebruikt, wat je helpt om resultaten te boeken en op te vallen. Terugkijkend op zijn reis biedt Vincent advies aan degenen die aan hun AI-carrière beginnen. Hij benadrukt de waarde van praktische ervaring en moedigt individuen aan om AI-projecten te bouwen en hierop te itereren om echte uitdagingen aan te pakken. Dit ervaringsgericht leren, gecombineerd met samenwerking en een passie voor ontdekking, is essentieel om te navigeren in het snel evoluerende AI-domein.

‍