Machine Learning Tool-integraties #3 Label Studio voor al je labelbehoeften

In de volgende blog gaan we het hebben over Label Studio en hoe je Label Studio eenvoudig kunt gebruiken voor labeling door het te implementeren op TrueFoundry

Datakwaliteit is veel belangrijker dan datakwantiteit. Dit is een gevestigd principe binnen de machine learning-community en het wordt steeds belangrijker nu de MLOps-community beweegt naar een data-centric benadering.

In een recente presentatie haalde Andrew Ng het voorbeeld aan van een probleem met de detectie van staaldefecten, waarbij de data-centric benadering de nauwkeurigheid van het model met 16% wist te verbeteren, terwijl de model-centric benadering de nauwkeurigheid helemaal niet verbeterde.

De data-centric benadering is belangrijker dan de model-centric benadering, vooral in gevallen waarin de data beperkt of ruisachtig is - Andrew Ng

Je kunt deze presentatie van Andrew Ng bekijken over de Data-Centric benadering van Machine Learning:

Dit komt doordat zelfs de beste machine learning-modellen slechts zo goed zijn als de data waarop ze zijn getraind. Als de data ruis bevat of onvolledig is, zal het model leren fouten te maken. Daarom is het zo belangrijk om data van hoge kwaliteit te gebruiken bij het trainen van machine learning-modellen.

Zelfs in de context van large language models (LLMs) blijft het belang van hoogwaardige data van cruciaal belang. Het paper getiteld "Training Compute-Optimal Large Language Models" door DeepMind (2022) diept de schalingswetten voor LLMs uit en toont aan dat datakwaliteit belangrijker is dan de grootte van de dataset. De auteurs illustreren dat een model dat is getraind op slechts 500 rijen hoogwaardige data beter kan presteren dan een model dat is getraind op een dataset met maar liefst 100 miljoen rijen lagekwaliteitsdata.

Je kunt het paper lezen via de volgende link:

‍

Training Compute-Optimal Large Language Models

We investigate the optimal model size and number of tokens for training atransformer language model under a given compute budget. We find that currentlarge language models are significantly undertrained, a consequence of therecent focus on scaling language models whilst keeping the amount of trai…

arXiv.org Jordan Hoffmann

‍

In een vergelijkbare geest introduceert "WizardLM: A Small, Efficient, and High-Performance Language Model" door Google AI (2022) WizardLM, een compact taalmodel dat is getraind op een dataset van slechts 500.000 woorden. Opmerkelijk genoeg behaalt WizardLM state-of-the-art resultaten bij verschillende natural language processing-taken, ondanks de aanzienlijk kleinere omvang in vergelijking met andere LLMs.

Je kunt het paper lezen via de volgende link:

‍

WizardLM: Empowering Large Language Models to Follow Complex Instructions

Training large language models (LLMs) with open-domain instruction followingdata brings colossal success. However, manually creating such instruction datais very time-consuming and labor-intensive. Moreover, humans may struggle toproduce high-complexity instructions. In this paper, we show an ave…

arXiv.org Can Xu

‍

Wat is Label Studio?

Label Studio is een open-source, webgebaseerde datalabelingtool ontwikkeld door Heartex. Het is ontworpen om het annoteren van data voor machine learning-taken te stroomlijnen. Of je nu werkt aan beeldclassificatie, named entity recognition, sentimentanalyse of een andere labelingtaak, Label Studio biedt een flexibele en gebruiksvriendelijke omgeving om je data efficiënt te labelen.

‍

Open Source Data Labeling | Label Studio

A flexible data labeling tool for all data types. Prepare training data for computer vision, natural language processing, speech, voice, and video models…

Label Studio

‍

Belangrijkste functies van Label Studio

• Multi-modale labeling: Label Studio ondersteunt afbeeldingen, tekst, audio en video.
• Aanpasbare labelinginterfaces: Stem labelinginterfaces af op jouw specifieke taak.
• Kwaliteitscontrole voor labeling: Automatische validatie en peer review waarborgen de datakwaliteit.
• Teamsamenwerking: Meerdere gebruikers werken aan hetzelfde project met toegewezen rollen en rechten.
• Flexibele integratie: Integreer met je datapijplijn via API's en exportopties.
• Schaalbaarheid: Schaalt mee met je datalabelingbehoeften.
• Open source: Gratis te gebruiken en aan te passen.

De Label Studio Datalabeling-workflow

Stap 1: Data-import

Het labelingproces begint met het importeren van je ruwe, ongelabelde data in Label Studio. Deze data kan bestaan uit afbeeldingen, tekst, audio, video of elk ander dataformaat, afhankelijk van je labelingtaak. Voor ons voorbeeld kijken we naar een beeldclassificatietaak waarbij je afbeeldingen van dieren wilt categoriseren.

Stap 2: Projectaanmaak

Zodra je data is geïmporteerd, maak je een nieuw labelingproject aan binnen Label Studio. In dit project definieer je de labelingtaak, selecteer je de databron en configureer je de labelinginterface. Je kunt de interface aanpassen aan je specifieke behoeften door te kiezen uit verschillende annotatietypes zoals bounding boxes, polygonen, keypoints en meer.

Voor ons voorbeeld van dierenbeeldclassificatie maak je een project genaamd "Animal Classification" en configureer je het om afbeeldingen voor annotatie weer te geven.

Stap 3: Annotatie

Als het project is ingesteld, nodig je annotatoren uit om de data te gaan labelen. Annotatoren openen het Label Studio-platform via een webinterface, waar ze afbeeldingen uit je dataset te zien krijgen. In ons voorbeeld zien annotatoren afbeeldingen van dieren en categoriseren ze deze in vooraf gedefinieerde categorieën zoals "hond", "kat", "paard", enz.

Terwijl annotatoren elke afbeelding beoordelen, gebruiken ze de door Label Studio geboden labelingtools om hun annotaties te markeren. Voor beeldclassificatie selecteren annotatoren eenvoudig de juiste categorie uit de vooraf gedefinieerde lijst.

Stap 4: Kwaliteitscontrole

Om de nauwkeurigheid en consistentie van de labeling te behouden, biedt Label Studio functies voor kwaliteitscontrole. Annotatoren kunnen elkaars werk controleren en valideren, zodat de labels correct zijn. Je kunt ook workflows voor consensusvorming implementeren om meningsverschillen tussen annotatoren op te lossen.

Stap 5: Data-export

Zodra de data naar tevredenheid is gelabeld, exporteer je de gelabelde dataset uit Label Studio. Het platform biedt verschillende exportopties, waaronder JSON, CSV of formaten die compatibel zijn met populaire machine learning-bibliotheken. Deze gelabelde dataset is nu klaar voor gebruik bij het trainen van machine learning-modellen.

Stap 6: Modeltraining

Met de hoogwaardige gelabelde data uit Label Studio kun je vervolgens je machine learning-model voor dierenclassificatie gaan trainen. De gelabelde data dient als trainingsset en het model leert verschillende dierencategorieën te herkennen op basis van de annotaties die door de annotatoren zijn verstrekt.

Stap 7: Modelevaluatie en -deployment

Na het trainen van het model evalueer je de prestaties met behulp van een afzonderlijke testdataset. Als het model aan je nauwkeurigheidscriteria voldoet, kun je het uitrollen voor echt gebruik, zoals het automatisch categoriseren van dierafbeeldingen.

Deploy LabelStudio op TrueFoundry

Je hebt alles geleerd over LabelStudio en we zijn er nu trots op dat je LabelStudio moeiteloos kunt hosten op TrueFoundry. Hieronder vind je stapsgewijze instructies voor het deployen van LabelStudio op jouw Machine Learning-omgeving. Laten we beginnen!

💡

Opmerking:
Binnenkort kun je LabelStudio met slechts één klik deployen op TrueFoundry. We houden je op de hoogte.

1. Registreer en configureer TrueFoundry

Voordat je de kracht van Label Studio binnen TrueFoundry kunt benutten, moet je je registreren en je TrueFoundry-account instellen.

TrueFoundry is een ML Deployment PaaS op Kubernetes om ontwikkelaarsworkflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen met gegarandeerde beveiliging en controle voor het Infra-team.

Ga je gang, klik op de onderstaande link en volg de instructies:

‍

Create your account on TrueFoundry

Train and deploy ML models and LLMs on top of Kubernetes at the speed of Big Tech with 100% reliability and scalability. Slash production costs by 30-40% and release models to production faster. Training jobs, inference services, GPUs and more on your own infra.

TrueFoundry Blog

‍

2. Deploy de Helm chart voor LabelStudio

1. New Deployment > Helm > Kies een workspace
2. Vul hier de volgende gegevens in
3. Helm repo: https://charts.heartex.com
4. Chart name: label-studio
5. Version: 1.1.9
6. Je kunt het waardenveld leeg laten of configureren volgens deze documentatie. Als je het leeg laat, worden de app, een Postgres-database en een persistent volume gestart om artefacten op te slaan.

3. Kustomize instellen:
4. Klik op de schakelaar Show advanced fields onderaan het formulier
5. Klik hier op de schakelknop voor de Kustomize-schakelaar
6. Voeg in het tekstveld Patch het volgende manifest toe, waarbij je spec.http.route.destinatoin.host en spec.hosts vervangt door de juiste waarden

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
 name: labelstudio-vs
spec:
 http:
   - route:
       - destination:
           host: <label-studio-app-name>-ls-app.<workspace-name>.svc.cluster.local
           port:
             number: 80
 hosts:
   - <ds.organization.com/labelstudio>
 gateways:
   - istio-system/tfy-wildcard


Werken met LabelStudio

Zodra je Label Studio hebt gedeployed op TrueFoundry, kun je de UI van Label Studio openen via het opgegeven endpoint. Laten we bekijken hoe je afbeeldingen kunt labelen voor beeldclassificatie met behulp van Label Studio.

1. Registreren

Wanneer je je gehoste Label Studio opent, word je gevraagd om een account aan te maken of in te loggen als je er al een hebt. Volg deze stappen:

• Ga naar de URL van je gehoste Label Studio.
• Klik op de optie "Sign Up" als je nog geen account hebt, of op "Log In" als je dat wel hebt.
• Rond het registratieproces af. Zodra dat is gebeurd, heb je toegang tot je Label Studio-dashboard.

2. Een labelingproject instellen

Het instellen van een labelingproject in Label Studio omvat verschillende stappen, waaronder het definiëren van de projectnaam, het importeren van de dataset en het configureren van de labelingtaken. Laten we deze stappen doorlopen:

2.1 Een labelingproject aanmaken

Na het registreren en inloggen kun je beginnen met het aanmaken van je labelingprojecten. Volg deze stappen:

Tabblad Project Name:

1. Klik in je Label Studio-dashboard op de knop "Create New Project".
2. Voer in het tabblad "Project Name" een naam in voor je project. Deze naam moet het doel of het onderwerp van je labelingproject weerspiegelen.
3. Geef optioneel een projectbeschrijving op om context en richtlijnen voor de labelers te bieden.

2.2 De dataset importeren

Voordat je kunt beginnen met labelen, moet je de dataset importeren die je wilt labelen. Label Studio ondersteunt verschillende datatypes, waaronder afbeeldingen, tekst en audio. Hier richten we ons op het importeren van afbeeldingen:

Tabblad Data Import:

1. Navigeer naar het tabblad "Data Import".
2. Je hebt twee opties voor het importeren van afbeeldingen:
3. Upload afbeeldingen rechtstreeks vanaf je lokale computer.
4. Geef URL's op naar de afbeeldingen als ze online gehost worden.
5. Voor dit voorbeeld kun je de volgende URL's toevoegen als dataset:
   *

2.3 Instellen van labelingtaken

Na het importeren van je dataset moet je labelingtaken instellen die bepalen wat labelers moeten annoteren of categoriseren in de afbeeldingen. Volg deze stappen:

Tabblad Labeling Setup:

1. Navigeer naar het "Labelling Setup Tab"
2. Kies een template uit de beschikbare opties of pas er een aan op basis van je behoeften. (Gebruik voor dit voorbeeld Image Classification)

3. Label Studio selecteert automatisch het te labelen veld op basis van je data.
4. Je kunt het geselecteerde veld indien nodig wijzigen.
5. Voeg labelnamen toe op nieuwe regels. (Voeg Dog en Cat toe voor onze use case)
6. Optioneel kun je nieuwe kleuren voor de labels kiezen door op de labelnaam te klikken en de kleurkiezer te gebruiken.
7. Configureer eventuele aanvullende instellingen die relevant zijn voor de functionaliteit van de labelinginterface.

8. Klik op "Save" om de labelingtaak aan te maken.

Je labelingproject is nu geconfigureerd en labelers kunnen beginnen met het annoteren of categoriseren van afbeeldingen op basis van de gedefinieerde taak.

3. Het labelingproces

3.1 Labeling-workflow

Zodra de instelling van je project is voltooid, word je doorgestuurd naar de Data Manager van je project. Hier kun je je dataset en labelingtaken efficiënt beheren. Volg deze stappen om het labelingproces te starten:

1. Toegang tot de Data Manager: Na de projectinstelling word je automatisch doorgestuurd naar de Data Manager voor je project.
2. Label je dataset: Om je dataset te labelen, klik je op de knop "Label All Tasks". Deze actie brengt je naar het Labeling Dashboard.
3. Labeling Dashboard: In het Labeling Dashboard kun je afbeeldingen uit je dataset bekijken en labels toewijzen. Je kunt afbeeldingen bijvoorbeeld labelen als "dog" of "cat".

3.2 Data Manager-weergave

In de Data Manager heb je verschillende krachtige tools tot je beschikking om je labelingproject efficiënt te beheren:

• Data filteren en sorteren: Je kunt je projectdata eenvoudig filteren en sorteren op basis van verschillende criteria, zoals labelstatus of toewijzingen aan annotatoren.
• Filters opslaan als tabbladen: Maak aangepaste filterconfiguraties en sla ze op als tabbladen voor snelle toegang. Deze functie helpt je je workflow te stroomlijnen, vooral bij grote datasets.
• Annotatoren toewijzen aan taken: Wijs specifieke labelingtaken rechtstreeks vanuit de Data Manager toe aan annotatoren. Deze functie zorgt voor een efficiënte taakverdeling.
• Taken of annotaties verwijderen: Indien nodig kun je specifieke taken of annotaties verwijderen. Deze mogelijkheid stelt je in staat om je dataset te beheren en op te schonen naarmate je project vordert.

3.3 Kwaliteitscontrole

Om gedurende je gehele project een hoge kwaliteit van de labels te behouden, kun je overwegen een reviewproces te implementeren:

• Toegang voor reviewers: Wijs reviewers aan die toegang hebben tot gelabelde data om de nauwkeurigheid en kwaliteit van de labels te verifiëren.
• Oplossen van afwijkingen: Los eventuele afwijkingen of geschillen op die tussen labelers kunnen ontstaan. Het snel oplossen van problemen zorgt voor labelconsistentie.
• Continu verbeteren: Gebruik de feedback van reviewers en de inbreng van labelers om je labelingproces iteratief te verbeteren, wat na verloop van tijd leidt tot een hogere datakwaliteit.

4. Gelabelde data exporteren

Zodra je het labelingproces hebt voltooid, kun je de gelabelde data exporteren voor gebruik in je machine learning-projecten of andere toepassingen.

1. Navigeer in je project naar het tabblad "Export".
2. Kies het exportformaat dat het beste bij je behoeften past, zoals JSON, CSV of andere.
3. Configureer de exportinstellingen, inclusief welke gelabelde data moet worden opgenomen.
4. Klik op "Export" om de gelabelde data in het gekozen formaat te genereren en te downloaden.

Gefeliciteerd! Je hebt het labelingproces succesvol afgerond en je gelabelde data geëxporteerd voor verder gebruik.

Je gelabelde data zal er ongeveer zo uitzien:

[
   {
       "id": 1,
       "annotations": [
           {
               "id": 1,
               "completed_by": 1,
               "result": [
                   {
                       "value": {
                           "choices": ["Dog"]
                       },
                       "id": "m2SBwNysux",
                       "from_name": "choice",
                       "to_name": "image",
                       "type": "choices",
                       "origin": "manual"
                   }
               ],
               "was_cancelled": false,
               "ground_truth": false,
               "created_at": "2023-09-14T00:51:14.067278Z",
               "updated_at": "2023-09-14T00:51:14.067302Z",
               "draft_created_at": null,
               "lead_time": 7.287,
               "prediction": {},
               "result_count": 0,
               "unique_id": "21bce98c-ef29-4725-8add-f5d6224441ec",
               "import_id": null,
               "last_action": null,
               "task": 1,
               "project": 3,
               "updated_by": 1,
               "parent_prediction": null,
               "parent_annotation": null,
               "last_created_by": null
           }
       ],
       "file_upload": "c2f3a287-czNmcy1wcml2YXRlL3Jhd3BpeG_AYUTabf.pngsNjVuBb-Kdw49uxifZtlp1-3P4mypZAScmHj9-qHiDSk",
       "drafts": [],
       "predictions": [],
       "data": {
           "image": "\/data\/upload\/3\/c2f3a287-czNmcy1wcml2YXRlL3Jhd3BpeG_AYUTabf.pngsNjVuBb-Kdw49uxifZtlp1-3P4mypZAScmHj9-qHiDSk"
       },
       "meta": {},
       "created_at": "2023-09-14T00:45:00.762438Z",
       "updated_at": "2023-09-14T00:51:14.111241Z",
       "inner_id": 1,
       "total_annotations": 1,
       "cancelled_annotations": 0,
       "total_predictions": 0,
       "comment_count": 0,
       "unresolved_comment_count": 0,
       "last_comment_updated_at": null,
       "project": 3,
       "updated_by": 1,
       "comment_authors": []
   }
]


Voel je vrij om je Label Studio-projecten en -workflows aan te passen aan jouw specifieke vereisten, waarbij je optimaal gebruikmaakt van de krachtige datalabelingmogelijkheden van Label Studio.

Lees onze eerdere blogs in de Machine Learning Tool Integrations-serie

‍

Machine Learning Tool Integrations #2 DVC for your Data Versioning

Learn about challenges faced in version control in Machine Learning and how TrueFoundry’s Machine Learning Platform integrates with DVC.

TrueFoundry Blog TrueFoundry

‍

Blijf kijken naar de TrueML YouTube-serie en lees alle artikelen in de TrueML blogserie.

TrueFoundry is een ML Deployment PaaS op Kubernetes om ontwikkelaarsworkflows te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen met gegarandeerde beveiliging en controle voor het Infra-team. Via ons platform stellen we Machine Learning-teams in staat om modellen in 15 minuten te deployen en te monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden te roll-backen - waardoor ze kosten besparen en modellen sneller naar productie brengen, wat leidt tot echte zakelijke waardecreatie.