Machine Learning Tool Integrations #3 Label Studio für all Ihre Labelling-Anforderungen

Im folgenden Blog sprechen wir über Label Studio und wie Sie Label Studio durch ein Deployment auf TrueFoundry ganz einfach für das Labelling nutzen können

Die Qualität der Daten ist weit wichtiger als die Quantität. Dies ist ein etabliertes Prinzip in der Machine Learning-Community, das mit dem Übergang der MLOps-Community zu einem datenzentrierten Ansatz zunehmend an Bedeutung gewinnt.

In einem kürzlich gehaltenen Vortrag nannte Andrew Ng das Beispiel der Erkennung von Stahlfehlern, bei dem der datenzentrierte Ansatz die Genauigkeit des Modells um 16 % verbessern konnte, während der modellzentrierte Ansatz die Genauigkeit überhaupt nicht verbesserte.

Der datenzentrierte Ansatz ist wichtiger als der modellzentrierte Ansatz, insbesondere in Fällen, in denen die Daten begrenzt oder fehlerhaft sind - Andrew Ng

Sie können sich diesen Vortrag von Andrew Ng über den datenzentrierten Ansatz im Machine Learning ansehen:

Das liegt daran, dass selbst die besten Machine Learning-Modelle nur so gut sind wie die Daten, mit denen sie trainiert werden. Wenn die Daten fehlerhaft oder unvollständig sind, lernt das Modell, Fehler zu machen. Deshalb ist es so wichtig, beim Training von Machine Learning-Modellen hochqualitative Daten zu verwenden.

Selbst im Kontext von Large Language Models (LLMs) bleibt die Bedeutung qualitativ hochwertiger Daten zentral. Das Paper mit dem Titel "Training Compute-Optimal Large Language Models" von DeepMind (2022) befasst sich mit den Skalierungsgesetzen für LLMs und zeigt, dass die Datenqualität die Datensatzgröße übertrifft. Die Autoren veranschaulichen, dass ein Modell, das auf nur 500 Zeilen qualitativ hochwertiger Daten trainiert wurde, ein Modell übertreffen kann, das auf einem Datensatz mit gigantischen 100 Millionen Zeilen minderwertiger Daten trainiert wurde.

Sie können das Paper über den folgenden Link lesen:

‍

Training Compute-Optimal Large Language Models

We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of trai…

arXiv.org Jordan Hoffmann

‍

In ähnlicher Weise stellt "WizardLM: A Small, Efficient, and High-Performance Language Model" von Google AI (2022) WizardLM vor, ein kompaktes Sprachmodell, das auf einem Datensatz von nur 500.000 Wörtern trainiert wurde. Bemerkenswerterweise erzielt WizardLM bei verschiedenen Aufgaben der natürlichen Sprachverarbeitung State-of-the-Art-Ergebnisse, obwohl es im Vergleich zu anderen LLMs deutlich kleiner ist.

Sie können das Paper über den folgenden Link lesen:

‍

WizardLM: Empowering Large Language Models to Follow Complex Instructions

Training large language models (LLMs) with open-domain instruction following data brings colossal success. However, manually creating such instruction data is very time-consuming and labor-intensive. Moreover, humans may struggle to produce high-complexity instructions. In this paper, we show an ave…

arXiv.org Can Xu

‍

Was ist Label Studio?

Label Studio ist ein von Heartex entwickeltes Open-Source-Web-Tool zur Datenannotation. Es wurde entwickelt, um den Prozess der Datenannotation für Machine Learning-Aufgaben zu optimieren. Egal, ob Sie an Bildklassifizierung, Named Entity Recognition, Sentiment-Analyse oder einer anderen Labelling-Aufgabe arbeiten, Label Studio bietet eine flexible und benutzerfreundliche Umgebung, um Ihre Daten effizient zu labeln.

‍

Open Source Data Labeling | Label Studio

A flexible data labeling tool for all data types. Prepare training data for computer vision, natural language processing, speech, voice, and video models…

Label Studio

‍

Hauptmerkmale von Label Studio

• Multimodales Labelling: Label Studio unterstützt Bilder, Text, Audio und Video.
• Anpassbare Labelling-Schnittstellen: Passen Sie die Annotationsoberflächen an Ihre spezifische Aufgabe an.
• Qualitätskontrolle beim Labelling: Automatische Validierung und Peer-Review sichern die Datenqualität.
• Team-Kollaboration: Mehrere Benutzer arbeiten mit zugewiesenen Rollen und Berechtigungen am selben Projekt.
• Flexibilität bei der Integration: Integrieren Sie das Tool über APIs und Exportoptionen in Ihre Datenpipeline.
• Skalierbarkeit: Skaliert mit Ihren wachsenden Anforderungen an das Datenlabelling.
• Open Source: Kostenlos nutzbar und anpassbar.

Der Daten-Labelling-Workflow in Label Studio

Schritt 1: Datenimport

Der Labelling-Prozess beginnt mit dem Import Ihrer ungelabelten Rohdaten in Label Studio. Bei diesen Daten kann es sich je nach Labelling-Aufgabe um Bilder, Text, Audio, Video oder jedes andere Datenformat handeln. Betrachten wir für unser Beispiel eine Bildklassifizierungsaufgabe, bei der Sie Bilder von Tieren kategorisieren möchten.

Schritt 2: Projekterstellung

Sobald Ihre Daten importiert sind, erstellen Sie ein neues Labelling-Projekt in Label Studio. In diesem Projekt definieren Sie die Labelling-Aufgabe, wählen die Datenquelle aus und konfigurieren die Annotationsoberfläche. Sie können die Oberfläche an Ihre spezifischen Bedürfnisse anpassen und aus verschiedenen Annotationstypen wie Bounding Boxes, Polygonen, Keypoints und mehr wählen.

Für unser Beispiel der Tierbild-Klassifizierung würden Sie ein Projekt namens "Animal Classification" erstellen und es so konfigurieren, dass Bilder zur Annotation angezeigt werden.

Schritt 3: Annotation

Wenn das Projekt eingerichtet ist, laden Sie Annotatoren ein, mit dem Labeln der Daten zu beginnen. Die Annotatoren greifen über eine Weboberfläche auf die Label Studio-Plattform zu, auf der ihnen Bilder aus Ihrem Datensatz präsentiert werden. In unserem Beispiel sehen die Annotatoren Bilder von Tieren und ordnen sie vordefinierten Kategorien wie "Hund", "Katze", "Pferd" usw. zu.

Während die Annotatoren jedes Bild überprüfen, nutzen sie die von Label Studio bereitgestellten Labelling-Tools zur Kennzeichnung. Für die Bildklassifizierung wählen die Annotatoren einfach die passende Kategorie aus der vordefinierten Liste aus.

Schritt 4: Qualitätskontrolle

Um die Genauigkeit und Konsistenz des Labellings zu wahren, bietet Label Studio Funktionen zur Qualitätskontrolle. Annotatoren können die Arbeit der anderen überprüfen und validieren, um sicherzustellen, dass die Labels korrekt sind. Sie können auch Workflows zur Konsensbildung implementieren, um Unstimmigkeiten zwischen Annotatoren zu lösen.

Schritt 5: Datenexport

Sobald die Daten zu Ihrer Zufriedenheit gelabelt sind, exportieren Sie den gelabelten Datensatz aus Label Studio. Die Plattform bietet verschiedene Exportoptionen, darunter JSON, CSV oder Formate, die mit gängigen Machine Learning-Bibliotheken kompatibel sind. Dieser gelabelte Datensatz steht nun für das Training von Machine Learning-Modellen bereit.

Schritt 6: Modelltraining

Mithilfe der hochwertigen gelabelten Daten aus Label Studio können Sie mit dem Training Ihres Machine Learning-Modells für die Tierklassifizierung fortfahren. Die gelabelten Daten dienen als Trainingsset, und das Modell lernt basierend auf den Annotationen der Annotatoren, verschiedene Tierkategorien zu erkennen.

Schritt 7: Modellevaluierung und Deployment

Nach dem Training des Modells evaluieren Sie dessen Leistung anhand eines separaten Testdatensatzes. Wenn das Modell Ihre Genauigkeitskriterien erfüllt, können Sie es für den Praxiseinsatz deployen, z. B. zur automatischen Kategorisierung von Tierbildern.

Label Studio auf TrueFoundry deployen

Sie haben nun alles über Label Studio gelernt, und wir freuen uns, Ihnen mitzuteilen, dass Sie Label Studio mühelos auf TrueFoundry hosten können. Nachfolgend finden Sie eine Schritt-für-Schritt-Anleitung zur Bereitstellung von Label Studio auf Ihrem Machine Learning-Setup. Los geht's!

💡

Hinweis:
Sehr bald werden Sie LabelStudio mit nur einem Klick auf TrueFoundry deployen können. Wir halten Sie auf dem Laufenden.

1. Registrierung und Einrichtung von TrueFoundry

Bevor Sie die Möglichkeiten von Label Studio innerhalb von TrueFoundry nutzen können, müssen Sie sich registrieren und Ihr TrueFoundry-Konto einrichten.

TrueFoundry ist ein ML-Deployment-PaaS auf Kubernetes, um Entwickler-Workflows zu beschleunigen und gleichzeitig volle Flexibilität beim Testen und Deployen von Modellen zu bieten – bei vollständiger Sicherheit und Kontrolle für das Infra-Team.

Klicken Sie auf den untenstehenden Link und folgen Sie den Anweisungen:

‍

Erstellen Sie Ihr Konto auf TrueFoundry

Trainieren und deployen Sie ML-Modelle und LLMs auf Kubernetes mit der Geschwindigkeit von Big Tech bei 100 % Zuverlässigkeit und Skalierbarkeit. Senken Sie die Produktionskosten um 30–40 % und bringen Sie Modelle schneller in Produktion. Training Jobs, Inference Services, GPUs und mehr auf Ihrer eigenen Infrastruktur.

TrueFoundry Blog

‍

2. Deployen Sie das Helm-Chart für Label Studio

1. New Deployment > Helm > Wählen Sie einen Workspace
2. Füllen Sie hier die folgenden Details aus
3. Helm-Repo: https://charts.heartex.com
4. Chart-Name: label-studio
5. Version: 1.1.9
6. Sie können das Values-Feld leer lassen oder gemäß diesen Vorgaben konfigurieren. Wenn Sie es leer lassen, werden die App, eine Postgres-Datenbank und ein Persistent Volume zum Speichern von Artefakten gestartet.

3. Kustomize einrichten:
4. Klicken Sie auf den Schalter Show advanced fields unten im Formular
5. Klicken Sie hier auf den Schalter vor dem Kustomize-Toggle
6. Fügen Sie im Textfeld Patch das folgende Manifest hinzu und ersetzen Sie spec.http.route.destinatoin.host und spec.hosts durch die entsprechenden Werte

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
 name: labelstudio-vs
spec:
 http:
   - route:
       - destination:
           host: <label-studio-app-name>-ls-app.<workspace-name>.svc.cluster.local
           port:
             number: 80
 hosts:
   - <ds.organization.com/labelstudio>
 gateways:
   - istio-system/tfy-wildcard


Interaktion mit Label Studio

Sobald Sie Label Studio auf TrueFoundry deployt haben, können Sie über den bereitgestellten Endpunkt auf die Label Studio-Benutzeroberfläche zugreifen. Schauen wir uns an, wie man Bilder für die Bildklassifizierung mit Label Studio labelt.

1. Registrierung

Wenn Sie Ihr gehostetes Label Studio öffnen, werden Sie aufgefordert, sich für ein Konto zu registrieren oder sich anzumelden, falls Sie bereits eines haben. Folgen Sie diesen Schritten:

• Rufen Sie die URL Ihres gehosteten Label Studio auf.
• Klicken Sie auf "Sign Up", wenn Sie noch kein Konto haben, oder auf "Log In", falls Sie bereits registriert sind.
• Schließen Sie den Registrierungsprozess ab. Danach haben Sie Zugriff auf Ihr Label Studio Dashboard.

2. Einrichten eines Labelling-Projekts

Das Einrichten eines Labelling-Projekts in Label Studio umfasst mehrere Schritte, darunter die Definition des Projektnamens, den Import des Datensatzes und die Konfiguration der Labelling-Aufgaben. Gehen wir diese Schritte durch:

2.1 Erstellen eines Labelling-Projekts

Nach der Registrierung und dem Login können Sie mit der Erstellung Ihrer Labelling-Projekte beginnen. Folgen Sie diesen Schritten:

Tab "Project Name":

1. Klicken Sie in Ihrem Label Studio Dashboard auf die Schaltfläche "Create New Project".
2. Geben Sie im Tab "Project Name" einen Namen für Ihr Projekt ein. Dieser Name sollte den Zweck oder das Thema Ihres Labelling-Projekts widerspiegeln.
3. Geben Sie optional eine Projektbeschreibung an, um Kontext und Richtlinien für die Annotatoren bereitzustellen.

2.2 Importieren des Datensatzes

Bevor Sie mit dem Labeln beginnen können, müssen Sie den Datensatz importieren, den Sie bearbeiten möchten. Label Studio unterstützt verschiedene Datentypen, darunter Bilder, Text und Audio. Hier konzentrieren wir uns auf den Import von Bildern:

Tab "Data Import":

1. Navigieren Sie zum Tab "Data Import".
2. Sie haben zwei Optionen zum Importieren von Bildern:
3. Laden Sie Bilder direkt von Ihrem lokalen Computer hoch.
4. Geben Sie URLs zu den Bildern an, falls diese online gehostet werden.
5. Für dieses Beispiel können Sie die folgenden URLs als Datensatz hinzufügen:
   *

2.3 Einrichtung der Labelling-Aufgaben

Nach dem Import Ihres Datensatzes müssen Sie Labelling-Aufgaben einrichten, die definieren, was die Annotatoren auf den Bildern annotieren oder klassifizieren sollen. Folgen Sie diesen Schritten:

Tab "Labeling Setup":

1. Navigieren Sie zum Tab "Labeling Setup"
2. Wählen Sie eine Vorlage aus den verfügbaren Optionen aus oder passen Sie eine nach Ihren Bedürfnissen an. (Verwenden Sie für dieses Beispiel "Image Classification")

3. Label Studio wählt basierend auf Ihren Daten automatisch das zu labelnde Feld aus.
4. Sie können das ausgewählte Feld bei Bedarf ändern.
5. Fügen Sie Label-Namen in neuen Zeilen hinzu. (Fügen Sie "Dog" und "Cat" für unseren Anwendungsfall hinzu)
6. Optional können Sie neue Farben für die Labels auswählen, indem Sie auf den Label-Namen klicken und die Farbauswahl nutzen.
7. Konfigurieren Sie alle weiteren Einstellungen, die für die Funktionalität der Labelling-Oberfläche relevant sind.

8. Klicken Sie auf "Save", um die Labelling-Aufgabe zu erstellen.

Ihr Labelling-Projekt ist nun konfiguriert, und die Annotatoren können basierend auf der definierten Aufgabe mit dem Annotieren oder Klassifizieren von Bildern beginnen.

3. Der Labelling-Prozess

3.1 Labelling-Workflow

Sobald Ihr Setup abgeschlossen ist, werden Sie zum Data Manager Ihres Projekts weitergeleitet. Hier können Sie Ihren Datensatz und Ihre Labelling-Aufgaben effizient verwalten. Folgen Sie diesen Schritten, um den Labelling-Prozess zu starten:

1. Zugriff auf den Data Manager: Nach der Projekteinrichtung werden Sie automatisch zum Data Manager für Ihr Projekt weitergeleitet.
2. Datensatz labeln: Um Ihren Datensatz zu labeln, klicken Sie auf die Schaltfläche "Label All Tasks". Diese Aktion führt Sie zum Labelling Dashboard.
3. Labelling Dashboard: Im Labelling Dashboard können Sie Bilder aus Ihrem Datensatz anzeigen und Labels zuweisen. Sie können Bilder beispielsweise als "Dog" oder "Cat" labeln.

3.2 Data Manager Ansicht

Im Data Manager stehen Ihnen mehrere leistungsstarke Tools zur Verfügung, um Ihr Labelling-Projekt effizient zu verwalten:

• Daten filtern und sortieren: Sie können Ihre Projektdaten ganz einfach nach verschiedenen Kriterien filtern und sortieren, z. B. nach Label-Status oder Annotator-Zuweisungen.
• Filter als Tabs speichern: Erstellen Sie benutzerdefinierte Filterkonfigurationen und speichern Sie diese als Tabs für den schnellen Zugriff. Diese Funktion hilft Ihnen, Ihren Workflow zu optimieren, insbesondere bei großen Datensätzen.
• Annotatoren zu Aufgaben zuweisen: Weisen Sie Annotatoren spezifische Labelling-Aufgaben direkt aus dem Data Manager zu. Diese Funktion sorgt für eine effiziente Aufgabenverteilung.
• Aufgaben oder Annotationen löschen: Bei Bedarf können Sie bestimmte Aufgaben oder Annotationen löschen. So können Sie Ihren Datensatz im Verlaufe des Projekts verwalten und bereinigen.

3.3 Qualitätskontrolle

Um während des gesamten Projekts eine hohe Qualität der Labels zu gewährleisten, sollten Sie einen Review-Prozess implementieren:

• Zugriff für Reviewer: Bestimmen Sie Reviewer, die auf gelabelte Daten zugreifen können, um die Genauigkeit und Qualität der Labels zu überprüfen.
• Klärung von Unstimmigkeiten: Beheben Sie Diskrepanzen oder Unstimmigkeiten, die zwischen Annotatoren auftreten können. Eine zügige Klärung sichert die Konsistenz der Labels.
• Kontinuierliche Verbesserung: Nutzen Sie das Feedback der Reviewer und die Eingaben der Annotatoren, um Ihren Labelling-Prozess iterativ zu verbessern, was im Laufe der Zeit zu einer höheren Datenqualität führt.

4. Exportieren gelabelter Daten

Sobald Sie den Labelling-Prozess abgeschlossen haben, können Sie die gelabelten Daten für die Verwendung in Ihren Machine Learning-Projekten oder anderen Anwendungen exportieren.

1. Navigieren Sie in Ihrem Projekt zum Tab "Export".
2. Wählen Sie das Exportformat, das Ihren Anforderungen am besten entspricht, wie z. B. JSON, CSV oder andere.
3. Konfigurieren Sie die Exporteinstellungen, einschließlich der Auswahl der einzuschließenden gelabelten Daten.
4. Klicken Sie auf "Export", um die gelabelten Daten im gewählten Format zu generieren und herunterzuladen.

Herzlichen Glückwunsch! Sie haben den Labelling-Prozess erfolgreich abgeschlossen und Ihre gelabelten Daten für die weitere Verwendung exportiert.

Ihre gelabelten Daten werden in etwa so aussehen:

[
   {
       "id": 1,
       "annotations": [
           {
               "id": 1,
               "completed_by": 1,
               "result": [
                   {
                       "value": {
                           "choices": ["Dog"]
                       },
                       "id": "m2SBwNysux",
                       "from_name": "choice",
                       "to_name": "image",
                       "type": "choices",
                       "origin": "manual"
                   }
               ],
               "was_cancelled": false,
               "ground_truth": false,
               "created_at": "2023-09-14T00:51:14.067278Z",
               "updated_at": "2023-09-14T00:51:14.067302Z",
               "draft_created_at": null,
               "lead_time": 7.287,
               "prediction": {},
               "result_count": 0,
               "unique_id": "21bce98c-ef29-4725-8add-f5d6224441ec",
               "import_id": null,
               "last_action": null,
               "task": 1,
               "project": 3,
               "updated_by": 1,
               "parent_prediction": null,
               "parent_annotation": null,
               "last_created_by": null
           }
       ],
       "file_upload": "c2f3a287-czNmcy1wcml2YXRlL3Jhd3BpeG_AYUTabf.pngsNjVuBb-Kdw49uxifZtlp1-3P4mypZAScmHj9-qHiDSk",
       "drafts": [],
       "predictions": [],
       "data": {
           "image": "\/data\/upload\/3\/c2f3a287-czNmcy1wcml2YXRlL3Jhd3BpeG_AYUTabf.pngsNjVuBb-Kdw49uxifZtlp1-3P4mypZAScmHj9-qHiDSk"
       },
       "meta": {},
       "created_at": "2023-09-14T00:45:00.762438Z",
       "updated_at": "2023-09-14T00:51:14.111241Z",
       "inner_id": 1,
       "total_annotations": 1,
       "cancelled_annotations": 0,
       "total_predictions": 0,
       "comment_count": 0,
       "unresolved_comment_count": 0,
       "last_comment_updated_at": null,
       "project": 3,
       "updated_by": 1,
       "comment_authors": []
   }
]


Passen Sie Ihre Label Studio-Projekte und -Workflows gerne an Ihre spezifischen Anforderungen an und nutzen Sie die leistungsstarken Datenlabelling-Funktionen von Label Studio.

Lesen Sie unsere bisherigen Blogs aus der Serie "Machine Learning Tool Integrations"

‍

Machine Learning Tool Integrations #2 DVC for your Data Versioning

Learn about challenges faced in version control in Machine Learning and how TrueFoundry’s Machine Learning Platform integrates with DVC.

TrueFoundry Blog TrueFoundry

‍

Schauen Sie weiterhin die TrueML YouTube-Serie und lesen Sie alle Beiträge der TrueML Blog-Serie.

TrueFoundry ist ein ML-Deployment-PaaS auf Kubernetes, um Entwickler-Workflows zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Deployen von Modellen zu bieten – bei vollständiger Sicherheit und Kontrolle für das Infra-Team. Über unsere Plattform ermöglichen wir es Machine Learning-Teams, Modelle in 15 Minuten mit 100 % Zuverlässigkeit und Skalierbarkeit zu deployen und zu überwachen sowie in Sekundenschnelle Rollbacks durchzuführen. Dies spart Kosten, beschleunigt die Veröffentlichung von Modellen in der Produktion und schafft echten geschäftlichen Mehrwert.