Integrationen von Tools für maschinelles Lernen #3 Label Studio für alle Ihre Etikettierungsanforderungen

Im folgenden Blog werden wir über Label Studio sprechen und darüber, wie Sie Label Studio für die Etikettierung einfach nutzen können, indem Sie es auf TrueFoundry bereitstellen.

Die Qualität der Daten ist viel wichtiger als die Quantität. Dies ist ein etabliertes Prinzip in der Community für maschinelles Lernen, und es wird immer wichtiger, da sich die MLOps-Community einem datenzentrierten Ansatz zuwendet.

In einem kürzlichen Vortrag nannte Andrew Ng das Beispiel eines Problems bei der Erkennung von Stahldefekten, bei dem der datenzentrierte Ansatz die Genauigkeit des Modells um 16% verbessern konnte, während der modellorientierte Ansatz die Genauigkeit überhaupt nicht verbesserte.

Der datenzentrierte Ansatz ist wichtiger als der modellzentrierte Ansatz, insbesondere in Fällen, in denen die Daten begrenzt oder verrauscht sind. - Andrew Ng

Sie können sich diesen Vortrag von Andrew Ng über den datenzentrierten Ansatz für maschinelles Lernen ansehen:

Dies liegt daran, dass selbst die besten Modelle für maschinelles Lernen nur so gut sind wie die Daten, mit denen sie trainiert werden. Wenn die Daten verrauscht oder unvollständig sind, lernt das Modell, Fehler zu machen. Aus diesem Grund ist es so wichtig, beim Training von Modellen für maschinelles Lernen qualitativ hochwertige Daten zu verwenden.

Selbst im Zusammenhang mit großen Sprachmodellen (LLMs) bleibt die Bedeutung qualitativ hochwertiger Daten von größter Bedeutung. Das Papier betitelte „Training rechneroptimaler großer Sprachmodelle“ von DeepMind (2022) befasst sich mit den Skalierungsgesetzen für LLMs und zeigt, dass Datenqualität die Datensatzgröße übertrifft. Die Autoren veranschaulichen, dass ein Modell, das mit nur 500 Zeilen qualitativ hochwertiger Daten trainiert wurde, ein Modell übertreffen kann, das auf einem Datensatz trainiert wurde, der unglaubliche 100 Millionen Zeilen mit Daten niedriger Qualität enthält.

Sie können das Papier unter dem folgenden Link lesen:

‍

Training Compute-Optimal Large Language Models

We investigate the optimal model size and number of tokens for training atransformer language model under a given compute budget. We find that currentlarge language models are significantly undertrained, a consequence of therecent focus on scaling language models whilst keeping the amount of trai…

arXiv.org Jordan Hoffmann

‍

In ähnlicher Weise „WizardLM: Ein kleines, effizientes und leistungsstarkes Sprachmodell“ von Google AI (2022) stellt WizardLM vor, ein kompaktes Sprachmodell, das auf einem Datensatz trainiert wird, der nur 500.000 Wörter umfasst. Bemerkenswert ist, dass WizardLM bei verschiedenen Aufgaben zur Verarbeitung natürlicher Sprache modernste Ergebnisse erzielt, obwohl es im Vergleich zu anderen LLMs deutlich kleiner ist.

Sie können das Papier unter dem folgenden Link lesen:

‍

WizardLM: Empowering Large Language Models to Follow Complex Instructions

Training large language models (LLMs) with open-domain instruction followingdata brings colossal success. However, manually creating such instruction datais very time-consuming and labor-intensive. Moreover, humans may struggle toproduce high-complexity instructions. In this paper, we show an ave…

arXiv.org Can Xu

‍

Was ist Label Studio?

Label Studio ist ein webbasiertes Open-Source-Tool zur Datenkennzeichnung, das von Heartex entwickelt wurde. Es wurde entwickelt, um den Prozess der Kommentierung von Daten für Aufgaben des maschinellen Lernens zu optimieren. Ganz gleich, ob Sie an der Bildklassifizierung, der Erkennung benannter Entitäten, der Stimmungsanalyse oder einer anderen Etikettierungsaufgabe arbeiten, Label Studio bietet eine flexible und benutzerfreundliche Umgebung, um Ihre Daten effizient zu kennzeichnen.

‍

Open Source Data Labeling | Label Studio

A flexible data labeling tool for all data types. Prepare training data for computer vision, natural language processing, speech, voice, and video models…

Label Studio

‍

Hauptmerkmale von Label Studio

• Multimodale Kennzeichnung: Label Studio unterstützt Bilder, Text, Audio und Video.
• Anpassbare Benutzeroberflächen für die Etikettierung: Passen Sie die Labeling-Schnittstellen an Ihre Aufgabe an.
• Qualitätskontrolle bei der Etikettierung: Automatische Validierung und Peer-Review stellen die Datenqualität sicher.
• Zusammenarbeit im Team: Mehrere Benutzer arbeiten an demselben Projekt mit zugewiesenen Rollen und Berechtigungen.
• Flexibilität bei der Integration: Integrieren Sie mit APIs und Exportoptionen in Ihre Datenpipeline.
• Skalierbarkeit: Skaliert mit Ihren Anforderungen an die Datenkennzeichnung.
• Open Source: Kostenlos zu verwenden und zu ändern.

Der Arbeitsablauf zur Kennzeichnung von Daten in Label Studio

Schritt 1: Datenimport

Der Etikettierungsprozess beginnt mit dem Import Ihrer unbeschrifteten Rohdaten in Label Studio. Bei diesen Daten kann es sich je nach Ihrer Etikettierungsaufgabe um Bilder, Text, Audio, Video oder ein anderes Datenformat handeln. Stellen wir uns für unser Beispiel eine Bildklassifizierungsaufgabe vor, bei der Sie Bilder von Tieren kategorisieren möchten.

Schritt 2: Projekterstellung

Sobald Ihre Daten importiert sind, erstellen Sie ein neues Etikettierungsprojekt in Label Studio. In diesem Projekt definieren Sie die Etikettierungsaufgabe, wählen die Datenquelle aus und konfigurieren die Beschriftungsschnittstelle. Sie können die Oberfläche an Ihre spezifischen Anforderungen anpassen und dabei aus verschiedenen Annotationstypen wie Begrenzungsrahmen, Polygonen, Schlüsselpunkten und mehr wählen.

Für unser Beispiel zur Klassifizierung von Tierbildern würden Sie ein Projekt mit dem Namen „Tierklassifikation“ erstellen und es so konfigurieren, dass Bilder für Anmerkungen angezeigt werden.

Schritt 3: Anmerkung

Nachdem das Projekt eingerichtet ist, laden Sie die Annotatoren ein, mit der Kennzeichnung der Daten zu beginnen. Kommentatoren greifen über eine Weboberfläche auf die Label Studio-Plattform zu, wo ihnen Bilder aus Ihrem Datensatz präsentiert werden. In unserem Beispiel würden Annotatoren Bilder von Tieren sehen und sie in vordefinierte Kategorien wie „Hund“, „Katze“, „Pferd“ usw. einteilen.

Während die Kommentatoren jedes Bild überprüfen, verwenden sie die von Label Studio bereitgestellten Beschriftungstools, um ihre Anmerkungen zu markieren. Für die Bildklassifizierung wählen die Annotatoren einfach die entsprechende Kategorie aus der vordefinierten Liste aus.

Schritt 4: Qualitätskontrolle

Um die Genauigkeit und Konsistenz der Etikettierung aufrechtzuerhalten, bietet Label Studio Funktionen zur Qualitätskontrolle. Kommentatoren können die Arbeit der anderen überprüfen und validieren und so sicherstellen, dass die Beschriftungen korrekt sind. Sie können auch Workflows zur Konsensbildung implementieren, um Meinungsverschiedenheiten zwischen den Annotatoren auszuräumen.

Schritt 5: Datenexport

Sobald die Daten zu Ihrer Zufriedenheit beschriftet sind, exportieren Sie den beschrifteten Datensatz aus Label Studio. Die Plattform bietet verschiedene Exportoptionen, darunter JSON, CSV oder Formate, die mit gängigen Bibliotheken für maschinelles Lernen kompatibel sind. Dieser beschriftete Datensatz kann jetzt für das Training von Modellen für maschinelles Lernen verwendet werden.

Schritt 6: Modelltraining

Mithilfe der hochwertigen beschrifteten Daten aus Label Studio können Sie Ihr maschinelles Lernmodell für die Tierklassifizierung trainieren. Die beschrifteten Daten dienen als Trainingsset, und das Modell lernt anhand der Anmerkungen der Annotatoren, verschiedene Tierkategorien zu erkennen.

Schritt 7: Modellevaluierung und -bereitstellung

Nach dem Training des Modells bewerten Sie seine Leistung anhand eines separaten Testdatensatzes. Wenn das Modell Ihre Genauigkeitskriterien erfüllt, können Sie es für die reale Verwendung einsetzen, z. B. für die automatische Kategorisierung von Tierbildern.

Stellen Sie LabelStudio auf TrueFoundry bereit

Sie haben alles über LabelStudio gelernt, und jetzt freuen wir uns, Ihnen mitteilen zu können, dass Sie LabelStudio mühelos auf TrueFoundry hosten können. Im Folgenden finden Sie eine schrittweise Anleitung zur Bereitstellung von LabelStudio in Ihrem Machine Learning-Setup. Lass uns anfangen!

💡

Hinweis:
Sehr bald werden Sie bereitstellen können LabelStudio auf Wahre Gießerei mit nur einem Klick. Wir werden Sie auf dem Laufenden halten.

1. Registrieren Sie sich und richten Sie TrueFoundry` ein

Bevor Sie die Leistungsfähigkeit von Label Studio in TrueFoundry nutzen können, müssen Sie sich registrieren und Ihr TrueFoundry-Konto einrichten.

Wahre Gießerei ist ein ML Deployment PaaS über Kubernetes, um die Workflows von Entwicklern zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten und gleichzeitig die volle Sicherheit und Kontrolle für das Infra-Team zu gewährleisten.

Klicken Sie auf den unten stehenden Link und folgen Sie den Anweisungen:

‍

Create your account on TrueFoundry

Train and deploy ML models and LLMs on top of Kubernetes at the speed of Big Tech with 100% reliability and scalability. Slash production costs by 30-40% and release models to production faster. Training jobs, inference services, GPUs and more on your own infra.

TrueFoundry Blog

‍

2. Stellen Sie das Steuerdiagramm für LabelStudio bereit

1. Neuer Einsatz > Helm > Wähle einen Workspace
2. Füllen Sie hier die folgenden Details aus
3. Helm-Repo: https://charts.heartex.com
4. Diagrammname: label-studio
5. Ausführung: 1.1.9
6. Sie können das Wertefeld leer lassen oder es wie folgt konfigurieren diese. Wenn Sie es leer lassen, werden die App, eine Postgres-Datenbank und ein persistentes Volume zum Speichern von Artefakten angezeigt.

3. Kustomize einrichten:
4. Klicken Sie auf Erweiterte Felder anzeigen am unteren Rand des Formulars umschalten
5. Klicken Sie hier auf den Toggle-Button vor dem Kustomize-Toggle
6. In Aufnäher Textfeld füge das folgende Manifest hinzu und ersetze spec.http.route.destinatoin.host und spez. Hosts mit den entsprechenden Werten

API-Version: networking.istio.io/v1alpha3
Art: VirtualService
Metadaten:
Name: Labelstudio-vs
spezifikation:
http:
- Route:
- Reiseziel:
Gastgeber: <label-studio-app-name>-ls-app. <workspace-name>.svc.cluster.local
Hafen:
nummer: 80
Gastgeber:
- <ds.organization.com/labelstudio>
Gateways:
- istio-system/tfy-wildcard


Interaktion mit LabelStudio

Sobald Sie Label Studio auf TrueFoundry bereitgestellt haben, können Sie über den bereitgestellten Endpunkt auf die Label Studio-Benutzeroberfläche zugreifen. Lassen Sie uns untersuchen, wie Sie Bilder für die Bildklassifizierung mit Label Studio kennzeichnen.

1. Anmeldung

Wenn Sie Ihr gehostetes Label Studio öffnen, werden Sie aufgefordert, ein Konto zu eröffnen oder sich anzumelden, falls Sie bereits eines haben. Folgen Sie diesen Schritten:

• Besuchen Sie Ihre gehostete Label Studio-URL.
• Klicken Sie auf die Option „Anmelden“, wenn Sie kein Konto haben, oder auf „Anmelden“, wenn Sie eines haben.
• Schließen Sie den Registrierungsprozess ab. Sobald Sie fertig sind, haben Sie Zugriff auf Ihr Label Studio-Dashboard.

2. Ein Kennzeichnungsprojekt einrichten

Das Einrichten eines Beschriftungsprojekts in Label Studio umfasst mehrere Schritte, einschließlich der Definition des Projektnamens, des Imports des Datensatzes und der Konfiguration von Beschriftungsaufgaben. Lassen Sie uns diese Schritte durchgehen:

2.1 Ein Kennzeichnungsprojekt erstellen

Nachdem Sie sich registriert und angemeldet haben, können Sie mit der Erstellung Ihrer Kennzeichnungsprojekte beginnen. Folgen Sie diesen Schritten:

Registerkarte „Projektname“:

1. Klicken Sie in Ihrem Label Studio-Dashboard auf die Schaltfläche „Neues Projekt erstellen“.
2. Geben Sie im Tab „Projektname“ einen Namen für Ihr Projekt ein. Dieser Name sollte den Zweck oder das Thema Ihres Kennzeichnungsprojekts widerspiegeln.
3. Geben Sie optional eine Projektbeschreibung an, um den Kontext und die Richtlinien für Etikettierer bereitzustellen.

2.2 Datensatz importieren

Bevor Sie mit der Kennzeichnung beginnen können, müssen Sie den Datensatz importieren, den Sie beschriften möchten. Label Studio unterstützt verschiedene Datentypen, darunter Bilder, Text und Audio. Hier konzentrieren wir uns auf den Import von Bildern:

Registerkarte „Datenimport“:

1. Navigieren Sie zur Registerkarte „Datenimport“.
2. Sie haben zwei Möglichkeiten, Bilder zu importieren:
3. Laden Sie Bilder direkt von Ihrem lokalen Computer hoch.
4. Geben Sie URLs zu den Bildern an, wenn sie online gehostet werden.
5. Für dieses Beispiel können Sie die folgenden URLs als Datensatz hinzufügen:
   *

2.3 Einrichtung von Beschriftungsaufgaben

Nach dem Import Ihres Datensatzes müssen Sie Beschriftungsaufgaben einrichten, die definieren, was die Labeler in den Bildern kommentieren oder klassifizieren sollen. Folgen Sie diesen Schritten:

Registerkarte „Beschriftungseinstellungen“:

1. Navigieren Sie zur Registerkarte „Etikettierung einrichten“
2. Wählen Sie eine Vorlage aus den verfügbaren Optionen oder passen Sie eine an Ihre Bedürfnisse an. (Verwenden Sie für dieses Beispiel die Bildklassifizierung)

3. Label Studio wählt anhand Ihrer Daten automatisch das Feld aus, das beschriftet werden soll.
4. Sie können das ausgewählte Feld bei Bedarf ändern.
5. Fügen Sie Labelnamen in neuen Zeilen hinzu. (Fügen Sie Hund und Katze für unseren Anwendungsfall hinzu)
6. Optional können Sie neue Farben für die Beschriftungen auswählen, indem Sie auf den Etikettennamen klicken und die Farbauswahl verwenden.
7. Konfigurieren Sie alle zusätzlichen Einstellungen, die für die Funktionalität der Labeling-Schnittstelle relevant sind.

8. Klicken Sie auf „Speichern“, um die Beschriftungsaufgabe zu erstellen.

Ihr Etikettierungsprojekt ist jetzt konfiguriert, und die Etikettierer können beginnen, Bilder basierend auf der definierten Aufgabe zu kommentieren oder zu klassifizieren.

3. Prozess der Kennzeichnung

3.1 Arbeitsablauf für die Etikettierung

Sobald Ihre Projekteinrichtung abgeschlossen ist, werden Sie zum Datenmanager Ihres Projekts weitergeleitet. Hier können Sie Ihre Datensatz- und Beschriftungsaufgaben effizient verwalten. Folgen Sie diesen Schritten, um den Kennzeichnungsprozess einzuleiten:

1. Greifen Sie auf den Datenmanager zu: Nach der Projekteinrichtung werden Sie automatisch zum Datenmanager für Ihr Projekt weitergeleitet.
2. Beschriften Sie Ihren Datensatz: Um Ihren Datensatz zu beschriften, klicken Sie auf die Schaltfläche „Alle Aufgaben beschriften“. Mit dieser Aktion gelangen Sie zum Labeling-Dashboard.
3. Kennzeichnungs-Dashboard: Im Labeling-Dashboard können Sie Bilder aus Ihrem Datensatz ansehen und Labels zuweisen. Beispielsweise können Sie Bilder entweder als „Hund“ oder „Katze“ kennzeichnen.

3.2 Datenmanager-Ansicht

Im Datenmanager stehen Ihnen mehrere leistungsstarke Tools zur Verfügung, um Ihr Kennzeichnungsprojekt effizient zu verwalten:

• Daten filtern und sortieren: Sie können Ihre Projektdaten ganz einfach nach verschiedenen Kriterien filtern und sortieren, z. B. nach Labelstatus oder Annotatorzuweisungen.
• Filter als Tabs speichern: Erstellen Sie benutzerdefinierte Filterkonfigurationen und speichern Sie sie als Tabs für den schnellen Zugriff. Diese Funktion hilft Ihnen, Ihren Arbeitsablauf zu optimieren, insbesondere bei großen Datensätzen.
• Aufgaben Annotatoren zuweisen: Weisen Sie den Annotatoren direkt aus dem Datenmanager bestimmte Beschriftungsaufgaben zu. Diese Funktion gewährleistet eine effiziente Aufgabenzuweisung.
• Aufgaben oder Anmerkungen löschen: Bei Bedarf können Sie bestimmte Aufgaben oder Anmerkungen löschen. Mit dieser Funktion können Sie Ihren Datensatz im Verlauf Ihres Projekts verwalten und bereinigen.

3.3 Qualitätskontrolle

Um die Qualität der Etiketten während Ihres gesamten Projekts aufrechtzuerhalten, sollten Sie einen Überprüfungsprozess in Betracht ziehen:

• Zugang für Rezensenten: Benennen Sie Prüfer, die auf beschriftete Daten zugreifen können, um die Richtigkeit und Qualität der Etiketten zu überprüfen.
• Auflösung der Diskrepanz: Beheben Sie alle Unstimmigkeiten oder Streitigkeiten, die zwischen den Etikettierern auftreten können. Durch die sofortige Lösung von Problemen wird die Konsistenz der Etiketten gewährleistet.
• Kontinuierliche Verbesserung: Verwenden Sie das Feedback der Prüfer und die Eingaben der Etikettierer, um Ihren Etikettierungsprozess iterativ zu verbessern, was im Laufe der Zeit zu einer verbesserten Datenqualität führt.

4. Exportieren beschrifteter Daten

Sobald Sie den Kennzeichnungsvorgang abgeschlossen haben, können Sie die beschrifteten Daten zur Verwendung in Ihren Machine-Learning-Projekten oder anderen Anwendungen exportieren.

1. Navigieren Sie in Ihrem Projekt zum Tab „Exportieren“.
2. Wählen Sie das Exportformat, das Ihren Anforderungen am besten entspricht, z. B. JSON, CSV oder andere.
3. Konfigurieren Sie die Exporteinstellungen, einschließlich der einzuschließenden beschrifteten Daten.
4. Klicken Sie auf „Exportieren“, um die beschrifteten Daten in dem von Ihnen gewählten Format zu generieren und herunterzuladen.

Herzlichen Glückwunsch! Sie haben den Etikettierungsprozess erfolgreich abgeschlossen und Ihre etikettierten Daten zur weiteren Verwendung exportiert.

Ihre beschrifteten Daten werden den folgenden in etwa ähneln:

[
{
„id“: 1,
„Anmerkungen“: [
{
„id“: 1,
„abgeschlossen_von“: 1,
„Ergebnis“: [
{
„Wert“: {
„choices“: ["Hund"]
},
„id“: „m2sbwnySUX“,
„from_name“: „Auswahl“,
„to_name“: „Bild“,
„type“: „Auswahlmöglichkeiten“,
„origin“: „manuell“
}
],
„was_storniert“: falsch,
„ground_truth“: falsch,
„created_at“: „2023-09-14T 00:51:14.067 278Z“,
„updated_at“: „2023-09-14T 00:51:14.067 302Z“,
„draft_created_at“: null,
„Vorlaufzeit“: 7,287,
„Vorhersage“: {},
„result_count“: 0,
„unique_id“: „21bce98c-ef29-4725-8add-f5d6224441ec“,
„import_id“: null,
„letzte_Aktion“: null,
„Aufgabe“: 1,
„Projekt“: 3,
„aktualisiert_von“: 1,
„parent_prediction“: null,
„parent_annotation“: null,
„last_created_by“: null
}
],
„file_upload“: „c2f3a287-cznmcy1wcml2yxrll3jhd3bpeg_ayutabf.pngsnjvubb-kdw49uxifztlp1-3p4mypzascmhj9-qhidsk“,
„Entwürfe“: [],
„Vorhersagen“: [],
„Daten“: {
„Bild“: „\ /data\ /upload\ /3\ /c2f3a287-cznmcy1wcml2yxrll3jhd3bpeg_ayutabf.pngsnjvubb-KDW49UXIFZTLP1-3P4MypZASCMHJ9-QHIDSK“
},
„meta“: {},
„created_at“: „2023-09-14T 00:45:00.762 438Z“,
„updated_at“: „2023-09-14T 00:51:14.111 241Z“,
„inner_id“: 1,
„total_annotations“: 1,
„cancelled_annotations“: 0,
„total_prognosen“: 0,
„comment_count“: 0,
„unresolved_comment_count“: 0,
„last_comment_updated_at“: null,
„Projekt“: 3,
„aktualisiert_von“: 1,
„comment_authors“: []
}
]


Sie können Ihre Label Studio-Projekte und Workflows an Ihre spezifischen Anforderungen anpassen und dabei die leistungsstarken Funktionen von Label Studio zur Datenkennzeichnung nutzen.

Lesen Sie unsere vorherigen Blogs in der Machine Learning Tool Integrations Series

‍

Machine Learning Tool Integrations #2 DVC for your Data Versioning

Learn about challenges faced in version control in Machine Learning and how TrueFoundry’s Machine Learning Platform integrates with DVC.

TrueFoundry Blog TrueFoundry

‍

Schaue weiter TrueML YouTube-Serie und lese das ganze TrueML Blog-Serie.

Wahre Gießerei ist ein ML Deployment PaaS über Kubernetes, um die Workflows von Entwicklern zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten und gleichzeitig die volle Sicherheit und Kontrolle für das Infra-Team zu gewährleisten. Über unsere Plattform ermöglichen wir Teams für maschinelles Lernen bereitstellen und überwachen Modelle innerhalb von 15 Minuten mit 100% iger Zuverlässigkeit, Skalierbarkeit und der Möglichkeit, innerhalb von Sekunden rückgängig zu machen. So können sie Kosten sparen und Modelle schneller für die Produktion freigeben, wodurch ein echter Geschäftswert erzielt wird.