TrueFoundry Accelerator-Serie: Erstellung einer Absichtsklassifizierung auf Unternehmensebene mit SetFit

Die Herausforderung der Klassifizierung von Ansichten im Unternehmensumfeld frustriert Unternehmen seit langem, die Kundenanfragen weiterleiten, Supportanfragen priorisieren und Sicherheitsrichtlinien in großem Umfang umsetzen wollen. Normale Ansätze erfordern umfangreiche beschränkte Datensätze und monatelange Schulungszyklen. Aber was wäre, wenn wir mit nur einer Handvoll Beispiele pro Intent-Class eine Genauigkeit auf dem neuesten Stand der Technik erreichen könnten?

Werde unser Intent Classifier Accelerator, der auf den neuesten Forschungsergebnissen aus der bahnbrechenden Arbeit von N2VEC basiert, die auf dem Haystack EU 2023 veröffentlicht wurden. Deine Ergebnisse zeigen, dass das Erlernen der Kunst und Klugheit in wenigen Schritten, um sich den Herausforderungen der Textklassifizierung zu stellen, revolutionieren kann.

Der SetFit-Durchbruch: Wenige Beispiele, maximale Wirkung

Das Forschungsteam von N2VEC unter der Leitung von CEO Fernando Vieira da Silva befasste sich mit einem der anspruchsvollsten Klassifizierungsszenarien: der Rechtsforschung mit über 60 Millionen Sätzen in 138 verschiedenen Klassen. Deine Herausforderung spiegelt weiter wider, dass die Unternehmen täglich konfrontiert sind — zu viele Kategorien mit unzureichenden beschrifteten Exemplaren für jede Kategorie.

Das traditionelle Problem:

• 9.000 beschriftete Beispiele, verteilt auf 138 Klassen
• Unzügige Daten pro Kurs für effektives Training
• Wochen oder Monate, die erforderlich sind, um angemessene Trainingsdaten zu sammeln

Die SetFit-Lösung:
Der Ansatz von N2VEC mit SetFit (Sentence Transformer Fine-Tuning) brachte diese Herausforderung zufällig in Verbindung. SetFit generiert Satzpaare durch kontratives Lernen. Dabei entstehen sowohl positive Paare (dieselbe Klasse) als auch negative Paare (verschiedene Klassen). Diese Technologie zur Datenerweiterung erweiterte die Trainingsdaten anhand von Minimalbeispielen erheblich.

Wie Fernandos Team in ihrer Präsentation feststellte: „SetFit for Classification problems“ beweist, dass „wettbewerbsfähige Ergebnisse im Vergleich zu GPT und anderen“ erreichbar sind und gleichzeitig „leicht und schnell zu trainieren (Sie können auf Ihrem Laptop trainieren)“ mit „mehrsprachiger Unterstützung“ bleiben.

Von der Forschung zur Produktion: Unsere Accelerator-Implementierung

Unser Intent Classifier Accelerator wandelt die Forschungsergebnisse von N2VEC in unternehmenstaugliche Lösungen um:

Kernarchitektur

• SetFit-gestützte Klassifikations-Engine, die aus minimalen Beispielen gelernt hat
• Contrastive Learning Pipeline, die automatisch Training Spare generiert
• Multistufige Feinabstimmung nach der bewährten Methodologie von N2VEC
• Cross-Encoder-Re-Ranking für maximale Genauigkeit

Funktionen für Unternehmen

• Bearbeitung und Verwaltung der personenbezogenen Daten sind in jeden Klassifizierungsschritt integriert
• RBAC-Steuerung für kategoriensensible Ansichten
• Isolierung mehrerer Mandanten für verschiedene Geschäftsbereiche
• echtzeit-api mit p95-Latenzzielen unter 100 ms
• Prüfprotokolle für regulatorische Anforderungen

TrueFoundry-Plattformintegration

• AI Gateway-Routing gewährleistet kontrollierten Modellzugriff
• Die automatische Skalierung bewältigt Spitzendatenverkehr ohne Beeinträchtigung
• Die Kostenüberwachung sorgt für eine transparente Nutzungsverfolgung
• Observability-Dashboards verfolgen Genauigkeits- und Leistungstrends

Praxisnahe Anwendungen in allen Branchen

Gesundheit und Biowissenschaften

Nach dem Erfolg der juristischen Forschung von N2VEC zeichnet sich unser Beschleuniger in medizinischen Kontexten aus:

• Weiterleitung von Patientenanfragen: Sortierung dringender und routinemäßiger Anfragen
• Erkennung unerwünschter Ereignisse: Signaging of security signales in the provider communication
• Einhaltung gesetzlicher Vorschriften: Einreichungen nach behördlichen Anforderungen klassifizieren

Finanzdienstleistungen

• Betrugserkennung: Identifiziert Sie verdächtige Transaktionsmuster
• Kundenservice: Senden Sie komplexe Anfragen zu Finanzprodukten
• Compliance-Überwachung: Kennzeichnen potenziell riskanter Kommunikation

SaaS und Technologie

• Priorisierung von Support-Tickets: Klassifizieren Sie das Schweregrad und die Route entsprechend
• Kategorisierung funktionaler Fragen: Nutzerbedürfnisse und Trends verstehen
• Sicherheitsüberwachung: Erkennen Sie anomale Benutzerverhaltensmuster

Der SetFit-Vorteil: Warum Few-Shot funktioniert

Die Forschung von N2VEC bestätigt drei wichtige Vorteile, die unsere Beschleuniger antreiben:

1. Dateneffizienz: Wandle 8 Beispiele pro Klasse durch kontratives Lernen in Tausende von Trainingsplätzen um
2. Geschwindigkeit: Trainermodelle serienreif in Minuten, nicht in Monaten
3. Robustheit: Mehrsprachiger Support und Domainanpassung, ohne dass bei Null beginnen muss

Wie ihre Ergebnisse zeigen, generiert der Ansatz von SetFit, setzt zunächst Transformatoren und bildet dann einen Klassifikationsleiter aus, um Inbettungen zu trainieren, die reichhaltig sind, um eine genaue Klassifikation mit minimalen Daten zu ermöglichen.

Vom Machbarkeitsnachweis bis zum Produktionsmaßstab

N2VEC hat bewiesen, dass SetFit bei über 60 Millionen Gerichtsurteilen funktioniert. Unser Intent Classifier Accelerator bringt diese Funktion auf Unternehmensebene mit:

• Horizontale Skalierung für globale Bereitstellungen
• Versionsverwaltung für sich entwickelnde Intent-Schemas
• A/B-Test-Framework für kontinuierliche Verbesserung
• Integrations-APIs für CRM-, Ticketing- und Kommunikationsplattformen

Erste Schritte: Ihr 48-Stunden-Pfad zur Absichtsklassifizierung

Im Gegensatz zu herkömmlichen ML-Projekten, die monatelange Datenerfassung und Modelltraining erfordern, liefert unser Intent Classifier Accelerator Ergebnisse innerhalb von Tagen:

Tag 1: Definieren Sie Absichtskategorien und geben Sie 5-10 Beispiele pro Kurs
Tag 2: Bereitstellung in einer Staging-Umgebung mit Live-Datenintegration
Woche 1: Produktionsbereitstellung mit Überwachungs- und Feedback-Schleifen

Die Setfit-Basis bedeutet, dass Sie auf bewährten Forschungsergebnissen aufbauen, nicht auf experimentelle Techniken.

Fazit: Auf den Schultern der Riesen stehen

Die Haystack EU 2023 Präsentation von N2VEC beweist, dass Few-shot Learning nicht nur akademische Theorie ist — es ist eine produktionsreife Technologie, die die eigentlichen Unternehmensanforderungen löst. Deine Treffsicherheit von 86,1% bei komplexen rechtlichen Forschungsfragen mit minimalen Trainingsdaten bestätigt den Ansatz unserer Intent Classifier Accelerators. Durch die Kombination der SETFIT-Innovationen von N2VEC mit den Funktionen der Unternehmensplattform von TrueFoundry bieten wir Lösungen zur Klassifizierung von Absichtserklärungen, die schnell implementiert werden können, in der Praxis präzise und von Anfang an konform sind. In der Zukunft des Unternehmens geht es nicht um mehr Daten — es geht darum, intelligent aus den Daten zu lernen, die Sie bereits haben.
Bist du bereit, die Abstimmungsklassifizierung mit wenigen Schüssen in Aktion zu erleben? Startet unsere Live-Demo um die Klassifizierung des SetFit-Supports anhand Ihres eigenen Textbeispiels zu sehen, oder kontaktieren Sie unser Team, um den spezifischen Anwendungsfall zu überprüfen.

Referenzen:

• Vorstellung von N2VEC Haystack EU 2023: „Ein praktischer Ansatz für das Lernen mit wenigen Schritten mit SetFit zur Skalierung des Such- und Relevanzrankings in einer großen Textdatenbank“
• Fernando Vieira da Silva, Geschäftsführer von N2VEC, Doktorand in künstlicher Intelligenz (NLP)