Série d'accélérateurs TrueFoundry : création d'une classification des intentions adaptée aux entreprises avec SetFit

Le défi de la classification des intentions dans les environnements d'entreprise a longtemps frustré les organisations qui cherchent à acheminer les demandes des clients, à hiérarchiser les tickets d'assistance et à appliquer des politiques de sécurité à grande échelle. Les approches traditionnelles nécessitent des ensembles de données étiquetés massifs et des mois de cycles de formation. Mais que se passerait-il si nous pouvions atteindre une précision de pointe avec seulement une poignée d'exemples par classe d'intention ?

Entrez dans notre accélérateur de classification des intentions, basé sur des recherches de pointe issues des travaux révolutionnaires de N2VEC présentés à Haystack EU 2023. Leurs résultats montrent que l'apprentissage en quelques étapes peut révolutionner la façon dont les entreprises abordent les défis de la classification des textes.

La percée de SetFit : quelques exemples, un impact maximal

L'équipe de recherche de N2VEC, dirigée par le PDG Fernando Vieira da Silva, s'est attaquée à l'un des scénarios de classification les plus exigeants : une recherche juridique comportant plus de 60 millions de phrases réparties dans 138 classes différentes. Leur défi reflète ce à quoi les entreprises sont confrontées au quotidien : trop de catégories avec des exemples étiquetés insuffisants pour chacune d'entre elles.

Le problème traditionnel :

• 9 000 exemples étiquetés répartis dans 138 classes
• Données insuffisantes par classe pour une formation efficace
• Des semaines ou des mois sont nécessaires pour collecter des données de formation adéquates

La solution SetFit :
L'approche de N2VEC utilisant SetFit (Sentence Transformer Fine-tuning) a transformé ce défi en opportunité. SetFit génère des paires de phrases grâce à un apprentissage contrastif, en créant à la fois des paires positives (même classe) et des paires négatives (classes différentes). Cette technique d'augmentation des données élargit considérablement les données d'entraînement à partir d'exemples minimaux.

Comme l'a noté l'équipe de Fernando dans sa présentation : « SetFit for Classification problems » prouve que « des résultats compétitifs par rapport au GPT et à d'autres » sont réalisables tout en restant « léger et rapide à entraîner (vous pouvez vous entraîner sur votre ordinateur portable) » avec « un support multilingue ».

De la recherche à la production : la mise en œuvre de notre accélérateur

Notre accélérateur de classification des intentions transforme les résultats de recherche de N2VEC en solutions prêtes à l'emploi :

Architecture de base

• Moteur de classification alimenté par SetFit qui apprend à partir d'exemples minimaux
• Un pipeline d'apprentissage contrastif qui génère automatiquement des paires d'entraînement
• Réglage fin en plusieurs étapes selon la méthodologie éprouvée de N2VEC
• Reclassement des encodeurs croisés pour une précision maximale

Fonctionnalités d'entreprise

• Rédaction et conformité des PII intégrées à chaque étape de classification
• Contrôles RBAC pour les catégories d'intentions sensibles
• Isolation multi-locataires pour différentes unités commerciales
• API en temps réel avec des cibles de latence p95 inférieures à 100 ms
• Pistes d'audit pour les exigences réglementaires

Intégration de la plateforme TrueFoundry

• Le routage AI Gateway garantit un accès régi aux modèles
• La mise à l'échelle automatique gère les pics de trafic sans dégradation
• La surveillance des coûts permet un suivi transparent de l'utilisation
• Les tableaux de bord d'observabilité suivent les tendances en matière de précision et de performance

Applications du monde réel dans tous les secteurs

Santé et sciences de la vie

Suite au succès de la recherche juridique de N2VEC, notre accélérateur excelle dans les contextes médicaux :

• Acheminement des demandes des patients : triez les demandes urgentes par rapport aux demandes de routine
• Détection des effets indésirables : signalez les signaux de sécurité dans les communications des fournisseurs
• Conformité réglementaire : Classez les soumissions en fonction des exigences réglementaires

Services financiers

• Détection des fraudes : identifiez les modèles de transactions suspects
• Service client : acheminez les demandes complexes relatives aux produits financiers
• Surveillance de la conformité : signalez les communications potentiellement risquées

SaaS et technologie

• Priorisation des tickets d'assistance : Classez la gravité et l'itinéraire de manière appropriée
• Catégorisation des demandes de fonctionnalités : comprendre les besoins et les tendances des utilisateurs
• Surveillance de la sécurité : détectez les comportements anormaux des utilisateurs

L'avantage SetFit : pourquoi Few-Shot fonctionne

Les recherches de N2VEC valident trois avantages clés qui alimentent notre accélérateur :

1. Efficacité des données : transformez 8 exemples par classe en milliers de paires d'entraînement grâce à un apprentissage contrastif
2. Rapidité : formez des modèles prêts à la production en quelques minutes, et non en plusieurs mois
3. Robustesse : support multilingue et adaptation du domaine sans partir de zéro

Comme le montrent leurs résultats, l'approche de SetFit qui consiste à affiner d'abord les transformateurs de phrases, puis à former un responsable de classification, crée des intégrations suffisamment riches pour une classification précise avec un minimum de données.

De la validation de concept à l'échelle de production

N2VEC a prouvé que SetFit fonctionne sur plus de 60 millions de condamnations légales. Notre accélérateur de classification des intentions apporte cette capacité à l'échelle de l'entreprise avec :

• Mise à l'échelle horizontale dans les déploiements mondiaux
• Gestion des versions pour les schémas d'intention évolutifs
• Un cadre de tests A/B pour une amélioration continue
• API d'intégration pour les plateformes CRM, de billetterie et de communication

Pour commencer : votre parcours de 48 heures vers la classification des intentions

Contrairement aux projets de machine learning traditionnels qui nécessitent des mois de collecte de données et de formation de modèles, notre Intent Classifier Accelerator fournit des résultats en quelques jours :

Jour 1 : Définissez les catégories d'intention et fournissez 5 à 10 exemples par classe
Jour 2 : Déploiement dans un environnement de test avec intégration de données en direct
Semaine 1 : Déploiement de la production avec boucles de surveillance et de feedback

La base SetFit signifie que vous vous basez sur des recherches éprouvées, et non sur des techniques expérimentales.

Conclusion : debout sur les épaules des géants

La présentation Haystack EU 2023 de N2VEC prouve que l'apprentissage par étapes n'est pas seulement une théorie académique, mais une technologie prête à la production qui permet de résoudre les véritables défis des entreprises. Leur précision de 86,1 % sur des requêtes de recherche juridique complexes avec un minimum de données de formation confirme l'approche de notre Intent Classifier Accelerator. En combinant les innovations SetFit de N2VEC avec les capacités de la plateforme d'entreprise TrueFoundry, nous proposons des solutions de classification des intentions qui sont rapides à déployer, précises dans la pratique et conformes dès leur conception. L'avenir de l'IA d'entreprise ne dépend pas de l'augmentation des données, mais d'un apprentissage plus intelligent à partir des données dont vous disposez déjà.
Êtes-vous prêt à découvrir la classification des intentions en quelques coups en action ? Lancez notre démo en direct pour voir la classification basée sur SETfit avec vos propres exemples de texte, ou contactez notre équipe pour discuter de votre cas d'utilisation spécifique.

Références :

• Présentation N2VEC Haystack EU 2023 : « Une approche pratique pour l'apprentissage rapide avec SetFit pour améliorer la recherche et le classement par pertinence sur une grande base de données de texte »
• Fernando Vieira da Silva, PDG de N2VEC, docteur en intelligence artificielle (NLP)