Serie TrueFoundry Accelerator: Creación de una clasificación de intenciones de nivel empresarial con SetFit

El desafío de la clasificación de intenciones en los entornos empresariales ha frustrado durante mucho tiempo a las organizaciones que buscan canalizar las consultas de los clientes, priorizar los tickets de soporte y hacer cumplir las políticas de seguridad a gran escala. Los enfoques tradicionales requieren enormes conjuntos de datos etiquetados y meses de ciclos de capacitación. Pero, ¿y si pudiéramos lograr una precisión de última generación con solo unos pocos ejemplos por clase de intención?

Ingrese a nuestro Intent Classifier Accelerator, impulsado por la investigación de vanguardia del innovador trabajo de N2VEC presentado en Haystack EU 2023. Sus resultados demuestran que el aprendizaje con pocos intentos puede revolucionar la forma en que las empresas abordan los desafíos de la clasificación de textos.

El gran avance de SetFit: pocos ejemplos, máximo impacto

El equipo de investigación de N2VEC, dirigido por el director ejecutivo Fernando Vieira da Silva, abordó uno de los escenarios de clasificación más exigentes: la investigación legal con más de 60 millones de sentencias en 138 clases diferentes. Su desafío es similar al que se enfrentan las empresas a diario: demasiadas categorías sin suficientes ejemplos etiquetados para cada una.

El problema tradicional:

• 9.000 ejemplos etiquetados repartidos en 138 clases
• Datos insuficientes por clase para una formación eficaz
• Se necesitan semanas o meses para recopilar datos de entrenamiento adecuados

La solución SetFit:
El enfoque de N2VEC con SetFit (Sentence Transformer Fine-Tuning) transformó este desafío en una oportunidad. SetFit genera pares de oraciones a través del aprendizaje contrastivo, creando pares positivos (la misma clase) y pares negativos (clases diferentes). Esta técnica de aumento de datos amplía drásticamente los datos de entrenamiento a partir de ejemplos mínimos.

Como señaló el equipo de Fernando en su presentación: «SetFit for Classification problems» demuestra que se pueden lograr «resultados competitivos en comparación con GPT y otros» sin dejar de ser «ligero y rápido de entrenar (puedes entrenar en tu portátil)» con «soporte multilingüe».

De la investigación a la producción: la implementación de nuestro acelerador

Nuestro acelerador Intent Classifier transforma los conocimientos de investigación de N2VEC en soluciones listas para la empresa:

Arquitectura principal

• Motor de clasificación impulsado por SetFit que aprende de ejemplos mínimos
• Canal de aprendizaje contrastivo que genera automáticamente pares de entrenamiento
• Ajuste fino en varias etapas siguiendo la metodología comprobada de N2VEC
• Reclasificación del codificador cruzado para una máxima precisión

Características empresariales

• La redacción y el cumplimiento de la PII integrados en cada paso de clasificación
• Controles de RBAC para categorías de intenciones delicadas
• Aislamiento de múltiples inquilinos para diferentes unidades de negocio
• API en tiempo real con objetivos de latencia p95 inferiores a 100 ms
• Registros de auditoría de los requisitos reglamentarios

Integración de la plataforma TrueFoundry

• El enrutamiento de AI Gateway garantiza el acceso al modelo gobernado
• El escalado automático gestiona los picos de tráfico sin degradación
• El monitoreo de costos proporciona un seguimiento transparente del uso
• Los paneles de observabilidad rastrean las tendencias de precisión y rendimiento

Aplicaciones del mundo real en todos los sectores

Salud y ciencias biológicas

Tras el éxito de la investigación legal de N2VEC, nuestra aceleradora sobresale en contextos médicos:

• Ruta de consultas de pacientes: clasifique las solicitudes urgentes frente a las rutinarias
• Detección de eventos adversos: señale las señales de seguridad en las comunicaciones con los proveedores
• Cumplimiento normativo: clasifique las presentaciones según los requisitos reglamentarios

Servicios financieros

• Detección de fraude: identifique patrones de transacciones sospechosas
• Servicio de atención al cliente: dirija consultas complejas sobre productos financieros
• Supervisión del cumplimiento: señale las comunicaciones potencialmente riesgosas

SaaS y tecnología

• Priorización de los tickets de soporte: clasifique la gravedad y la ruta de forma adecuada
• Categorización de solicitudes de funciones: comprenda las necesidades y tendencias de los usuarios
• Supervisión de seguridad: detecte patrones de comportamiento anómalos de los usuarios

La ventaja de SetFit: por qué funciona Few-Shot

La investigación de N2VEC valida tres ventajas clave que impulsan nuestro acelerador:

1. Eficiencia de datos: transforme 8 ejemplos por clase en miles de pares de entrenamiento mediante el aprendizaje contrastivo
2. Velocidad: entrene modelos listos para la producción en minutos, no en meses
3. Robustez: soporte multilingüe y adaptación de dominios sin empezar de cero

Como muestran sus resultados, el enfoque de SetFit de ajustar primero los transformadores de frases y luego entrenar a un jefe de clasificación crea incrustaciones lo suficientemente ricas como para una clasificación precisa con un mínimo de datos.

De la prueba de concepto a la escala de producción

N2VEC demostró que SetFit funciona en más de 60 millones de sentencias legales. Nuestro Intent Classifier Accelerator lleva esta capacidad a escala empresarial con:

• Escalado horizontal en despliegues globales
• Administración de versiones para esquemas de intención en evolución
• Marco de pruebas A/B para la mejora continua
• API de integración para plataformas de CRM, venta de entradas y comunicación

Cómo empezar: su camino de 48 horas hacia la clasificación de intenciones

A diferencia de los proyectos tradicionales de aprendizaje automático que requieren meses de recopilación de datos y entrenamiento de modelos, nuestro Intent Classifier Accelerator ofrece resultados en días:

Día 1: Defina las categorías de intención y proporcione de 5 a 10 ejemplos por clase
Día 2: Despliegue en un entorno de ensayo con integración de datos en tiempo real
Semana 1: Despliegue de producción con circuitos de supervisión y retroalimentación

La base SetFit significa que te basas en investigaciones comprobadas, no en técnicas experimentales.

Conclusión: pararse sobre los hombros de los gigantes

La presentación de N2VEC sobre Haystack EU 2023 demuestra que el aprendizaje con pocos disparos no es solo teoría académica, sino que es una tecnología lista para la producción que resuelve desafíos empresariales reales. Su precisión del 86,1% en consultas de investigación jurídica complejas con un mínimo de datos de formación valida el enfoque de nuestro Intent Classifier Accelerator. Al combinar las innovaciones SetFit de N2VEC con las capacidades de plataforma empresarial de TrueFoundry, ofrecemos soluciones de clasificación de intenciones que se implementan rápidamente, son precisas en la práctica y cumplen con las normas desde el diseño. El futuro de la IA empresarial no se basa en obtener más datos, sino en aprender de manera más inteligente a partir de los datos que ya se tienen.
¿Estás listo para experimentar la clasificación de intenciones con pocos disparos en acción? ¡Lanza nuestro demostración en vivo para ver la clasificación basada en SetFit con tus propios ejemplos de texto, o ponte en contacto con nuestro equipo para analizar tu caso de uso específico.

Referencias:

• Presentación de N2VEC Haystack EU 2023: «Un enfoque práctico para aprender con pocos disparos con SetFit para ampliar la clasificación de búsqueda y relevancia en una base de datos de texto grande»
• Fernando Vieira da Silva, director ejecutivo de N2VEC, doctor en Inteligencia Artificial (PNL)