Mejora de la atención al cliente con asistencia de inteligencia artificial en tiempo real con Cognita

Diseñado para la velocidad: ~ 10 ms de latencia, incluso bajo carga
¡Una forma increíblemente rápida de crear, rastrear e implementar sus modelos!
- Gestiona más de 350 RPS en solo 1 vCPU, sin necesidad de ajustes
- Listo para la producción con soporte empresarial completo
Acerca de Cognita
Cognita es un marco RAG versátil de código abierto diseñado para permitir a los líderes en ciencia de datos, aprendizaje automático e ingeniería de plataformas crear e implementar aplicaciones RAG escalables. Cuenta con una arquitectura totalmente modular, fácil de usar y adaptable, que garantiza una seguridad y un cumplimiento completos. También incluye una interfaz de usuario que facilita la prueba de diferentes configuraciones de RAG y la visualización de los resultados en tiempo real.
Introducción al caso de uso
En una era en la que la experiencia del cliente define el éxito empresarial, la capacidad de brindar un soporte inmediato y preciso es crucial. El marco Cognita de TrueFoundry permite el desarrollo de sofisticadas aplicaciones de inteligencia artificial en tiempo real diseñadas para la atención al cliente. Al aprovechar la naturaleza modular y de código abierto de Cognita, las empresas pueden mejorar sus sistemas de soporte para ofrecer un servicio al cliente superior.
¿Cuál es el problema que intentamos resolver?
Los sistemas actuales de atención al cliente tienen problemas importantes para cumplir con las altas expectativas de los clientes de obtener respuestas rápidas y precisas. Los enfoques de soporte convencionales no gestionan grandes cantidades de solicitudes, no garantizan la coherencia de las respuestas ni proporcionan una disponibilidad ininterrumpida. Estas dificultades provocan mayores gastos operativos, una menor satisfacción de los clientes e ineficiencias, lo que puede impedir el crecimiento empresarial.
Atención al cliente manual o automatizada
En un sistema de atención al cliente manual tradicional, los agentes humanos son responsables de abordar cada consulta de los clientes de forma individual. Este proceso, que requiere mucha mano de obra, implica que los agentes naveguen por amplias bases de conocimiento, documentación y registros de consultas anteriores para encontrar información precisa y relevante. La variabilidad del rendimiento humano puede provocar incoherencias en las respuestas, ya que la calidad del apoyo depende en gran medida de los conocimientos y la experiencia del agente. Además, mantener un sistema de soporte ininterrumpido requiere una fuerza laboral significativa, lo que requiere rotaciones de turnos y conlleva un aumento de los costos operativos. Durante las horas de mayor volumen de consultas, el enfoque manual suele generar retrasos, tiempos de respuesta prolongados e insatisfacción de los clientes.
Esta canalización automatizada no solo reduce significativamente los tiempos de respuesta, sino que también garantiza que cada interacción con el cliente se gestione con precisión y confiabilidad consistentes. La escalabilidad de Cognita permite que el sistema gestione un gran número de solicitudes a la vez, lo que lo convierte en una opción práctica para las empresas que se enfrentan a un crecimiento o a cambios en las demandas de soporte. Además, esta automatización libera a los agentes humanos de las cuestiones rutinarias, lo que les permite concentrarse en cuestiones más complicadas, lo que aumenta la eficiencia y la eficacia generales de la operación de soporte.
Solución
La transición a un sistema automatizado impulsado por el marco Cognita de TrueFoundry permite la integración de componentes avanzados de IA para automatizar la gestión de las consultas de los clientes. Concretamente, el uso de cargadores de datos y analizadores garantiza que un conjunto de datos completo y estructurado esté fácilmente disponible para que el sistema aprenda de él. Mediante la implementación incrustadores, los datos textuales se convierten en vectores de alta dimensión, lo que facilita búsquedas de similitud eficientes y precisas. El bases de datos vectoriales permiten la recuperación rápida de esta información integrada, lo que garantiza un rendimiento en tiempo real. Cuando se recibe una consulta, el controlador de consultas orquesta el proceso, utilizando reescalonadores para evaluar y priorizar las respuestas más relevantes.
La implementación de Cognita para el servicio de atención al cliente puede abordar estos desafíos de la siguiente manera:
- Gestión automatizada de consultas: Utilizar las bases de datos vectoriales e incrustadas de Cognita para recuperar rápidamente la información relevante y ofrecer respuestas precisas a las consultas de los clientes.
- Asistencia en tiempo real: Aprovechar los módulos de reclasificación y controlador de consultas para garantizar que se proporcione la información más relevante y concisa, mejorando la experiencia del cliente.
- Escalabilidad: El diseño modular de Cognita permite escalar fácilmente el sistema para gestionar volúmenes cada vez mayores de consultas sin comprometer el rendimiento.
Despliegue de Cognita con TrueFoundry
Puede usar Cognita localmente o con/sin usar ningún componente de Truefoundry. Sin embargo, el uso de los componentes de Truefoundry facilita la prueba de diferentes modelos y la implementación del sistema de forma escalable. Cognita le permite alojar varios sistemas RAG con una sola aplicación. Por lo tanto, utilizaremos los componentes de TrueFoundry para crear inicialmente un bot de soporte a pequeña escala solo para el MacBook Pro y, a continuación, añadiremos algunos productos más y soporte para diferentes idiomas para ampliarlo.
Una vez que haya configurado un clúster, agregado una integración de almacenamiento y creado un repositorio de aprendizaje automático y un espacio de trabajo, estará listo para comenzar a implementar una aplicación RAG basada en Cognita mediante TrueFoundry. Puede encontrar más información sobre esta configuración única aquí. Una vez hecho:
- Navegue hasta el Despliegues pestaña.
- Haga clic en el
+ Nueva implementaciónbotón en la esquina superior derecha y seleccioneCatálogo de aplicaciones. Seleccione su espacio de trabajo y la aplicación RAG. - Rellene la plantilla de despliegue
- Asigne un nombre a su implementación
- Agregar ML Repo
- Puede añadir una base de datos Qdrant existente o crear una nueva.
De forma predeterminada, el liberar la rama se usa para el despliegue (encontrará esta opción en Mostrar campos avanzados). Puedes cambiar el nombre de la sucursal y el repositorio de git si es necesario.
Asegúrese de volver a seleccionar la rama principal, ya que la confirmación de SHA no se actualiza automáticamente.
- Haga clic en
Enviar, y se desplegará la aplicación.
Pasos de implementación

En general, la arquitectura de Cognita está compuesta por varias entidades. Profundizaremos en cada una de ellas a través de los pasos de implementación que se indican a continuación.
- Carga de datos: Los cargadores de datos de Cognita se utilizan para importar documentos de atención al cliente y datos históricos de consultas de diversas fuentes, como directorios locales o almacenamiento en la nube. Esto se puede hacer añadiendo una nueva fuente de datos desde el RAG Endpoint que se proporcionó tras la implementación, tal y como se muestra a continuación. Aquí se pueden agregar varias fuentes de datos según los requisitos para mejorar el rendimiento del modelo. Empezaremos añadiendo inicialmente solo una guía de MacBook y, más adelante, añadiremos otros datos. Se puede encontrar el enlace a todos los documentos cargados aquí.

- Análisis e incrustación: Analice los documentos en un formato uniforme y cree incrustaciones utilizando modelos previamente entrenados para facilitar la recuperación rápida de la información relevante. Para analizar e incrustar se puede utilizar una nueva colección de documentos de una fuente de datos agregada en el paso anterior. Estamos intentando resolver un caso de uso multimodal, en el que tomamos un PDF, lo convertimos en una imagen y lo dividimos en páginas, y cada página se convierte en imágenes. A continuación, se realiza un análisis específico mediante instrucciones, en las que se recopilan los datos y se almacenan en la base de datos VectorDB. Cuando se hace una pregunta, se busca en toda la información almacenada; se recupera la página, que luego se envía al modelo de visión para responder a la pregunta. Una vez que Proceso se hace clic en el botón, se crea la colección, se crea un nuevo pod, comienza el trabajo de indexación y los datos se introducen en los diferentes qrants. Nota: Este proceso puede tardar unos minutos.

- Gestión de consultas: Implemente el controlador de consultas para procesar las consultas entrantes, analizar las posibles respuestas y proporcionar las respuestas más precisas en tiempo real. Por ejemplo, podemos usar el trapo básico para analizar texto de forma sencilla. Sin embargo, cuando se trata de documentos PDF, un trapo multimodal será una mejor opción, ya que utiliza el modelo de visión, actualmente GPT-4, para responder preguntas en PDF, que se analizan mediante el analizador multimodal. Como estamos usando un analizador multimodal, el trapo multimodal conduce a mejores resultados.

- Mejora continua: Actualice continuamente los modelos de integración y reclasificación en función de los nuevos datos y las interacciones con los clientes para mejorar la precisión y la eficiencia del sistema. Se pueden usar diferentes recuperadores en el menú desplegable, como se muestra a continuación. Además, se pueden agregar nuevos documentos a la fuente de datos y se puede volver a ejecutar el trabajo de indexación para mejorar el modelo. Por ejemplo, para consultas de usuario más complejas, consulta múltiple + cambio de clasificación + similitud se puede utilizar el modelo, que requiere k en search_kwargs por búsqueda de similitud, y el tipo_búsqueda puede ser similitud o MMR o umbral de puntuación_similitud. Esto funciona dividiendo las consultas complejas en consultas más sencillas, encontrando los documentos relevantes para cada una de ellas, cambiándolas de clasificación y enviándolas a LLM. Luego, los resultados se acumulan y se proporcionan. Podemos jugar con la plantilla de mensajes que se encuentra debajo de la opción Retriever para obtener respuestas más ricas.

Supongamos que desea escalar la aplicación RAG. En ese caso, podemos hacerlo añadiendo diferentes fuentes de datos para que pueda atender las distintas consultas de los clientes y ofrecer una solución integral. Añadimos otros documentos, incluidos los documentos de soporte para diferentes MacBooks, iPads, iPhones, AirPods y watchOS, añadiendo una nueva fuente de datos y vinculándola a la colección. El RAG ahora actúa como un agente integral de atención al cliente basado en inteligencia artificial para una amplia gama de productos de Apple. Algunos documentos también están en diferentes idiomas para ampliarlos aún más añadiendo soporte multilingüe.
Ejemplo de implementación
Ahora probaremos el modelo mediante una consulta compleja, y los resultados se muestran a continuación.

En una prueba del marco Cognita, el modelo respondió correctamente a la pregunta: «¿Qué hay de nuevo en iPadOS 17 e iOS 17 en inglés? Habla en francés sobre las baterías de los AirPods Pro de segunda generación», lo que demuestra su capacidad para responder a preguntas complejas y multilingües. El modelo utilizaba la configuración multimodal-rag para procesar y sintetizar la información de varios documentos, y ofrecía una lista detallada de las nuevas funciones del iPadOS 17 y iOS 17, como la mejora de las funciones de FaceTime y la app Salud. Además, ofrecía información precisa sobre las baterías de segunda generación de los AirPods Pro en francés, sobre la seguridad, la duración de las baterías y los procedimientos de sustitución. Esta prueba pone de manifiesto la capacidad de Cognita para integrar modelos avanzados de PNL y visión, lo que garantiza respuestas precisas y relevantes desde el punto de vista del contexto en varios idiomas, lo que mejora las operaciones de atención al cliente al recuperar información de alta calidad en tiempo real.
Prestaciones
- Latencia reducida y rendimiento mejorado: Al aprovechar las técnicas de incrustación avanzadas y las bases de datos vectoriales eficientes, Cognita garantiza un procesamiento rápido de las consultas y reduce los tiempos de respuesta a milisegundos. Esto es fundamental para mantener la satisfacción del cliente en entornos de alta presión.
- Aprendizaje adaptativo y mejora continua: La integración de los circuitos de retroalimentación y la actualización continua de las incorporaciones de los modelos en función de las interacciones en tiempo real permiten que el sistema aprenda y mejore, lo que reduce las tasas de error y mejora la precisión de las respuestas a lo largo del tiempo.
- Optimización de recursos y rentabilidad: La automatización de la gestión de las consultas reduce significativamente la necesidad de contar con un amplio personal de apoyo humano, lo que se traduce en importantes ahorros de costos. Además, permite a los agentes humanos centrarse en tareas más complejas y de mayor valor, lo que mejora la calidad general del soporte.
- Escalabilidad y flexibilidad: La arquitectura modular de Cognita garantiza que el sistema pueda escalar rápidamente de forma horizontal para adaptarse a los crecientes volúmenes de consultas sin comprometer el rendimiento. Esta versatilidad es fundamental para las empresas que necesitan asistencia con un rápido desarrollo o con un aumento estacional de sus necesidades de asistencia.
- Mejora de la retención y la lealtad de los clientes: Al proporcionar respuestas coherentes, precisas y oportunas, Cognita mejora la experiencia del cliente, lo que se traduce en tasas de satisfacción más altas, una mayor lealtad y una reducción de la pérdida de clientes. Esto se traduce directamente en una mejora del valor para el cliente a lo largo de su vida útil y de los ingresos empresariales.
Mejoras adicionales por parte de las empresas
- Personalización avanzada y creación de perfiles de usuario:
Al integrar los perfiles de usuario y los algoritmos de personalización avanzados, las empresas pueden adaptar las respuestas en función de las preferencias individuales de los usuarios y las interacciones pasadas. Esto se puede lograr analizando los datos históricos e incorporando el contexto específico del usuario en las consultas, lo que mejora la relevancia y la personalización de las respuestas. - Soporte multilingüe:
La incorporación de capacidades multilingües permite a las empresas brindar soporte en varios idiomas. Esto se puede implementar integrando los módulos de traducción y detección de idiomas en Cognita, lo que permite ofrecer un soporte perfecto a una base de clientes global sin necesidad de recursos humanos adicionales. - Análisis de sentimientos e inteligencia emocional:
Las empresas que integran módulos de análisis de sentimientos e inteligencia emocional pueden evaluar los sentimientos de los clientes y adaptar las respuestas en consecuencia. Esto implica un análisis en tiempo real del tono y la actitud de los clientes, lo que permite a la IA dar respuestas empáticas y adecuadas, aumentando así la satisfacción general del cliente. - Soporte proactivo y análisis predictivo:
El análisis predictivo permite a las empresas anticipar los requisitos y desafíos de los clientes antes de que ocurran. Además, al evaluar los patrones de uso y los datos históricos, Cognita puede iniciar intervenciones de soporte proactivas, como ofrecer soluciones a los problemas que surgen con frecuencia o informar a los clientes sobre posibles problemas, mejorando así la experiencia del cliente y reduciendo las solicitudes entrantes. - Integración con sistemas CRM:
La integración perfecta con los sistemas CRM puede proporcionar una visión holística de las interacciones con los clientes. Al extraer los datos de las plataformas de CRM, Cognita puede ofrecer respuestas más informadas y conscientes del contexto, garantizando que las interacciones con los clientes sean coherentes y personalizadas en todos los puntos de contacto. - Seguridad y privacidad mejoradas:
La implementación de medidas de seguridad avanzadas garantiza que los datos de los clientes se manejen de forma segura. Las empresas pueden integrar Cognita con soluciones seguras de almacenamiento de datos y utilizar protocolos de cifrado para proteger la información confidencial, garantizar el cumplimiento de las normas de protección de datos y mantener la confianza de los clientes. - Actualizaciones de contenido dinámico y base de conocimientos:
La automatización del proceso de actualización de las bases de conocimiento garantiza que el sistema siempre tenga acceso a la información más actualizada. Al configurar canales automatizados para incorporar y procesar contenido nuevo, Cognita puede aprender continuamente de los datos más recientes y mantener el sistema de soporte actualizado con la información y las tendencias más recientes.
Conclusión
La arquitectura modular y las capacidades avanzadas de IA de Cognita proporcionan una solución sólida para mejorar la atención al cliente. Gestiona eficazmente consultas complejas, procesa diversos tipos de datos y ofrece respuestas precisas y en tiempo real. Al integrar funciones como el soporte multilingüe y el análisis predictivo, Cognita mejora significativamente la satisfacción del cliente y la eficiencia operativa, lo que la convierte en una herramienta inestimable para los sistemas de soporte modernos.
TrueFoundry AI Gateway ofrece una latencia de entre 3 y 4 ms, gestiona más de 350 RPS en una vCPU, se escala horizontalmente con facilidad y está listo para la producción, mientras que LitellM presenta una latencia alta, tiene dificultades para superar un RPS moderado, carece de escalado integrado y es ideal para cargas de trabajo ligeras o de prototipos.
La forma más rápida de crear, gobernar y escalar su IA



















.png)


.webp)




.webp)







