Próximo seminario web: Seguridad empresarial para Claude Code | 21 de abril · 11:00 a. m. PST. Regístrese aquí →

Estudio de caso

Resumen

Aviva Credito es una entidad crediticia con sede en México que se centra en ampliar el acceso al crédito. Para llegar a los clientes a los que los bancos tradicionales y las empresas de tecnología financiera que operan exclusivamente en línea luchan por atender, Aviva cuenta con pequeños quioscos físicos respaldados por una experiencia de incorporación automatizada que da prioridad a las tabletas, lo que genera confianza y reduce el riesgo de fraude.

A medida que las iniciativas de IA de Aviva pasaron de ser modelos de visión artificial a chatbots de nivel de producción y flujos de trabajo de verificación de documentos, el equipo se enfrentó a dos desafíos recurrentes: (1) implementar y operar servicios de LLM sin requerir una profunda experiencia en Kubernetes y (2) administrar varios proveedores de LLM con una observabilidad, control de costos y agilidad consistentes.

Al utilizar Deployment and AI Gateway de TrueFoundry, Aviva permitió a todos los ingenieros de ML/AI enviar servicios de producción de forma independiente, Observability a todos los proveedores de modelos de Azure y GCP, y creó una base escalable para la seguridad y los flujos de trabajo de las agencias.

La misión de Credito

La misión de Aviva es aumentar el acceso al crédito para las comunidades desatendidas de México. El modelo de Aviva combina una presencia física, pequeños quioscos con un solo empleado y, al mismo tiempo, mantiene todo el proceso automatizado mediante tabletas para ofrecer lo mejor de ambos mundos: alta confianza y menor fraude, con la velocidad de la automatización.

De las conversaciones con los clientes a la verificación de documentos

El equipo de IA de Aviva crea y opera sistemas de producción en:
  • Chatbots: Varios asistentes de producción respaldados por modelos públicos y autohospedados, que evolucionan hacia una orquestación basada en equipos (y patrones estándar de agente a agente a lo largo del tiempo).
  • IA del documento: Análisis OCR + LLM de documentos visuales, además de flujos de validación para comprobantes de domicilio, comprobantes de identificación, comprobantes de cuentas bancarias y comprobaciones de ubicación.
  • Inteligencia de interacción: Extraer señales estructuradas de guiones de entrevistas, mensajes de comentarios y conversaciones de voz transcritas.

El primer punto de inflexión importante de Aviva surgió de una necesidad práctica: implementar un modelo de LLM para reconocer las tarjetas de identidad del INE de México. El equipo de aprendizaje automático podía afinar y construir el modelo, pero enviarlo de manera confiable requería una ruta operativa que aún no tenían. Los primeros intentos iban desde despliegues manuales basados en máquinas virtuales (lentos y propensos a errores) hasta servicios gestionados que, o bien carecían de compatibilidad con GPU o no se entregaban con rapidez.


La experiencia de implementación de TrueFoundry cambió esa situación: los registros limpios y los sidecars de observabilidad revelaron la causa principal de un contenedor defectuoso, lo que permitió al equipo corregir la imagen e implementarla correctamente en menos de una hora.

Plataformización de la IA para la velocidad, la confiabilidad y la gobernanza

Cuando llegaron los primeros despliegues, Aviva adoptó una mentalidad de plataforma: hacer que todos los servicios de IA fueran repetibles de implementar, fáciles de supervisar y fáciles de transferir entre ingenieros. TrueFoundry se convirtió en la capa operativa que eliminaba los problemas de infraestructura y, al mismo tiempo, aplicaba las mejores prácticas.

1. Desde las implementaciones manuales hasta la producción de autoservicio

  • Implementaciones de autoservicio para ingenieros de inteligencia artificial y aprendizaje automático: los ingenieros pueden implementar y actualizar los servicios directamente, sin depender de especialistas en plataformas.
  • Incorporación rápida: se espera que los nuevos ingenieros publiquen una actualización o implementen un modelo en su primera semana, preservando un estrecho ciclo de retroalimentación entre el código y el comportamiento de producción.
  • Rieles de seguridad operativa: las advertencias y recomendaciones de la plataforma (por ejemplo, la resiliencia de las zonas de disponibilidad y el tamaño de los recursos) guían a los equipos hacia las mejores prácticas de Kubernetes.

2. The AI Gateway: una interfaz para todos los proveedores de modelos

A medida que Aviva adoptó varios modelos básicos en Azure y Google Cloud (eligiendo modelos en función de la calidad a nivel de tarea), la complejidad operativa creció rápidamente: la expansión de los secretos, las integraciones de SDK inconsistentes y la observabilidad fragmentada. La puerta de enlace de IA de TrueFoundry proporcionaba un plano de control unificado.
  • Independencia del proveedor: las aplicaciones utilizan una interfaz de puerta de enlace coherente, mientras que Aviva puede cambiar de proveedor, modelo y versión sin tener que volver a escribir el código de integración.
  • Observabilidad centralizada: un único lugar para monitorear el volumen de solicitudes, la latencia, los modos de falla y los costos en todos los entornos.
  • Control de costos y uso: los picos de uso se pueden rastrear hasta el servicio de origen a través de los registros de puerta de enlace, lo que permite una rápida remediación.

3. Resiliencia y experiencia de desarrollador: servidores Fallbacks + MCP

Dos realidades cotidianas dieron forma a la adopción de Gateway por parte de Aviva: la variabilidad de la latencia entre los proveedores y la ergonomía de las herramientas para los desarrolladores.
  • Alternativos conscientes de la latencia: cuando la latencia p99 aumentó en un proveedor principal, Aviva introdujo un modelo alternativo automático para mantener estables las experiencias de cara al cliente.
  • Conexiones MCP persistentes: Al alojar el servidor MCP de Atlassian en TrueFoundry, Aviva evitó las reiteradas reconexiones en Cursor y facilitó el uso diario de las herramientas de conocimiento.
  • Hoja de ruta proactiva: Aviva planea ampliar las barandillas y los controles de seguridad a medida que los flujos de trabajo de las agencias se vuelvan más centrales.

Impacto

Al centralizar todo el tráfico de LLM a través de AI Gateway de TrueFoundry, Aviva obtuvo visibilidad y control de extremo a extremo en una pila de IA multinube de rápido crecimiento. Durante un período de 90 días, el equipo gestionó casi medio millón de solicitudes de producción y más de 1,8 mil millones de tokens de entrada con un coste predecible, una fiabilidad mensurable y una velocidad de ingeniería significativamente mejorada. El Gateway permitió detectar rápidamente las anomalías en los costos y la latencia, así como el enrutamiento y la conmutación por error a nivel de modelo sin necesidad de realizar cambios en las aplicaciones, así como una abstracción compartida que permitió a los ingenieros implementar, actualizar y operar los servicios impulsados por la LLM de forma independiente.

Resultados clave en 90 días

  • Más de 10 millones de solicitudes de LLM de producción dirigidas a través de un único plano de control
  • Más de 5000 millones de tokens de entrada y más de 210 millones de tokens de salida rastreados de forma centralizada en Azure y GCP
  • Tasa efectiva de fallos inferior al 1%, con un desglose detallado por tipo de error y proveedor
  • Los problemas de latencia del P99 se detectan y mitigan en minutos mediante un modelo alternativo automatizado
  • Más de 7 servicios de producción actualizados en menos de 20 minutos, sin dependencias de infraestructura
  • Incorporación más rápida: los ingenieros utilizan los LLM de forma inmediata a través de una abstracción de pasarela compartida

Cotizaciones de clientes

La puerta de enlace de IA de TrueFoundry nos brindó un lugar único para administrar la forma en que usamos las LLM en Azure y GCP. Podemos detectar rápidamente los problemas de coste y latencia, rastrearlos hasta servicios específicos y cambiar de modelo sin tocar el código de la aplicación.

Matt, Aviva

Es una abstracción poderosa. Ahorra tiempo para todos y reduce significativamente la barrera del conocimiento para empezar a usar los LLM en producción

Enrique, Aviva

GenAI infra: simple, más rápido y más barato

Con la confianza de más de 10 empresas de la lista Fortune 500

Pruébalo ahora
Hable con expertos