Arquitectura de registro de TrueFoundry para AI Gateway

‍Introducción: El costo oculto de la analítica

Todos los portales de IA del mercado ofrecen registros y análisis. A primera vista, parecen una característica estándar. Sin embargo, las decisiones arquitectónicas que se toman entre bastidores tienen enormes consecuencias ocultas para la confiabilidad, la seguridad y los resultados finales. El cómo es un detalle fundamental que separa una plataforma verdaderamente empresarial de una propuesta arriesgada.

Cuando nos propusimos ofrecer a nuestros clientes análisis rápidos y escalables, nos enfrentamos exactamente a este desafío. El objetivo estaba claro: ofrecer información poderosa a través de nuestra capa de enlace de inteligencia artificial sin crear una pesadilla operativa para los equipos de plataformas de nuestros clientes.

Desde el principio nos dimos cuenta de que, para crear una solución digna de nuestros clientes empresariales, teníamos que innovar más allá del enfoque estándar del sector. En este artículo se detalla nuestra transición desde la potente pero problemática ClickHouse hasta una arquitectura nativa de S3 que no requiere mantenimiento, un sistema que ofrece a nuestros clientes una ventaja competitiva potente y duradera.

El problema: por qué el envío de ClickHouse es un negocio arriesgado

Nuestra elección inicial, como muchas otras en la industria, fue ClickHouse. Es una pieza fenomenal de tecnología de código abierto, reconocida por su increíble velocidad en las consultas analíticas. Sin embargo, su potencia tiene un coste operativo elevado.

El problema central es el siguiente: administrar una base de datos estable y de misión crítica como ClickHouse dentro del entorno de nube de un cliente es un campo minado desde el punto de vista operativo. Para hacerlo bien, debes manejar:

• Alta disponibilidad (HA): ¿Qué pasa si ClickHouse deja de funcionar? ¿Tiene un plan de conmutación por error sin problemas?
• Recuperación ante desastres (DR): ¿Realiza copias de seguridad verificadas de forma regular? ¿Cuál es el objetivo de tiempo de recuperación (RTO) si algo sale catastróficamente mal?
• Mantenimiento: ¿Quién es responsable de las actualizaciones de las versiones, los parches de seguridad y el ajuste del rendimiento?

Esto no es solo teórico. Un simple error kubectl elimina pvp el comando podría borrar accidentalmente el volumen persistente de un cliente, borrando para siempre todos sus registros históricos y datos de métricas. Para cualquier empresa, este nivel de riesgo es simplemente inaceptable. De hecho, nos estábamos convirtiendo en un proveedor gestionado de ClickHouse, lo que nos distraía de nuestra misión principal.

Analizamos el panorama de los competidores

Investigamos y descubrimos que la mayoría de las plataformas en el espacio de LLM Gateway se han conformado con uno de los tres compromisos defectuosos.

1. El enfoque de la «caja negra»: Resuelven el problema de administración ejecutando una base de datos de Clickhouse en sus propio servicio en la nube.
   El compromiso: Los clientes pierden soberanía de datos. Para usar la plataforma, está obligado a enviar sus datos de registro y métricas, que pueden contener información de identificación personal (PII) o información empresarial exclusiva, fuera de su entorno de nube seguro. Al hablar con los clientes empresariales, nos dimos cuenta de que era de suma importancia que sus datos estuvieran seguros y permanecieran en la nube o en un entorno aislado, y no dentro del plano de control de AI Gateway.

2. El enfoque «hágalo usted mismo»: Algunas plataformas proporcionan un gráfico o una plantilla de Helm y hacen que el cliente sea el único responsable de ejecutar su propia instancia de ClickHouse.
   El compromiso: Toda la compleja carga operativa recae directamente en el ya ocupado equipo de plataforma del cliente. Tienen que determinar por sí mismos la alta disponibilidad, las copias de seguridad y el mantenimiento.

3. El enfoque de «escala limitada»: Esto implica usar una base de datos transaccional estándar (como Postgres) que no pueda escalarse para cargas de trabajo analíticas importantes, o confiar en una red desordenada de exportadores externos.
   El compromiso: Esto conduce a un rendimiento crónicamente deficiente, a una experiencia de usuario fragmentada y a la incapacidad de proporcionar información profunda e integrada.

Rechazamos las tres. Tenía que haber una forma de ofrecer rendimiento, seguridad, y carga operativa cero. Así que lo construimos.

Nuestra arquitectura

Nuestro principio rector era simple pero poderoso: desacoplar el almacenamiento y la computación. Los datos deben permanecer de forma segura y duradera en el propio almacenamiento de objetos del cliente (como S3), mientras que un motor escalable y sin estado gestiona las consultas.

La capa de almacenamiento: su S3 + Delta Lake

Eliminamos por completo el servidor de bases de datos y convertimos el depósito S3 del cliente en la fuente de la verdad.

• ¿Por qué S3? Resuelve al instante los problemas de HA, DR y backup. AWS, GCP y Azure han invertido miles de millones para hacer que sus servicios de almacenamiento de objetos sean increíblemente duraderos y estén disponibles. Sus datos se protegen automáticamente en su propio entorno.
• ¿Por qué Delta Lake? Esta es nuestra salsa secreta de ingeniería. S3 es solo un almacén de valores clave; no entiende intrínsecamente las transacciones de las bases de datos. Aquí es donde entra Delta Lake. Es un marco de almacenamiento de código abierto que lleva las transacciones ACID (la atomicidad y la coherencia de una base de datos tradicional) a su lago de datos S3. Es la «magia» que permite a Ingestor escribir datos simultáneamente sin que se dañen.
• ¿Por qué el formato Parquet? Todos los datos se almacenan en el formato Apache Parquet, un formato de almacenamiento en columnas altamente eficiente que es el estándar de la industria para el análisis. Esto garantiza que posea realmente sus datos y pueda acceder a ellos con cualquier herramienta que desees, ya sea Spark, DuckDB o la biblioteca Polars. Esto elimina por completo la dependencia de un proveedor.

El motor de consultas: DataFusion de Apache

Nosotros utilizamos Fusión de datos, un motor de consultas del proyecto Apache. Es un motor moderno y sin estado que lee los archivos de Parquet directamente desde S3. Para superar la latencia de red inherente a S3, creamos una sofisticada capa de almacenamiento en caché de varios niveles (en memoria y en disco) que mantiene los datos importantes listos para ser consultados, ofreciendo una experiencia de interfaz de usuario rápida y con capacidad de respuesta.

Cuáles son las ventajas

Nuestra arquitectura se traduce en un valor claro y convincente que afecta directamente a su negocio.

• Sin gastos operativos: Nunca tendrá que pensar en administrar, aplicar parches, escalar o hacer copias de seguridad de una base de datos para sus registros y métricas. Simplemente funciona, lo que permite a su equipo de plataforma ahorrar incontables horas.
• Soberanía total de los datos: Tus registros y métricas nunca abandone su cuenta en la nube. Usted conserva la propiedad y el control totales, y cumple con los requisitos de seguridad y cumplimiento empresarial más estrictos.
• Menor costo total de propiedad (TCO): El almacenamiento S3 es considerablemente más económico que los SSD aprovisionados necesarios para una base de datos de alto rendimiento. Nuestra capacidad informática optimizada y sin estado reduce aún más su factura de nube.
• Observabilidad y estándares abiertos incomparables: Construimos nuestro canal de ingestión en OpenTelemetry (Otel) estándar. Esto nos permite ofrecer información increíblemente detallada a nivel de rastreo, como ver la latencia exacta de una comprobación de Guardrail en comparación con la de la propia llamada de LLM. También te da la libertad de enviar estos datos estandarizados a cualquier otra plataforma de observabilidad, como Datadog, con facilidad.

Elevando el estándar de la observabilidad empresarial con AI Gateway de TrueFoundry

El camino para ofrecer análisis preparados para la empresa con nuestro AI Gateway estuvo repleto de atajos tentadores y concesiones fáciles. Nos enfrentamos a un desafío operativo crítico, rechazamos las soluciones estándar del sector y diseñamos una arquitectura superior partiendo de los principios más básicos. ¿Estás listo para ver cómo es una puerta de enlace de IA que realmente no requiere mantenimiento, es segura y tiene una latencia inferior a 2 ms? Programe una demostración con nosotros hoy mismo.