Die Logging-Architektur von TrueFoundry für AI Gateway

‍Einführung: Die versteckten Kosten von Analysen

Jedes KI-Gateway auf dem Markt bietet Protokolle und Analysen. Oberflächlich betrachtet scheinen sie eine Standardfunktion zu sein. Doch die architektonischen Entscheidungen, die hinter den Kulissen getroffen werden, haben massive, versteckte Konsequenzen für Ihre Zuverlässigkeit, Sicherheit und Ihr Geschäftsergebnis. Die wie ist ein entscheidendes Detail, das eine wirklich unternehmenstaugliche Plattform von einem riskanten Angebot unterscheidet.

Als wir uns zum ersten Mal daran machten, unseren Kunden schnelle, skalierbare Analysen zu bieten, standen wir vor genau dieser Herausforderung. Das Ziel war klar: über unsere AI-Gateway-Ebene aussagekräftige Einblicke zu liefern, ohne den Plattformteams unserer Kunden einen operativen Albtraum zu bereiten.

Wir haben schon früh erkannt, dass wir, um eine Lösung zu entwickeln, die unseren Unternehmenskunden gerecht wird, innovativ sein müssen, die über den branchenüblichen Ansatz hinausgeht. Dieser Beitrag beschreibt unseren Weg vom leistungsstarken, aber problematischen ClickHouse zu einer wartungsfreien, S3-nativen Architektur, einem System, das unseren Kunden einen starken und dauerhaften Wettbewerbsvorteil verschafft.

Das Problem: Warum der Versand von ClickHouse ein riskantes Geschäft ist

Unsere erste Wahl war, wie viele andere in der Branche, ClickHouse. Es ist eine phänomenale Open-Source-Technologie, die für ihre unglaubliche Geschwindigkeit bei analytischen Abfragen bekannt ist. Ihre Leistung ist jedoch mit hohen Betriebskosten verbunden.

Das Kernproblem ist das: Die Verwaltung einer zustandsbehafteten, geschäftskritischen Datenbank wie ClickHouse in der Cloud-Umgebung eines Kunden ist ein operatives Minenfeld. Um es richtig zu machen, müssen Sie Folgendes erledigen:

• Hochverfügbarkeit (HA): Was passiert, wenn ClickHouse ausfällt? Haben Sie einen nahtlosen Failover-Plan?
• Notfallwiederherstellung (DR): Führen Sie regelmäßige, verifizierte Backups durch? Was ist das Recovery-Time-Objective (RTO), wenn etwas katastrophal schief geht?
• Wartung: Wer ist für Versionsupgrades, Sicherheitspatches und Leistungsoptimierung verantwortlich?

Das ist nicht nur theoretisch. Ein einfacher, falscher kubectl lösche PV Der Befehl könnte versehentlich das persistente Volume eines Kunden löschen, Löschen all ihrer historischen Logs und Metrikdaten für immer. Für jedes Unternehmen ist dieses Risiko einfach inakzeptabel. Wir waren quasi dabei, ein gemanagter ClickHouse-Anbieter zu werden, was von unserer Kernaufgabe ablenkte.

Wir haben uns die Landschaft der Wettbewerber angesehen

Wir haben nachgeforscht und festgestellt, dass sich die meisten Plattformen im LLM Gateway-Bereich mit einem von drei fehlerhaften Kompromissen zufrieden gegeben haben.

1. Der „Black Box“ -Ansatz: Sie lösen das Verwaltungsproblem, indem sie eine Clickhouse-Datenbank in ihrem besitzen Cloud-Dienst.
   Der Kompromiss: Kunden verlieren Datensouveränität. Um die Plattform nutzen zu können, sind Sie gezwungen, Ihre Protokolldaten/Kennzahlen — die personenbezogene Daten (PII) oder firmeneigene Geschäftsinformationen enthalten können — außerhalb Ihrer sicheren Cloud-Umgebung zu senden. In Gesprächen mit Unternehmenskunden waren wir der Meinung, dass es äußerst wichtig ist, dass ihre Daten sicher sind und in ihrer Cloud- oder Air-Gap-Umgebung bleiben und nicht in der Steuerungsebene des KI-Gateways.

2. Der „DIY“ -Ansatz: Einige Plattformen stellen ein Helm-Diagramm oder eine Vorlage zur Verfügung und übertragen dem Kunden die volle Verantwortung für den Betrieb seiner eigenen ClickHouse-Instanz.
   Der Kompromiss: Die gesamte, komplexe Betriebslast wird direkt auf das bereits vielbeschäftigte Plattformteam des Kunden verlagert. Sie müssen die Hochverfügbarkeit, Backups und Wartung selbst herausfinden.

3. Der „begrenzte Umfang“ -Ansatz: Dies beinhaltet entweder die Verwendung einer standardmäßigen Transaktionsdatenbank (wie Postgres), die für ernsthafte analytische Workloads nicht skalierbar ist, oder man verlässt sich auf ein unübersichtliches Netz von externen Exporteuren.
   Der Kompromiss: Dies führt zu einer chronisch schlechten Leistung, einer fragmentierten Benutzererfahrung und der Unfähigkeit, tiefe, integrierte Einblicke zu liefern.

Wir haben alle drei abgelehnt. Es musste eine Möglichkeit geben, Leistung und Sicherheit zu bieten und keine Betriebsbelastung. Also haben wir es gebaut.

Unsere Architektur

Unser Leitgedanke war einfach, aber wirkungsvoll: Speicher und Berechnung entkoppeln. Die Daten sollten sicher und dauerhaft im kundeneigenen Objektspeicher (wie S3) gespeichert werden, während eine zustandslose, skalierbare Engine die Abfragen verarbeitet.

Die Speicherebene: Ihr S3 + Delta Lake

Wir haben den Datenbankserver komplett eliminiert und den S3-Bucket des Kunden zur Quelle der Wahrheit gemacht.

• Warum S3? Es löst sofort die HA-, DR- und Backup-Probleme. AWS, GCP und Azure haben Milliarden investiert, um ihre Objektspeicherdienste unglaublich robust und verfügbar zu machen. Ihre Daten werden automatisch in Ihrer eigenen Umgebung geschützt.
• Warum Delta Lake? Das ist unser technisches Geheimrezept. S3 ist nur ein Schlüsselwertspeicher; es versteht Datenbanktransaktionen nicht von Natur aus. Hier kommt Delta Lake ins Spiel. Es ist ein Open-Source-Speicher-Framework, das ACID-Transaktionen (die Atomarität und Konsistenz einer herkömmlichen Datenbank) in Ihren S3-Data Lake bringt. Es ist die „Magie“, die es Ingestor ermöglicht, Daten gleichzeitig zu schreiben, ohne dass sie beschädigt werden.
• Warum das Parquet-Format? Alle Daten werden im Apache Parquet-Format gespeichert, einem hocheffizienten, spaltenförmigen Speicherformat, das den Industriestandard für Analysen darstellt. Dies stellt sicher, dass Sie Sie besitzen wirklich Ihre Daten und können darauf zugreifen mit jedem beliebigen Tool — sei es die Spark-, DuckDB- oder Polars-Bibliothek. Dadurch entfällt die Anbieterbindung vollständig.

Die Abfrage-Engine: Apache DataFusion

Wir verwenden Datenfusion, eine Abfrage-Engine aus dem Apache-Projekt. Es ist eine moderne, zustandslose Engine, die Parquet-Dateien direkt aus S3 liest. Um die inhärente Netzwerklatenz von S3 zu überwinden, haben wir eine ausgeklügelte mehrstufige Caching-Ebene (im Speicher und auf der Festplatte) entwickelt, die wichtige Daten für die Abfrage bereithält und eine schnelle und reaktionsschnelle Benutzeroberfläche bietet.

Was sind die Vorteile

Unsere Architektur führt zu einem klaren, überzeugenden Wert, der sich direkt auf Ihr Unternehmen auswirkt.

• Kein Betriebsaufwand: Sie müssen nie darüber nachdenken, eine Datenbank für Ihre Logs und Metriken zu verwalten, zu patchen, zu skalieren oder zu sichern. Es funktioniert einfach und spart Ihrem Plattformteam unzählige Stunden.
• Vollständige Datenhoheit: Deine Logs und Metriken verlasse niemals dein Cloud-Konto. Sie behalten die volle Verantwortung und Kontrolle und erfüllen die strengsten Sicherheits- und Compliance-Anforderungen Ihres Unternehmens.
• Niedrigere Gesamtbetriebskosten (TCO): S3-Speicher ist deutlich günstiger als die bereitgestellten SSDs, die für eine Hochleistungsdatenbank erforderlich sind. Unser zustandsloser, optimierter Rechenbedarf reduziert Ihre Cloud-Rechnung weiter.
• Unübertroffene Beobachtbarkeit und offene Standards: Wir haben unsere Aufnahmepipeline auf dem gebaut Offene Telemetrie (Otel) Standard. Auf diese Weise können wir unglaublich detaillierte Einblicke auf Trace-Ebene liefern — zum Beispiel die genaue Latenz einer Guardrail-Prüfung im Vergleich zum LLM-Call selbst. Es gibt Ihnen auch die Freiheit, diese standardisierten Daten problemlos an jede andere Observability-Plattform wie Datadog weiterzuleiten.

Mit dem AI Gateway von TrueFoundry die Messlatte für Unternehmensbeobachtbarkeit höher legen

Der Weg zur Bereitstellung unternehmensfähiger Analysen mit unserem AI Gateway war voller verlockender Abkürzungen und einfacher Kompromisse. Wir standen vor einer kritischen betrieblichen Herausforderung, lehnten die Standardlösungen der Branche ab und entwickelten von Anfang an eine überlegene Architektur. Sind Sie bereit zu sehen, wie ein wirklich wartungsfreies, sicheres KI-Gateway mit einer Latenz von unter einer Sekunde aussieht? Vereinbaren Sie noch heute eine Demo mit uns.