LLM-Monitoring mit Bifrost: Prometheus und OpenTelemetry in der Praxis
.webp)
Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Bifrost, das Open-Source-Gateway von Maxim AI, bietet in seiner kostenlosen Version einen überraschend vollständigen LLM-Monitoring-Stack: ein Anfrage-Log, einen Prometheus-/metrics-Endpunkt und den Export von OpenTelemetry-Traces. Der Weg von „Es stellt Metriken bereit“ zu Dashboards und Alarmsystemen, denen Sie vertrauen können, erfordert jedoch einige Entscheidungen, die in der Dokumentation über mehrere Seiten verteilt sind. Dieser Leitfaden fasst sie an einem Ort zusammen: was Sie aktivieren sollten, wie Sie Daten abfragen (Scraping), welche Labels wichtig sind, welche PromQL-Abfragen sich lohnen und welche Einstellungen im Stillen Prompt-Inhalte preisgeben oder Ihre Zähler unbrauchbar machen.
Dieser Leitfaden basiert auf der Dokumentation von Bifrost sowie auf praktischen Erfahrungen mit Bifrost OSS v2.0.0, auf die wir an den entsprechenden Stellen hinweisen.
Die Gateway-Latenz wird hier nicht behandelt; unser Bifrost-Testbericht widmet sich der Performance.
Eine Anfrage, drei Ebenen
Eine einzelne Chat-Anfrage über Bifrost landet gleichzeitig an drei Stellen – alle verfügbar in der OSS-Version (integrierte Observability):
-
Logs. Das dauerhaft aktive Logging-Plugin schreibt asynchron eine Zeile: Eingabe- und Ausgabenachrichten, Modell, Token-Anzahl, berechnete USD-Kosten, Latenz, Status und etwaige Logging-Header. Die Dokumentation gibt den Overhead mit unter 0,1 ms an. Sie können die Logs im Dashboard auf Port 8080 einsehen oder überGET /api/logsabfragen. - Metriken. Zähler wie
bifrost_upstream_requests_total,bifrost_input_tokens_totalundbifrost_cost_totalwerden mit Labels für Provider, Modell und virtuellen Schlüssel sowieenvironment="production"aus dem Dimension-Header hochgezählt. - Traces. Wenn das OTel-Plugin aktiviert ist, wird ein Span im gewählten Trace-Format an Ihren Collector gesendet, der dieselbe Dimension enthält, sodass er direkt neben den Traces Ihrer Anwendung dargestellt werden kann.
Der Rest dieses Leitfadens erklärt, wie Sie jede dieser Ebenen produktionsreif machen.
LLM-Metriken mit Prometheus
Aktivierung und Scraping
Das Telemetrie-Plugin ist standardmäßig aktiviert und stellt das Prometheus-Exposition-Format unter /metrics auf dem Gateway-Port bereit (Prometheus). Für einen einzelnen Knoten reicht ein einfacher Scrape-Job aus:
Hier stolpern viele Nutzer über zwei Fallstricke.
Authentifizierung ändert das Scraping. Wenn auth_config.is_enabled auf true gesetzt ist, erfordert /metrics eine Basic-Auth. Ein Scrape-Job ohne entsprechende Zugangsdaten schlägt mit einem 401-Fehler fehl. Prometheus zeigt das Ziel als „Down“ an – Sie bemerken dies also, aber nur, wenn Sie die Target-Health überwachen. Das umgekehrte Problem ist gravierender, und wir sind in unseren eigenen Tests darauf gestoßen: Eine frische OSS-Installation startet komplett ohne Authentifizierung. Dadurch sind /metrics, das Dashboard und die Admin-API für jeden erreichbar, der den Port ansprechen kann, bis Sie einen Admin und ein Setup-Token konfigurieren. Exponieren Sie Port 8080 daher niemals außerhalb des Netzwerks Ihres Scrapers.
Scrapen Sie nicht über einen Load Balancer. Jede Replik führt ihre eigenen Zähler. Wenn Prometheus eine Load-Balancer-Adresse abfragt, landet jeder Scrape auf einem anderen Pod, was dazu führt, dass Ihre Zähler vor- und zurückspringen. Scrapen Sie jeden Pod direkt (Kubernetes Service Discovery über die Pod-IPs) oder nutzen Sie den Push-Gateway-Modus, den die Bifrost-Dokumentation für Multi-Knoten-Cluster hinter einem Load Balancer empfiehlt. Dies ist bei OSS besonders wichtig, da Repliken keinen Status teilen: Budgets und Zähler existieren pro Pod, sodass Metriken pro Pod die einzige verlässliche Sicht bieten.
Was Bifrost bereitstellt
Der Metrik-Katalog, gruppiert nach Anwendungsfall:
Die HTTP-Metriken versehen path mit dem passenden Routen-Template anstelle der Roh-URL mit einem Label, was die Kardinalität begrenzt. Eine Besonderheit bei bifrost_cost_total: Es handelt sich um Kosten, die Bifrost anhand seines Preiskatalogs und der von den Providern zurückgegebenen Nutzungsfelder berechnet. Dies ist nützlich für Budgetierung und internes Chargeback, entspricht jedoch keiner offiziellen Rechnung – individuell ausgehandelte Rabatte oder Gutschriften werden hierbei nicht berücksichtigt.
Wichtige Labels für mehr Kontext
Die Standard-Labels enthalten dieselbe Identitätsstruktur, die Bifrost für die Governance verwendet. Erst dadurch werden aus rohen Zählern aussagekräftige Antworten:
provider,modelundaliasvirtual_key_id/virtual_key_name,team_id/team_name,customer_id/customer_name. Diese bleiben leer, wenn Sie keine Governance nutzen.routing_engine_used,routing_rule_id/routing_rule_name,selected_key_id/selected_key_nameundfallback_index, die gemeinsam erklären, warum eine Anfrage an ein bestimmtes Ziel geroutet wurde.
Die Zuordnung pro Benutzer ist kein Standard-Metrik-Label. Sie erhalten diese Daten über Logging-Header (X-User-ID oder einen beliebigen x-bf-lh-*-Header), die im Anfrage-Log landen, oder über benutzerdefinierte Dimensionen.
Benutzerdefinierte Dimensionen und die Kardinalitätsfalle
Jeder Anfrage-Header, der mit x-bf-dim- beginnt, wird zu einer Dimension, die gleichzeitig in das Anfrage-Log, den OTel-Span und als benutzerdefiniertes Label in Prometheus geschrieben wird (gemeinsame Observability-Dimensionen). Das ist der sauberste Weg, Traffic nach Umgebung, Feature oder Mandant zu taggen, ohne neue virtuelle Schlüssel anlegen zu müssen.
Es ist aber auch der schnellste Weg, Prometheus zu überlasten. Jeder eindeutige Wert eines Labels erzeugt eine neue Zeitreihe für jede Metrik, die dieses Label trägt. Eine Dimension wie environment mit drei Werten ist unbedenklich. Eine Dimension wie request_id, session_id oder user_id erzeugt pro Wert eine neue Zeitreihe über Dutzende von Metriken hinweg. Belassen Sie hochkardinale Bezeichner in Logging-Headern (x-bf-lh-*), die nur im Anfrage-Log landen, und reservieren Sie x-bf-dim-* für Werte, die Sie problemlos in einem Dashboard-Dropdown anzeigen würden.
Nützliche PromQL-Abfragen
Diese Abfragen nutzen die dokumentierten Metrik- und Label-Namen. Überprüfen Sie die Metrik-Typen vorab in der /metrics-Ausgabe Ihrer Version; die TTFT-Abfrage setzt voraus, dass die Latenz-Metriken Histogramme sind.
Alerting müssen Sie selbst bereitstellen
Die integrierte Alerting-Engine von Bifrost ist nur in der Enterprise-Version verfügbar und wertet Budget- sowie Rate-Limit-Metriken aus (prozentual genutztes Budget, Ausgaben, Anfrage- und Token-Nutzung), nicht jedoch Fehlerraten oder Latenzen (Alerting). Für Zuverlässigkeits-Alerts auf beiden Versionen richten Sie Alertmanager auf die oben genannten Metriken aus:
Bifrost stellt in der von uns geprüften Dokumentation kein fertiges Grafana-Dashboard oder Alert-Rule-Paket bereit – diese müssen von Ihrem Team selbst erstellt und gepflegt werden.
LLM-Tracing mit OpenTelemetry
Aktivierung des OTel-Plugins
Der Trace-Export ist im otel-Plugin enthalten, das Teil der OSS-Version ist (Plugin-Konfiguration). Im Helm-Chart ist es standardmäßig deaktiviert; sobald Sie es hinzufügen, ist der Trace-Export aktiv. Die wichtigsten Einstellungen:
Auf Empfängerseite sieht ein minimaler OpenTelemetry Collector, der beide Protokolle akzeptiert und an Ihr Tracing-Backend weiterleitet, wie folgt aus:
Schalten Sie stets einen Collector zwischen Bifrost und ein SaaS-Backend, selbst wenn das Backend OTLP direkt akzeptiert. Das bietet Ihnen einen zentralen Ort für Batching, Attribut-Filterung und Anbieterwechsel, ohne die Gateway-Konfiguration anpassen zu müssen.
Wahl des Trace-Formats: OTel GenAI, OpenInference oder Vercel
trace_type bestimmt, wie nachgelagerte Tools die Spans von Bifrost interpretieren. Eine Orientierungshilfe zur Auswahl:
genai_extensionfolgt den semantischen Konventionen von OpenTelemetry GenAI (dengen_ai.*-Attributen, oft als OTel GenAI abgekürzt). Wählen Sie dies für universelle Backends wie Grafana Tempo, Honeycomb, Jaeger oder Datadog über OTLP.open_inferencefolgt den OpenInference-Konventionen von Arize. Wählen Sie dies, wenn Ihr Trace-Viewer auf OpenInference basiert, wie z. B. Arize Phoenix. Bifrost dokumentiert keine nativen Langfuse- oder Arize-Connectoren; betrachten Sie OTLP plus OpenInference dort daher als den wahrscheinlichsten Weg und nicht als offiziell unterstützte Integration.vercelentspricht den Konventionen des Vercel AI SDK. Wählen Sie dies, wenn die restlichen Traces Ihrer Anwendung bereits vom Vercel AI SDK stammen.
Unabhängig von Ihrer Wahl sollten Sie eine Testanfrage senden und die Attributnamen in Ihrem Backend überprüfen, bevor Sie Dashboards darauf aufbauen.
Prompt-Inhalte in Ihren Traces
Diese Einstellung überrascht Sicherheitsverantwortliche am häufigsten: Die clientseitige Option disable_content_logging von Bifrost entfernt Prompts und Antworten zwar aus dem eigenen Log-Speicher, gilt jedoch nicht für Observability-Connectoren. OpenTelemetry, Datadog, BigQuery, Kafka und Pub/Sub verfügen jeweils über ein eigenes disable_content_logging-Flag, das standardmäßig auf false steht (Client-Konfiguration). Ein Team, das das Content-Logging auf Client-Ebene deaktiviert und das OTel-Plugin hinzufügt, exportiert standardmäßig somit weiterhin vollständige Prompts an sein Tracing-Backend.
Für eine reine Metadaten-Erfassung setzen Sie das Flag sowohl auf dem Client als auch auf jedem aktivierten Connector. Erfasste Anfrage-Header werden unabhängig von den Content-Flags exportiert – prüfen Sie daher auch, welche Header Sie erfassen. Wenn Sie Inhalte zum Debuggen benötigen, dient ein Attribute-Dropping-Prozessor in Ihrem Collector als zweite Verteidigungslinie. Achten Sie dabei darauf, dass die Attributnamen exakt zu Ihrem gewählten Trace-Format passen.
Verknüpfung von Bifrost-Spans mit Anwendungs-Traces
Eine durchgängige W3C-Trace-Kontext-Propagation ist für das native Datadog-Plugin dokumentiert, das dd-trace-go nutzt. Für das generische OTel-Plugin geht aus der Dokumentation nicht hervor, ob ein eingehender traceparent-Header den Span von Bifrost zu einem Child-Span Ihrer Anwendung macht. Testen Sie dies, bevor Sie einen durchgehenden Trace vom Frontend bis zum Modell zusichern. Falls die Verknüpfung nicht automatisch funktioniert, dient die gemeinsame x-bf-dim-*-Dimension als Fallback zur Korrelation.
Das Anfrage-Log: Die Ebene, die Sie bereits haben
Das Logging-Plugin ist die einzige Ebene, die Sie nicht extra einrichten müssen. Wichtige Details für den Praxiseinsatz:
GET /api/logsfiltert nach Provider, Modell, Status, Zeitbereich, Latenz, Tokens sowie Kosten und unterstützt Volltext-content_search. Ein WebSocket-Stream ermöglicht Live-Tail-Analysen.- Seit v1.5.0 erfasst jede Zeile den ausgewählten Schlüssel, die Anzahl der Retry-Versuche und ein geordnetes
attempt_trail, das jeden Versuch, den genutzten Schlüssel, den Fehlergrund und das Auslösen einer Schlüssel-Rotation anzeigt. Bei Provider-Ausfällen ist dies schneller als jedes Dashboard. - Als Speicher dient standardmäßig SQLite, für den Produktivbetrieb wird PostgreSQL genutzt. Die Speicherdauer beträgt standardmäßig 365 Tage via
log_retention_days, gesteuert durch einen Bereinigungsprozess, der alle 24 Stunden läuft. - In v2.0.0 ist die Erfassung roher Provider-Anfragen und -Antworten eine Option unter Observability > Logs Settings im Dashboard. Wir haben diese Option aktiviert, um genau zu prüfen, was Bifrost an die einzelnen Provider sendet. Es ist gut zu wissen, dass diese Funktion existiert, bevor man sie im Ernstfall sucht.
Es gibt kein ratenbasiertes Sampling für Logs. Die ähnlichste Option, drop_excess_requests, verwirft Last bei vollen Warteschlangen – es ist kein Sampler. Planen Sie bei hohem Aufkommen Speicherplatz für jede Anfrage ein oder deaktivieren Sie das Content-Logging.
Stolperfallen auf einen Blick
- Der Schalter für clientseitiges Content-Logging gilt nicht für Connectoren. Konfigurieren Sie ihn pro Connector.
- Wird die Authentifizierung aktiviert, erfordert
/metricseine Basic-Auth. Bis dahin ist das System ungesichert. - Scraping über einen Load Balancer verfälscht die Zähler pro Pod. Scrapen Sie direkt die Pods oder nutzen Sie das Push-Gateway.
- Werte in
x-bf-dim-*werden zu Prometheus-Labels. Halten Sie eindeutige IDs dort fern. - Das OTel-Plugin ist in Helm standardmäßig deaktiviert, obwohl es kostenlos ist.
- Kostenmetriken basieren auf einem Preiskatalog, der alle 24 Stunden mit Maxim synchronisiert wird. In Air-Gapped-Installationen müssen Sie die Preisdatei manuell bereitstellen.
- Natives Alerting ist der Enterprise-Version vorbehalten und deckt nur Ausgaben sowie Rate-Limits ab. Latenz- und Fehler-Alerts müssen Sie selbst aufbauen.
- Wenn Sie Logs nach S3 oder GCS auslagern (Enterprise), löscht der Bereinigungs-Prozess diese Objekte nicht. Richten Sie Bucket-Lifecycle-Regeln ein.
OSS vs. Enterprise im Vergleich
Wenn Ihre Fragen zu Enterprise über die reine Observability hinausgehen, bietet unsere Übersicht zu Bifrost Enterprise vs. OSS weitere Details zu Identität, Audit-Logs und Clustering.
Wo das Monitoring von Bifrost endet
Bifrost zeigt Ihnen, was passiert ist – nicht aber, wie gut die Antwort war. Qualitätssignale wie Evaluierungen, Drift-Analysen und Halluzinations-Checks finden in der separaten Plattform von Maxim statt (an die das kostenlose Maxim-Plugin Traffic weiterleitet) oder in eigenen Tools, die Sie auf Basis exportierter Logs aufbauen. Das Gateway überlässt zudem Dashboard-Design, Alert-Regeln, Dimensionierung des Log-Speichers und teambezogene Log-Richtlinien Ihnen. Content-Logging ist global, pro Anfrage oder pro Connector an- oder ausgeschaltet; eine Regel wie „Prompts des Finanzteams niemals loggen“ existiert nicht.
Die Alternative von TrueFoundry
Das TrueFoundry AI Gateway deckt dieselben drei Ebenen ab – mit deutlich weniger Konfigurationsaufwand. Wichtige Unterschiede mit Blick auf die oben genannten Fallstricke:
- Ein fertiges Dashboard. Das Metrik-Dashboard umfasst Kosten, LLM- und MCP-Aufrufe, Fehleranalysen, Guardrail-Ergebnisse, Routing, Caching sowie Kosteneinsparungen und lässt sich nach Modell, Benutzer, virtuellem Konto und Team filtern (Metrik-Dashboard).
- OTel-Export direkt über die Benutzeroberfläche. Traces und Metriken können über HTTP oder gRPC an jedes beliebige OTLP-Backend exportiert werden – inklusive benutzerdefinierter Header und der Option für Delta-Temporality, direkt in den Gateway-Einstellungen statt über Konfigurationsdateien (OpenTelemetry-Daten exportieren).
- Prometheus beim Self-Hosting des Gateways. Ein selbstgehostetes Gateway stellt
/metricsmit Labels für Modell, Mandant und Benutzer bereit. Sie entscheiden, welche Anfrage-Metadaten zu Labels werden, wodurch die Kardinalität unter Ihrer Kontrolle bleibt (Prometheus und Grafana). - Granulare Logging-Regeln nach Nutzer und Inhalt. Logging-Konfigurationen greifen gezielt nach Benutzern, Teams, virtuellen Konten, Modellen oder Anfrage-Metadaten. Sie legen fest, ob Inhaltsdaten gespeichert werden (wobei Verbote stets Vorrang haben) und schwärzen Muster in der gespeicherten Kopie automatisch (Logging-Konfiguration). Das ist die Regel zum Schutz sensibler Prompts, die bei Bifrost fehlt.
Wenn Sie Ihre Zeit lieber für die Analyse von Metriken nutzen möchten, anstatt sie mühsam zusammenzubauen, erfahren Sie hier, wie das TrueFoundry AI Gateway LLM-Monitoring löst.
Weiterführende Artikel
- Observability in einem AI Gateway
- Was ist LLM-Observability?
- Die besten LLM-Observability-Tools
- AI Agent Observability: Warum hat er so gehandelt?
- Bifrost-Preise: OSS, Enterprise-Kosten und was Teams wissen sollten
Fazit
Bifrost bietet eine solide und kostenlose Basis für das LLM-Monitoring: Logdaten pro Anfrage, Prometheus-Metriken mit Governance-Labels und OpenTelemetry-Traces im Format Ihrer Wahl. Das System produktionsreif zu machen, liegt jedoch in Ihrer Verantwortung: Scrapen Sie pro Pod, halten Sie IDs aus den Dimension-Labels fern, setzen Sie das Content-Flag auf jedem Connector und bauen Sie die fehlenden Alerts und Dashboards selbst auf. Wenn Sie diese Aufgaben lieber abgeben möchten, buchen Sie eine Demo bei TrueFoundry und vergleichen Sie beide Ansätze direkt miteinander.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.












.webp)
.webp)








