HoneyHive-Integration mit dem Truefoundry AI Gateway

Die meisten Teams, die mit KI arbeiten, stoßen irgendwann an dieselbe Grenze. Sie führen täglich Tausende von Modellaufrufen über verschiedene Anbieter und Anwendungen hinweg durch, haben aber kaum einen Überblick darüber, was dabei eigentlich passiert. Welche Prompts waren erfolgreich? Warum hat dieser Agent eine seltsame Antwort gegeben? War die Antwort überhaupt gut? Um diese Fragen zu beantworten, müsste man normalerweise in jede Anwendung manuell Tracking-Code einbauen – eine Aufgabe, die niemand gerne macht und die die meisten Teams daher auslassen. Die Integration zwischen dem TrueFoundry AI Gateway und HoneyHive löst dieses Problem, indem sie automatisch jeden Aufruf erfasst, der durch das Gateway fließt – also genau an der Stelle, die ohnehin bereits alle Anfragen durchlaufen.

TrueFoundry AI Gateway als zentrale Steuerungsebene 

Stellen Sie sich das TrueFoundry AI Gateway als eine zentrale Anlaufstelle für alle Modelle vor, die Ihr Team nutzt. Anstatt dass jede Anwendung direkt mit OpenAI, Anthropic oder anderen Anbietern kommuniziert, laufen alle Anfragen über das Gateway. Es kümmert sich zentral um die komplexen Aspekte: Wer darf was aufrufen, an welches Modell soll eine Anfrage weitergeleitet werden und wie bleiben die Prozesse sicher und innerhalb der Limits? Da jede Anfrage durch dieses eine „Tor“ geht, ist es auch der ideale Ort, um alle Vorgänge zu protokollieren.

Das Beste daran: Es ist keine zusätzliche Instrumentierung erforderlich. Das Gateway erfasst automatisch die wichtigsten Details jedes Aufrufs – das verwendete Modell, die Dauer, die Anzahl der Token sowie Prompt und Antwort. Dies geschieht, während die Anfrage bereits auf dem Rückweg zum Benutzer ist. Die zusätzliche Transparenz verlangsamt also in keiner Weise die Nutzung Ihrer Anwendung. 

HoneyHive: Evaluierung als fester Bestandteil des Entwicklungsprozesses

HoneyHive ist der Ort, an dem all diese Aktivitäten sichtbar werden und Sie Ihren Agenten gezielt verbessern können. Es nimmt die Aufzeichnungen Ihrer KI-Aufrufe und verwandelt sie in klare, durchgängige Traces– eine schrittweise Darstellung aller Ereignisse innerhalb einer einzelnen Anfrage oder einer gesamten Sitzung. Dabei werden alle Tools, Agentenschritte, Eingaben, Ausgaben und Zeitangaben übersichtlich aufgeschlüsselt. Wenn etwas schiefgeht, können Sie den Pfad nachverfolgen, anstatt zu raten. Zudem können Sie Ihren Coding-Agenten nutzen, um mithilfe der HoneyHive-CLI die Ursachen für Probleme zu finden.

HoneyHive beschränkt sich nicht nur auf die Überwachung. Die aufgezeichneten Aktivitäten können direkt in Evaluierungen und Experimenteeinfließen. So können Sie messen, ob sich Ihre KI im Laufe der Zeit verbessert oder verschlechtert, und Änderungen testen, bevor Sie diese veröffentlichen. Ein Trace ist damit nicht mehr nur ein bloßes Protokoll, sondern ein konkretes Beispiel, das Sie zur Qualitätssteigerung nutzen können.

Eine Pipeline, volle Transparenz: HoneyHive und TrueFoundry

Die beiden Tools ergänzen sich perfekt, da sie dieselbe Sprache sprechen. TrueFoundry protokolliert bereits jeden Aufruf, und HoneyHive weiß genau, wie diese Daten zu lesen sind. Die Verbindung ist also nahtlos. Für Datenverkehr, der bereits über das Gateway läuft, muss kein Code in Ihren Anwendungen hinzugefügt werden, und es gibt keinen zusätzlichen Wartungsaufwand für die Teams. Sie aktivieren den Trace-Export einmalig im Gateway, und ab diesem Moment erscheint jeder Modellaufruf, der über TrueFoundry läuft, automatisch in HoneyHive.

Abbildung 1: Anfragen fließen über das TrueFoundry AI Gateway zu den Modellanbietern, während das Gateway eine Kopie jedes Traces an HoneyHive sendet.

Die Verbindung ist eine Einbahnstraße und ergänzt lediglich Ihre bestehende Infrastruktur. Das Gateway sendet eine Kopie jedes abgeschlossenen Aufrufs an HoneyHive, ohne den Ablauf Ihrer Anwendung zu verändern oder HoneyHive in den Live-Anfrageprozess einzubinden. Wenn Sie mit sensiblen Daten arbeiten, sorgt ein einzelner Anfragedaten ausschließen Schalter dafür, dass Prompt- und Antwortinhalte entfernt werden, bevor Daten das Gateway verlassen.

So funktioniert der Trace-Export

Das Grundprinzip ist, dass der Nutzer immer an erster Stelle steht. Die Anfrage wird beantwortet, und erst danach sendet das Gateway den Datensatz im Hintergrund an HoneyHive.

Abbildung 2: Eine Anfrage wird vollständig bearbeitet, und der Trace wird anschließend im Hintergrund an HoneyHive gesendet.

Starten Sie mit produktionsreifem Tracing

Die Einrichtung ist eine einfache Konfigurationsänderung, kein komplexes Entwicklungsprojekt. Erstellen Sie einen Projekt-API-Schlüssel in HoneyHive, öffnen Sie dann im TrueFoundry-Dashboard AI Gateway → Controls → Settings, aktivieren Sie den OTEL-Traces-Exporter und verweisen Sie ihn auf Ihren HoneyHive OTLP-Endpunkt. Die genauen Werte finden Sie unten.

Traces-Endpunkt: https://<provider-host>/opentelemetry/v1/traces

Protokoll: OTLP/HTTP

Kodierung: Json

Auth-Header: Authorization: Bearer <HH_API_Key>

Um die Verbindung zu bestätigen, senden Sie einige Anfragen über das Gateway, öffnen Sie dann in HoneyHive Observe → Traces und suchen Sie nach neuen Ereignissen, deren SOURCE auf otlp gesetzt ist. Die vollständigen Schritte finden Sie in der TrueFoundry HoneyHive Integrationsdokumentation.

Das Besondere an dieser Kombination ist, dass jedes Tool seine Stärken ausspielt und beide über eine einfache Schnittstelle verbunden sind. TrueFoundry steuert und leitet Ihre KI-Aufrufe; HoneyHive hilft Ihnen dabei, diese zu überwachen, zu messen und zu optimieren. Da das Gateway ohnehin zentral geschaltet ist, wird Transparenz automatisch zum Bestandteil der Plattform, anstatt eine Aufgabe zu sein, an die jedes Team einzeln denken muss.