Wir stellen vor: Ask TFY – Eine neue Art, Ihre KI in der Produktion zu verstehen und zu steuern

Jede Sekunde trifft Ihre KI Entscheidungen. Agenten kommunizieren direkt mit Ihren Kunden, leiten Anfragen weiter, führen Tools aus und geben echtes Geld aus. Das System läuft, aber meistens haben Sie keine Ahnung, was darin tatsächlich passiert.

Das ist kein Vorwurf an Ihr Team. Es ist einfach die Realität, wenn man KI in großem Maßstab betreibt. Die Daten sind vorhanden – in Ihren Traces, Konfigurationen und Logs –, aber um an sie heranzukommen, müssen Sie genau wissen, wo Sie suchen, was Sie filtern und wie Sie die Zusammenhänge über ein halbes Dutzend verschiedener Bildschirme hinweg verknüpfen müssen. Wenn alles funktioniert, denken Sie nicht darüber nach. Wenn etwas ausfällt, wechseln Sie plötzlich ständig zwischen Ihrem Monitoring-Dashboard, Ihrer Guardrail-Konfiguration, Ihren Routing-Regeln und Ihrer Dokumentation hin und her, um herauszufinden, was schiefgelaufen ist, bevor es zu einem größeren Problem eskaliert.

Genau hier stehen die meisten Teams heute. Und das ist anstrengend.

Was wäre, wenn Sie einfach… fragen könnten?

Ask TFY ist eine neue Möglichkeit, mit Ihrem KI-Gateway auf TrueFoundry zu interagieren. Es ist keine Suchleiste und kein Chatbot, der Ihnen Dokumentationen wiederkäut. Es ist ein in TrueFoundry integrierter Agent mit Live-Zugriff auf alles, was in Ihrem Gateway läuft: Ihre Modelle, Traces, MCP-Server, Guardrail-Konfigurationen, Budgetregeln und Datenzugriffsrichtlinien. Wenn Sie eine Frage stellen, erhalten Sie eine Antwort, die auf dem basiert, was in Ihrem System gerade tatsächlich passiert. 

Fehler in Sekunden statt Stunden beheben

Hier ist ein Szenario, das Ihnen nur allzu bekannt vorkommen dürfte: Ihre Anwendung beginnt, Fehler zu werfen. Sie wissen nicht, ob es ein Problem mit dem Modell, dem Routing, einem erreichten Budgetlimit oder etwas ganz anderem ist. Also fangen Sie an zu graben, filtern manuell Traces, suchen nach Mustern und prüfen eine Konfiguration nach der anderen.

Mit Ask TFY beschreiben Sie stattdessen einfach das Problem.

"Meine Anwendung weist seit 7 Tagen sporadische Fehler auf. Was ist schiefgelaufen?"

Ask TFY durchsucht Ihre Trace-Historie, klassifiziert die Fehler, identifiziert, ob die Ausfälle clientseitig waren oder durch externe Faktoren wie den Ausfall eines Upstream-Modellanbieters verursacht wurden, und zeigt das Muster auf. Es sagt Ihnen konkret, was kaputtgegangen ist und warum – nicht allgemein. Und dann sagt es Ihnen, was Sie dagegen tun können.

"Wie passe ich die Konfiguration an, um das System resilienter zu machen?"

Es empfiehlt die richtige Lösung für Ihr Setup. Vielleicht ist es die Konfiguration eines virtuellen Modells mit Fallback. Vielleicht ist es die Anpassung Ihrer Routing-Regeln. Da es Ihr System kennt, erhalten Sie eine Antwort, die tatsächlich anwendbar ist, und keinen allgemeinen Leitfaden zur Fehlerbehebung.

Und dann können Sie es anweisen, diese Empfehlung direkt umzusetzen.

"Wende die empfohlene Budget- und Fallback-Konfiguration auf diesen Agenten an."

Das war's. Sie sind an einem Ort geblieben, haben drei Fragen gestellt und das Problem ist gelöst. Kein Kopieren von YAML-Code von einem Bildschirm zum anderen. Kein Hin- und Herwechseln zwischen Tabs.

Visualisieren Erkenntnisse auf die Sie von selbst nicht kommen würden

Debugging ist ein Anwendungsfall, aber Ask TFY ist genauso nützlich, wenn oberflächlich alles in Ordnung scheint. Die teuersten Produktionsprobleme sind diejenigen, die unbemerkt Ressourcen verschwenden oder Sicherheitslücken schaffen, bevor sie jemand bemerkt.

Fragen Sie zum Beispiel ab, wie effektiv Ihr Prompt-Caching auf Provider-Ebene tatsächlich genutzt wird. Sie erhalten nicht nur eine Zahl, sondern erfahren genau, welche Anfragen den Cache verpassen und wo Sie den Cache-Block einfügen müssen, um das Problem zu beheben. Das ist die Art von Erkenntnis, für die ein erfahrener Entwickler manuell eine Stunde brauchen würde – und die die meisten Teams ignorieren, bis die nächste Rechnung eintrifft.

Oder fragen Sie nach den Kosten. Geben Sie einen Zeitraum an und legen Sie fest, wie die Ausgaben aufgeschlüsselt werden sollen – nach Entwickler, Anwendung oder Modell. Das System erstellt die Analyse und schlägt eine Budgetkonfiguration vor, die Sie direkt übernehmen können.

Warum das anders ist

Die entscheidenden Fragen im KI-Betrieb lassen sich selten mit Standard-Dashboards beantworten. Observability-Tools zeigen Ihnen, was passiert ist. Ask TFY hilft Ihnen zu verstehen, warum es passiert ist, was zu tun ist und setzt dies direkt im Chat um.

Sie müssen keine Kontexte zwischen verschiedenen Tabs neu aufbauen, keine manuellen Querverweise erstellen und nicht mühsam Monitoring-Daten in Konfigurationsänderungen übersetzen. Ask TFY behält den Überblick und erledigt die Arbeit für Sie.

Es kennt zudem mehr als nur Ihre Daten. Fragen Sie nach Dingen, die über Ihr Gateway hinausgehen – etwa wie sich eine neue Drittanbieter-Bibliothek in Ihr Setup integriert, was die API eines bestimmten Modell-Anbieters erwartet oder wie Sie eine Konfiguration strukturieren, die Sie noch nie zuvor eingerichtet haben. Ask TFY greift auf die TrueFoundry-Dokumentation zurück und durchsucht das Web, um Wissenslücken zu schließen.

Wenn Sie das nächste Mal verstehen müssen, was Ihre KI in der Produktion tatsächlich tut, oder schnell handeln müssen, fragen Sie einfach Ask TFY.

Ask TFY ist ab sofort im TrueFoundry AI Gateway verfügbar. Registrieren Sie sich jetzt, um loszulegen.