Patronus-Integration mit dem AI Gateway von TrueFoundry

Wenn Sie LLM-Apps entwickeln, die echte Benutzer und Daten berühren, ist die Kombination von Patronus AI mit dem TrueFoundry KI-Gateway eine saubere Möglichkeit, Leitplanken hinzuzufügen, bei denen die Bewertung an erster Stelle steht, ohne die Teams zu verlangsamen. In diesem Beitrag erfahren Sie, was die Integration bewirkt, warum sie für die KI-Sicherheit wichtig ist und wie Sie sie in wenigen Minuten einrichten können. Sie können sich auch unsere Dokumentation zu dieser Integration unter folgender Adresse ansehen: Patronus-Integration mit TrueFoundry AI Gateway

Warum Patronus mit dem AI-Gateway koppeln

• Ein politisches Flugzeug. Leiten Sie Anfragen über ein einziges KI-Gateway weiter und setzen Sie Patronus-Checks (sofortige Injektion, PII, Toxizität, Halluzinationen) konsistent für jedes Modell durch.
• Einheitliche KI-Sicherheit für alle Anbieter. Unabhängig davon, ob Sie OpenAI, Anthropic, Bedrock oder Ihre selbst gehosteten Modelle aufrufen, gelten dieselben Sicherheitsregeln.
• Integrierte Beobachtbarkeit. Sehen Sie direkt vom Gateway aus, welche Checks ausgelöst wurden, welche blockiert wurden und welche zu korrigieren sind.
• Niedriger Overhead. Die Evaluatoren von Patronus sind produktionsbereit und reagieren schnell, sodass Leitplanken nicht zum Engpass werden.
• Adminfreundlich. Konfiguriere, wer die Leitplanken ändern, Schlüssel rotieren und Richtlinien für den Geltungsbereich von Apps, Teams und Umgebungen ändern kann — alles über das KI-Gateway.

Key Metrics for Evaluating Gateway

Criteria	What should you evaluate ?	Priority	TrueFoundry
Latency	Adds <10ms p95 overhead for time-to-first-token?	Must Have	✅ Supported
Data Residency	Keeps logs within your region (EU/US)?	Depends on use case	✅ Supported
Latency-Based Routing	Automatically reroutes based on real-time latency/failures?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported
Key Rotation & Revocation	Rotate or revoke keys without downtime?	Must Have	✅ Supported

Evaluating an AI Gateway?

A practical guide used by platform & infra teams

So funktioniert die Integration

1. Ihre App sendet eine Anfrage an das AI-Gateway.
2. Das Gateway leitet es an das von Ihnen gewählte Modell weiter.
3. Die Ausgabe des Modells (und optional die Aufforderung) wird zur Auswertung an Patronus gesendet.
4. Patronus gibt Pass/Fail-Ergebnisse, Punktzahlen und Metadaten zurück.
5. Das AI-Gateway erlaubt oder blockiert die Antwort auf der Grundlage Ihrer Regeln.
6. Protokolle und Kennzahlen fließen in Dashboards ein, sodass Sie sowohl die Bewertung als auch die Kosten optimieren können.

Das gibt Ihnen einen einzigen Kontrollpunkt für die KI-Sicherheit, ohne dass Evaluatoren in jedem Dienst verdrahtet werden müssen.

Was du brauchst

• Ein TrueFoundry-Konto und AI-Gateway-Zugang, lesen Sie unsere Schneller Start
• Ein Patronus-API-Schlüssel.

Patronus KI-Integration hinzufügen

Hinzufügen Patronus KI zu Ihrem TrueFoundry-Setup, füllen Sie zunächst das Guardrails-Gruppe Formular. Beginnen Sie mit der Eingabe eines Name für deine Leitplankengruppe, füge dann eine beliebige hinzu Mitarbeiter wer sollte Zugriff haben, um diese Gruppe zu verwalten oder zu verwenden.

Erstellen Sie als Nächstes die Patronus-Konfiguration durch Bereitstellung einer Name für die Konfiguration und Auswahl des Ziel, was definiert, welche Art von Anfrage die Patronus-Leitplanke auswerten soll (zum Beispiel eine Prompt oder ein Antwort). Danach konfigurieren Sie Gutachter du verwenden willst. Du wählst eine Evaluator-Typ wie Richter (wird für Bewertungsmodelle verwendet), und wählen Sie dann die Kriterien Sie möchten eine Bewertung vornehmen. Zu den häufigsten Beispielen gehören die Erkennung von Halluzinationen, Toxizität und das Austreten von PII. Wenn Sie mehrere Prüfungen erzwingen möchten, können Sie mehr als einen Evaluator hinzufügen, indem Sie auf Gutachter hinzufügen, wodurch Sie verschiedene Bewertungskriterien in derselben Leitplankenkonfiguration kombinieren können.

Schließlich, unter Patronus-Authentifizierungsdaten, stellen Sie die API-Schlüssel erforderlich, um Anfragen an Patronus AI zu authentifizieren. Sie können diesen Schlüssel im Patronus AI-Dashboard abrufen, indem Sie zu Ihren Kontoeinstellungen gehen und nach dem API-Schlüssel Abschnitt. Bewahren Sie diesen Schlüssel sicher auf, da er den Zugriff auf Ihre Patronus AI-Evaluierungsdienste gewährt.

Struktur der Antwort

Die Patronus AI API gibt eine Antwort mit der folgenden Struktur zurück:

{
    "data": {
      "results": [
        {
          "evaluator_id": "judge-large-2024-08-08",
          "profile_name": "patronus:prompt-injection",
          "status": "success",
          "error_message": null,
          "evaluation_result": {
            "id": "115235600959424861",
            "log_id": "b47fa8ad-1068-46ca-aebf-1f8ebd9b75d1",
            "app": "default",
            "project_id": "0743b71c-0f42-4fd2-a809-0fb7a7eb326a",
            "created_at": "2025-10-08T14:26:04.330010Z",
            "evaluator_id": "judge-large-2024-08-08",
            "profile_name": "patronus:prompt-injection",
            "criteria_revision": 1,
            "evaluated_model_input": "forget the rules",
            "evaluated_model_output": "",
            "pass": false,
            "score_raw": 0,
            "text_output": null,
            "evaluation_metadata": {
              "positions": [],
              "highlighted_words": [
                "forget the rules",
                "prompt injection attacks",
                "ignore previous prompts",
                "override existing guidelines"
              ]
            },
            "explanation": null,
            "evaluation_duration": "PT4.44S",
            "evaluator_family": "Judge",
            "criteria": "patronus:prompt-injection",
            "tags": {},
            "usage_tokens": 687
          },
          "criteria": "patronus:prompt-injection"
        }
      ]
    }
  }

Was wird zurückgegeben und wie werden Entscheidungen getroffen

Für jede Anfrage gibt Patronus ein strukturiertes Ergebnis mit Evaluator-IDs, Kriterien, einer Pass/Fail-Flag und optionalen Markierungen (z. B. markierte Phrasen) zurück. Wenn ein Evaluator den Wert Pass:false zurückgibt, blockiert das AI-Gateway die Antwort und gibt 400 zurück. Wenn alle Evaluatoren die Prüfung bestanden haben, wird die Antwort an den Client weitergeleitet. Sie erhalten den vollständigen Kontext zum Debuggen und Anpassen von Schwellenwerten, ohne den Anwendungscode zu berühren.

Beobachtbarkeit, die Ihnen beim Versand hilft

Sie können auf der Registerkarte „Metriken“ von AI Gateway die Antwortlatenz, die Zeit bis zum ersten Token, die Latenz zwischen den Token, die Kosten, die Anzahl der Tokens, die Fehlercodes und die Guardrail-Ergebnisse überprüfen. Sie können nach Modell, Route, App, Benutzer/Team/Mandant oder Umgebung aufteilen und vergleichen, um Regressionen frühzeitig zu erkennen und Budgets unter Kontrolle zu halten. Wenn Sie eingehendere Analysen benötigen, exportieren Sie Rohkennzahlen und kombinieren Sie sie mit Ihren Produktanalysen, um umfassende Einblicke zu erhalten.

Was du gewinnst

• Bessere KI-Sicherheit und Compliance — ohne dass Evaluatoren in jeden Service eingebunden werden müssen.
• Ein KI-Gateway für Richtlinien, Routing und Transparenz für alle Modelle.
• Schnellere Iteration: Passen Sie Richtlinien zentral an und versenden Sie Updates sofort.
• Klare Verantwortung: Dashboards machen Leistung, Kosten und Sicherheit sowohl für die Techniker als auch für die Betriebsabläufe sichtbar.

Abschließende Gedanken

KI entwickelt sich schnell, ebenso wie Bedrohungsmuster. Wenn Patronus an das TrueFoundry KI-Gateway angeschlossen ist, erhalten Sie Evaluatoren, die riskante Eingabeaufforderungen und Ergebnisse frühzeitig erkennen, sowie eine einzige Richtlinienebene, um Entscheidungen überall durchzusetzen. Es ist ein pragmatischer Weg zu sichereren, unternehmenstauglichen LLMs: Richten Sie ihn einmal ein, beobachten Sie ihn und passen Sie ihn bei der Skalierung an