Blank white background with no objects or features visible.

Hallo EMEA! TrueFoundry baut seine Präsenz in Europa, dem Nahen Osten und Afrika weiter aus. Mehr erfahren. →

Strukturierte Ausgaben: Warum KI in der Produktion Schemata braucht und nicht nur Fließtext

von Boyu Wang

Aktualisiert: November 3, 2026

Published: August 21, 2026

Die einfachste KI-Demo endet mit Text. Produktionssysteme tun das selten. Sie benötigen ein Ticket-Objekt, eine Routing-Entscheidung, eine Liste von Entitäten, eine API-Nutzlast, einen Tool-Aufruf oder einen UI-Zustand, den ein anderes Programm verarbeiten kann, ohne raten zu müssen, was das Modell meinte.

Deshalb sind strukturierte Ausgaben mehr als ein Formatierungstrick. Sie bilden eine Schnittstelle, an der ein probabilistisches Modell auf deterministische Software trifft. Der JSON-Modus kann die Syntax vorhersehbar machen. Ein Schema kann die Form einschränken. Pydantic oder eine äquivalente Anwendungsvalidierung kann Typen und lokale Invarianten erzwingen. Geschäfts-Validatoren prüfen Fakten und Domänenregeln, die das Schema nicht kennen kann. Die Autorisierung entscheidet, ob ein strukturell gültiges Objekt eine externe Aktion auslösen darf.

Funktionsprinzip und Wichtigste Erkenntnisse
Das Funktionsprinzip: Natürliche Sprache dient der Bedeutung; typisierte Verträge dienen der Übergabe.

Wichtigste Erkenntnisse

  • Gültiges JSON ist kein Vertrag. Der JSON-Modus kann parsbare Ausgaben erzeugen, ohne zu beweisen, dass erforderliche Felder, Enums oder die Objektform dem entsprechen, was nachgelagerter Code erwartet.
  • Strikte Schema-Ausgabe verengt die Schnittstelle, jedoch nur innerhalb ihres unterstützten Vertrags. Anbieter-Funktionen, Schema-Schlüsselwort-Unterstützung, Ablehnungen (Refusals), Trunkierungen und Fallback-Mechanismen sind weiterhin von Bedeutung.
  • Validierung gehört auch nach die Generierung. Form ist nicht gleich Wahrheit: Eine schema-gültige Kunden-ID, ein Betrag, ein Datum oder eine Ressource kann dennoch gegen Domänenregeln verstoßen.
  • Tool-Aufrufe sind strukturierte Ausgaben mit Konsequenzen. Ein typisierter Tool-Name und ein Argument-Objekt beschreiben eine beabsichtigte Aktion; Laufzeit-Autorisierung und Richtlinien entscheiden, ob sie ausgeführt werden darf.
  • Reparatur benötigt einen begrenzten Fehlerpfad. Geben Sie maschinenlesbare Validierungsfehler zurück, wenn eine Korrektur nützlich ist, aber lassen Sie Wiederholungsversuche (Retries) nicht zu einer endlosen Schleife werden.
  • TrueFoundry bietet eine einheitliche response_format-Oberfläche über alle Anbieter hinweg. Das Gateway nutzt native strukturierte Ausgaben, wo sie unterstützt werden, und kann Schemata an anderer Stelle in erforderliche Tool-Aufrufe übersetzen; diese Portabilität bedeutet jedoch nicht, dass das Schema-Vokabular oder die Garantien jedes Anbieters identisch sind.

1. Vier Stufen der Strukturierung

Jede Stufe adressiert einen anderen Fehlermodus. Freiformtext ist ausdrucksstark, aber für Software nur schwer zuverlässig zu interpretieren. Der JSON-Modus macht das Parsen vorhersehbar. Strikte Pfade für strukturierte Ausgaben können ein Objekt auf ein deklariertes Schema beschränken. Die Anwendungsvalidierung prüft Regeln, die das Schema entweder nicht ausdrücken kann oder bei denen ihm nicht allein vertraut werden sollte – Kreditlimits, Ressourceninhaberschaft, Bereitstellungsumgebung, Ob eine Kunden-ID existiert oder ob ein Zeitstempel für den Workflow frisch genug ist. Die Autorisierung ist wiederum getrennt zu betrachten: Eine gültige Anfrage kann dennoch verboten sein.

TrueFoundry LLM guardrail flow
Offizieller TrueFoundry LLM Guardrail-Ablauf. Guardrails und die Validierung strukturierter Ausgaben sind komplementäre Kontrollen: Ein Schema schränkt die Darstellung ein, während Guardrails Inhalte und Richtlinienverstöße überprüfen oder blockieren können.

JSON-Modus

Verwenden Sie den JSON-Modus, wenn Sie maschinenlesbares JSON benötigen, die genaue Form jedoch flexibel ist. Die aktuelle Chat Completions-Dokumentation von TrueFoundry beschreibt json_object als gültiges JSON ohne Struktur-Constraints. Das ist nützlich für eine leichte Extraktion, sollte jedoch nicht mit einem stabilen API-Vertrag verwechselt werden.

JSON Schema

Verwenden Sie ein striktes Schema, wenn nachgelagerte Software von einem stabilen Maschinenvertrag abhängt und der gewählte Modell-/Anbieterpfad das von Ihnen benötigte Schema unterstützt. Erforderliche Felder, Enums, verschachtelte Strukturen, Arrays und additionalProperties-Regeln können die Schnittstelle wesentlich besser testbar machen.

Aber „JSON Schema-Unterstützung“ ist keine universelle Eigenschaft. Die nativen Structured Outputs von OpenAI können beispielsweise erfolgreiche, nicht abgelehnte und nicht abgeschnittene Antworten auf ein bereitgestelltes Schema beschränken. Andere Anbieter unterstützen unterschiedliche Teilmengen oder Semantiken. TrueFoundry kann nicht unterstützte native Pfade überbrücken, indem es ein Antwort-Schema in einen erforderlichen Tool-Aufruf umwandelt. Die eigene Anbieter-Dokumentation führt jedoch anbieterspezifische Einschränkungen auf – beispielsweise akzeptieren einige Anthropic-Pfade keine numerischen/String-Constraint-Schlüsselwörter wie minimum/maximum oder Pydantics ge/le. Eine portable API-Oberfläche ist daher nicht dasselbe wie ein perfekt portables Schema-Vokabular.

Semantische und geschäftslogische Validierung

Selbst eine perfekte strukturelle Einhaltung kann falsch sein. Ein Modell kann ein syntaktisch gültiges Datum ausgeben, das außerhalb des zulässigen Buchungszeitraums liegt, eine Bestell-ID mit dem richtigen Typ, aber dem falschen Mandanten, oder einen Rückerstattungsbetrag, der die Richtlinien überschreitet. Deterministische Validatoren sollten Regeln verarbeiten, die deterministisch ausgedrückt werden können, bevor ein anderes Modell gebeten wird, sie zu beurteilen.

Unterscheiden Sie außerdem Anbieter-Konformität von Anwendungsvalidierung. Wenn ein Anbieter oder Gateway ein schema-konformes Objekt zurückgibt, benötigt Ihre Anwendung möglicherweise immer noch Pydantic, Zod, einen JSON Schema-Validator, Datenbankabfragen, Richtlinienprüfungen und Nachbedingungen, bevor sie dem Objekt vertraut.

Aktionsverträge

Tool-Aufrufe übertragen dieselbe Idee des typisierten Vertrags auf ein Szenario mit höheren Konsequenzen: Das Objekt wählt eine Operation aus und liefert Argumente. Das Schema-Design wird daher Teil des Sicherheitsdesigns. Enge Enums, explizit erforderliche Felder, begrenzte Objekte und minimale Argumentflächen reduzieren das, was das Modell vorschlagen kann – aber Autorisierung und Richtlinien müssen weiterhin entscheiden, was dem Aufrufer tatsächlich erlaubt ist.

Tabelle für sichere Standardwerte
Aktion Sicherer Standardwert Grund
Lokale CSV parsen In Sandbox zulassen Kapselung der Berechnung
Beliebiges Paket installieren Einschränken/Allowlist Lieferketten- + Netzwerkrisiko
Host-Secrets lesen Verweigern Exfiltration von Anmeldedaten
Produktions-API aufrufen Gesteuertes MCP-Tool nutzen Identität + Richtlinie + Audit
Generierten Code bereitstellen Genehmigung + externes Tool Schwerwiegender Seiteneffekt

Schema-Design ist Modell-Schnittstellen-Design

Das beste modellseitige Schema ist selten das Schema, das Ihr Backend bereits bereitstellt. Modell-Schnittstellen profitieren von kleinen Enums, explizit erforderlichen Feldern, flacher Verschachtelung und Namen, die die Entscheidung widerspiegeln, die das Modell tatsächlich trifft. Wenn das Backend ein Objekt mit 60 Feldern akzeptiert, sollten Sie in Betracht ziehen, das Modell nach einem Absichtsobjekt mit fünf Feldern zu fragen und deterministischen Anwendungscode dieses in die interne Darstellung erweitern zu lassen.

Dies reduziert die Prompt-Komplexität und den Schadensradius. Ein Modell, das {"action":"refund","order_id":"...","amount":...} vorschlagen kann, hat einen geringeren Befugnisrahmen als eines, das gebeten wird, eine gesamte Nutzlast für einen Abrechnungsdienst zu erstellen. Typisierte Schnittstellen sind daher nicht nur eine Zuverlässigkeitstechnik; sie sind eine Möglichkeit, den Zustand zu begrenzen, den das Modell erfinden darf.

Versionieren Sie Schemata wie APIs

Sobald nachgelagerter Code von der Modellausgabe abhängt, sind Schema-Änderungen API-Änderungen. Das Hinzufügen eines erforderlichen Feldes, das Umbenennen eines Enums oder das Ändern der Verschachtelung kann Konsumenten beeinträchtigen, selbst wenn sich das Modell selbst korrekt verhält. Behandeln Sie Schema-Versionen als bereitstellbare Artefakte: Erfassen Sie die Version zusammen mit Anfragen oder Traces, testen Sie alte und neue Varianten mit repräsentativem Datenverkehr und machen Sie die Kompatibilitätsrichtlinie explizit.

Ein nützliches Bereitstellungsmuster ist die Schatten-Validierung (Shadow Validation). Belassen Sie die Produktionsgenerierung auf dem aktuellen Vertrag, während Sie repräsentative Ausgaben gegen ein Kandidaten-Schema im Audit oder in der Offline-Evaluierung validieren. Dies deckt Kompatibilitätsfehler auf, bevor der neue Vertrag produktionskritisch wird.

Eingeschränkte Generierung und Reparatur lösen unterschiedliche Probleme

Wenn ein Modell/Anbieter eine native schema-eingeschränkte Generierung unterstützt, nutzen Sie diese: Das Verhindern strukturell ungültiger Tokens ist besser, als fehlerhafte Ausgaben im Nachhinein zu parsen. Behalten Sie jedoch einen expliziten Anwendungs-Fehlerpfad bei, da Ablehnungen (Refusals), unterbrochene Generierungen, anbieterspezifische Schema-Grenzen und Fehler bei der geschäftslogischen Validierung selbst bei starker struktureller Konformität weiterhin auftreten.

Wenn eine Reparatur angemessen ist, gestalten Sie den Fehler maschinenlesbar und halten Sie die Schleife begrenzt. Eine geringe Anzahl gezielter Korrekturen ist in der Regel leichter zu nachzuvollziehen als ein offener „Erneut versuchen“-Zyklus. Bei deterministischen Fehlern ist eine deterministische Korrektur oder Eskalation der Aufforderung an ein Modell vorzuziehen, dieselbe Regel wiederholt neu zu entdecken.

2. Wo TrueFoundry hineinpasst: Ein Antwortvertrag über Modelle hinweg, mit anbieterspezifischer Semantik

Die API für strukturierte Ausgaben von TrueFoundry unterstützt den JSON-Modus, JSON Schema und Integrationen im Pydantic-Stil über die OpenAI-kompatible Chat Completions-Oberfläche. Die Dokumentation zur Anbieter-Unterstützung legt den Portabilitätsmechanismus offen: Das Gateway nutzt die native Funktion für strukturierte Ausgaben eines Anbieters, sofern verfügbar. Für andere Pfade kann es das Antwort-Schema in einen erforderlichen Tool-Aufruf umwandeln und die resultierenden Argumente wieder in message.content extrahieren.

Das ist eine nützliche Portabilität, sollte jedoch nicht als identische Semantik über jedes Backend hinweg interpretiert werden. Anbieter-native Schema-Teilmengen unterscheiden sich, und ein über Tool-Aufrufe übersetztes Schema ist ein anderer Durchsetzungsmechanismus als das native eingeschränkte Dekodieren. Teams sollten die genaue Kombination aus Modell und Anbieter testen, die sie bereitstellen möchten, und die Anwendungsvalidierung an der Grenze belassen.

Für Python-Anwendungen dokumentiert TrueFoundry auch die direkte Pydantic-Validierung und eine Instructor-Integration. Instructor kann Pydantic-Validierungsfehler in Retry-Feedback umwandeln, aber dieses Retry-Verhalten gehört zum Instructor/Anwendungs-Workflow – nicht zum Konzept von „JSON Schema“ selbst.

An der Aktionsgrenze überträgt das MCP Gateway typisierte Tool-Verträge auf gesteuerte externe Aktionen. Die Spezifikation MCP 2026-07-28 definiert sowohl inputSchema als auch optionales outputSchema; beide weichen standardmäßig auf JSON Schema 2020-12 aus, wenn kein $schema angegeben ist. MCP-Server müssen strukturierte Ergebnisse zurückgeben, die einem deklarierten Ausgabe-Schema entsprechen, während von Clients erwartet wird, dass sie diese validieren. Umfangreichere Schemata verbessern die Interoperabilität, autorisieren jedoch weiterhin keine Operation.

TrueFoundry MCP Gateway architecture
Offizielle TrueFoundry MCP Gateway-Architektur. Typisierte Tool-Verträge können Eingaben und Ausgaben beschreiben; Zugriffskontrolle, Guardrails, Genehmigungen und nachgelagerte Autorisierung bestimmen, was tatsächlich passieren darf.

TrueFoundry Agent-Definitionen können auch ein response_format enthalten, einschließlich JSON-Objekt- oder JSON Schema-Varianten, während der Agent Harness die Modell/Tool-Schleife ausführt. Schließen Sie daraus allein nicht, dass der Harness automatisch Ihren bevorzugten Workflow für geschäftslogische Validierung, Reparatur, Benutzer-Klarstellung oder Nachbedingungen ausführt. Diese Verhaltensweisen sollten im Agenten-/Anwendungsdesign explizit definiert und als solche getestet werden.

Guardrails sind eine weitere, separate Ebene. Das Gateway von TrueFoundry dokumentiert Ausgabe-Guardrails, die Modellantworten vor der Rückgabe abweisen können. Es dokumentiert jedoch auch eine wichtige Streaming-Grenze: LLM-Ausgabe-Guardrails werden bei gestreamten Antworten übersprungen, da die vollständige Antwort für die Evaluierung nicht zur Verfügung steht. Konformität strukturierter Ausgaben, Anwendungsvalidierung und Guardrails sollten daher unabhängig voneinander betrachtet werden, anstatt sie in einer einzigen „Validierungs“-Box zusammenzufassen.

3. Entwerfen Sie zuerst den Fehlerpfad

Der Happy Path ist einfach. Die entscheidende Frage in der Produktion ist, was passiert, wenn der Vertrag nicht erfüllt wird – oder wenn er strukturell erfüllt, aber durch Geschäftsregeln abgelehnt wird.

Dieses Fehlerobjekt ist nützlicher als einem Modell mitzuteilen: „Deine Antwort war falsch.“ Es ermöglicht gezielte Reparaturen, Metriken nach Fehlerklasse, deterministischen Fallback und Eskalation, wenn wiederholte Versuche an derselben Invariante scheitern. Halten Sie Anbieterfehler von Anwendungsfehlern getrennt: Ablehnung, unvollständige Generierung, Schema-Inkompatibilität, strukturelle Validierung, geschäftslogische Validierung, Autorisierung und nachgelagerte Ausführung sind unterschiedliche Fehlerklassen und sollten nicht in einem einzigen Retry-Topf zusammengefasst werden.

Die Sandbox-Audit-Notiz
Das Sandbox-Audit. Welches Dateisystem kann Agenten-Code sehen? Welche Netzwerkziele kann er erreichen? Welche Umgebungsvariablen und Secrets existieren innerhalb des Prozesses? Sind Paketinstallationen uneingeschränkt? Welche Ressourcen-/Zeitlimits bestehen? Welche Artefakte überstehen das Beenden des Durchlaufs? Kann Code direkt auf Produktions-APIs zugreifen oder muss er eine gesteuerte Tool-Grenze überschreiten? Welche Aktion macht aus einem Sandbox-Artefakt einen realen Seiteneffekt und wer autorisiert sie? Wenn „es läuft in Docker“ das gesamte Bedrohungsmodell ist, ist das Isolationsdesign unvollständig.

4. Grenzen klar benannt

Strukturierte Ausgaben reduzieren Mehrdeutigkeiten an Schnittstellen; sie machen ein Modell nicht korrekt. Schema-konformer Unsinn ist immer noch Unsinn. Ein portables response_format führt nicht zu identischen Anbieter-Implementierungen. Eine Pydantic-Validierung beweist keine Fakten. Ein gültiges Tool-Argument-Objekt gewährt keine Berechtigung. Und ein Ausgabe-Guardrail ist kein Ersatz für ein Schema oder einen Geschäfts-Validator.

Nicht jede Antwort sollte in JSON gezwungen werden. Erklärungen für Menschen sind oft besser als Fließtext mit typisiertem Status oder Metadaten an der Seite. Das stärkste Muster ist hybrid: strukturierter Status für Maschinen, natürliche Sprache für Menschen.

Referenzen

Schemata etablieren Darstellungs-Constraints, keine Wahrheit oder Autorisierung. Das Anbieterverhalten und die unterstützten Schema-Teilmengen variieren; geschäftslogische Validierung, Durchsetzung von Richtlinien und Fehlerbehandlung bleiben separate Ebenen und sollten unabhängig getestet werden.

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Melde dich an
Inhaltsverzeichniss

Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur

Buchen Sie eine 30-minütige Fahrt mit unserem KI-Experte

Eine Demo buchen

Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren

Demo buchen
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Entdecke mehr

Keine Artikel gefunden.
November 19, 2026
|
Lesedauer: 5 Minuten

AI Gateway Observability for Agents: Oodle on TrueFoundry

Integrations
November 19, 2026
|
Lesedauer: 5 Minuten

AI Gateway Security for Agents: Straiker on TrueFoundry

Keine Artikel gefunden.
November 18, 2026
|
Lesedauer: 5 Minuten

Clause Code Limits erklärt (Ausgabe 2026)

Keine Artikel gefunden.
Analyzing how Cloudflare detects MCP traffic
November 18, 2026
|
Lesedauer: 5 Minuten

How Cloudflare Detects MCP Traffic and Helps Secure It

Keine Artikel gefunden.
Keine Artikel gefunden.

Aktuelle Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Machen Sie eine kurze Produkttour
Produkttour starten
Produkttour