構造化出力:本番AIに単なる文章ではなくスキーマが必要な理由

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
最も簡単なAIのデモはテキスト出力で終わります。しかし、本番システムでそれが完結することはめったにありません。システムが必要とするのは、チケットオブジェクト、ルーティング決定、エンティティのリスト、APIペイロード、ツール呼び出し、または後続のプログラムがモデルの意図を推測することなく処理できるUI状態です。
だからこそ、構造化出力は単なるフォーマットの工夫以上の意味を持ちます。それは、確率的モデルが決定論的ソフトウェアと交差する境界線の1つです。JSONモードは構文を予測可能にします。スキーマは形状を制約できます。Pydanticやそれと同等のアプリケーションバリデーションは、型やローカルの不変条件を強制できます。ビジネスバリデータは、スキーマでは把握できない事実やドメインルールを検証します。承認(認可)は、構造的に有効なオブジェクトが外部アクションを引き起こしてよいかどうかを決定します。
1. 構造の4つのレベル
各レベルは異なる失敗モードに対応します。自由形式のテキストは表現力豊かですが、ソフトウェアが確実に解釈するにはコストがかかります。JSONモードはパースを予測可能にします。厳格な構造化出力パスは、オブジェクトを宣言されたスキーマに制約できます。アプリケーションバリデーションは、スキーマで表現できないルール、またはスキーマ単独での判断を信頼すべきではないルール(与信限度額、リソースの所有権、デプロイ環境、顧客IDが存在するかどうか、タイムスタンプがワークフローに対して十分に新しいかどうかなど)を検証します。承認(認可)はさらに別のものであり、要求が有効であっても禁止される場合があります。

JSONモード
マシンリーダブルなJSONが必要だが正確な形状が流動的な場合は、JSONモードを使用します。TrueFoundryの現在のChat Completionsドキュメントでは、json_objectを構造の制約がない有効なJSONとして説明しています。これは軽量なデータ抽出には便利ですが、安定したAPI契約と混同すべきではありません。
JSON Schema
後続のソフトウェアが安定したマシン契約に依存しており、選択したモデル/プロバイダーのパスが期待するスキーマをサポートしている場合は、厳格なスキーマを使用します。必須フィールド、列挙型(enum)、ネストされた構造、配列、およびadditionalPropertiesルールにより、インターフェースのテスト可能性が大幅に向上します。
しかし、「JSON Schemaのサポート」は統一された単一の機能ではありません。たとえば、OpenAIのネイティブなStructured Outputsは、拒否や切り捨てが発生しなかった正常なレスポンスを指定されたスキーマに制約できます。他のプロバイダーは異なるサブセットやセマンティクスをサポートしています。TrueFoundryは、レスポンススキーマを必須のツール呼び出しに変換することで、サポートされていないネイティブパスを補完できますが、そのプロバイダーガイダンスにはプロバイダー固有の制約が記載されています。たとえば、Anthropicの一部のパスでは、minimum/maximumやPydanticのge/leなどの数値/文字列制約キーワードを受け入れません。したがって、移植性のあるAPIインターフェースと、完全に移植可能なスキーマ語彙は同じではありません。
セマンティックバリデーションとビジネスバリデーション
構造が完全に一致していても、データとして誤っている場合があります。モデルは、許可された予約期間外の構文的に有効な日付、正しい型だが間違ったテナントの注文ID、またはポリシーを超える返金額を出力する可能性があります。決定論的なバリデータは、別のモデルに評価を求める前に、決定論的に表現できるルールを処理する必要があります。
また、プロバイダーの適合性(conformance)とアプリケーションのバリデーションを区別してください。プロバイダーまたはGatewayがスキーマに適合したオブジェクトを返したとしても、そのオブジェクトを信頼する前に、アプリケーション側でPydantic、Zod、JSON Schemaバリデータ、データベースルックアップ、ポリシーチェック、および事後条件の検証が引き続き必要になる場合があります。
アクション契約
ツール呼び出しは、同じ「型定義された契約」という概念を、より大きな影響を伴う環境に持ち込みます。オブジェクトが操作を選択し、引数を提供します。したがって、スキーマ設計はセキュリティ設計の一部となります。限定された列挙型、明示的な必須フィールド、境界が定められたオブジェクト、および最小限の引数表面により、モデルが提案できる内容が縮小されます。ただし、呼び出し元に実際に実行が許可されているかどうかは、承認とポリシーによって決定されなければなりません。
スキーマ設計はモデルインターフェースの設計である
モデルに適した最高のスキーマとは、バックエンドがすでに公開しているスキーマと一致することはめったにありません。モデル向けインターフェースは、小さな列挙型、明示的な必須フィールド、浅いネスト、そしてモデルが実際に下している決定を反映した名称からメリットを得られます。バックエンドが60個のフィールドを持つオブジェクトを受け入れる場合でも、モデルには5つのフィールドからなる意図(intent)オブジェクトを要求し、決定論的なアプリケーションコードによってそれを内部表現に拡張させることを検討してください。
これにより、プロンプトの複雑さと爆発半径(影響範囲)が減少します。{"action":"refund","order_id":"...","amount":...}を提案できるモデルは、請求サービス全体のペイロードを構築するよう求められるモデルよりも限られた権限しか持ちません。したがって、型定義されたインターフェースは単なる信頼性向上の技術ではなく、モデルに作成が許可される状態(State)を制限する方法でもあります。
APIのようにスキーマのバージョン管理を行う
後続のコードがモデル出力に依存するようになると、スキーマの変更はAPIの変更と同義になります。必須フィールドの追加、列挙型の名称変更、ネストの変更は、モデル自体が正しく動作していてもコンシューマー(呼び出し元)を壊す可能性があります。スキーマバージョンはデプロイ可能なアーティファクトとして扱い、リクエストやトレースとともにバージョンを記録し、代表的なトラフィックに対して新旧のバリエーションをテストし、互換性ポリシーを明確にしてください。
有効なロールアウトパターンとして「シャドウバリデーション」があります。本番での生成処理は現在の契約のまま維持しつつ、監査やオフライン評価で候補となるスキーマに対して代表的な出力を検証します。これにより、新しい契約が本番環境でクリティカルになる前に互換性の不具合を発見できます。
制約付き生成と修復は異なる問題を解決する
モデル/プロバイダーがネイティブのスキーマ制約付き生成をサポートしている場合は、それを使用してください。構造的に無効なトークンを発生させないことは、事後に不正な形式の出力をパースするよりも優れています。ただし、構造的な適合性が高くても、拒否、生成の中断、プロバイダー固有のスキーマ制限、およびビジネスバリデーションの失敗は依然として発生するため、明示的なアプリケーションの失敗パスを保持してください。
修復(リトライ修正)が適切な場合は、欠陥を機械読取可能にし、ループの回数を制限してください。不特定多数の「再試行してください」サイクルよりも、少数のターゲットを絞った修正を行う方が一般的に推論しやすくなります。決定論的な欠陥については、モデルに同じルールを繰り返し再発見させるのではなく、決定論的な修正や上位へのエスカレーションを優先してください。
2. TrueFoundryの役割:プロバイダー固有のセマンティクスを備えた、モデル間での単一の応答契約
TrueFoundryの構造化出力APIは、OpenAI互換のChat Completionsインターフェースを介して、JSONモード、JSON Schema、およびPydanticスタイルの統合をサポートしています。プロバイダーサポートのドキュメントでは、そのポータビリティメカニズムが明示されています。Gatewayは、利用可能な場合はプロバイダーのネイティブ構造化出力機能を使用し、その他のパスではレスポンススキーマを必須のツール呼び出しに変換し、結果として得られる引数をmessage.contentに抽出します。
これは有用なポータビリティですが、すべてのバックエンドで完全に同一のセマンティクスを持つと解釈すべきではありません。プロバイダーネイティブのスキーマサブセットは異なり、ツール呼び出しを介して変換されたスキーマは、ネイティブな制約付きデコーディングとは異なる強制メカニズムとなります。チームはデプロイ予定の正確なモデルとプロバイダーの組み合わせをテストし、境界部分にアプリケーションバリデーションを維持する必要があります。
Pythonアプリケーション向けに、TrueFoundryは直接的なPydanticバリデーションとInstructorの統合もドキュメント化しています。InstructorはPydanticのバリデーションエラーをリトライ用のフィードバックに変換できますが、そのリトライ動作は「JSON Schema」の概念自体ではなく、Instructor/アプリケーションのワークフローに属します。
アクションの境界において、MCP Gatewayは型定義されたツール契約をガバナンスされた外部アクションへと接続します。MCP 2026-07-28仕様では、inputSchemaとオプションのoutputSchemaの両方が定義されており、$schemaが指定されない場合、どちらもデフォルトでJSON Schema 2020-12になります。MCPサーバーは宣言された出力スキーマに適合する構造化された結果を返す必要があり、クライアントはそれらを検証することが期待されます。より豊かなスキーマは相互運用性を向上させますが、それでも操作の「承認」までを行うものではありません。

TrueFoundry Agentの定義には、JSONオブジェクトやJSON Schemaバリエーションを含むresponse_formatを保持させることもでき、Agent Harnessがモデル/ツールのループを実行します。だからといって、Harnessが希望するビジネスバリデーション、修復、ユーザーへの明確化、または事後条件のワークフローを自動的に実行すると推測しないでください。これらの動作はエージェント/アプリケーションの設計で明確にし、それ自体としてテストする必要があります。
ガードレールもまた別の独立したレイヤーです。TrueFoundryのGatewayドキュメントには、モデルの応答を返す前に拒否できる出力ガードレールが記載されていますが、重要なストリーミングの境界についても記述されています。ストリーミングされた応答では、評価に必要な完全な応答が利用できないため、LLM出力ガードレールはスキップされます。したがって、構造化出力の適合性、アプリケーションバリデーション、およびガードレールは、1つの「バリデーション」という箱にまとめるのではなく、個別に検討する必要があります。
3. 最初に失敗パス(エラーハンドリング)を設計する
成功パス(ハッピーパス)はシンプルです。本番環境における課題は、契約が満たされない場合、あるいは構造的には満たされているもののビジネスルールによって拒否された場合に何が起こるかです。
上記のような欠陥(Defect)オブジェクトは、モデルに「回答が間違っています」と伝えるよりもはるかに有用です。これにより、ターゲットを絞った修復、失敗クラスごとのメトリクス収集、決定論的なフォールバック、および繰り返し同じ不変条件に違反した際のエスカレーションが可能になります。プロバイダーの失敗とアプリケーションの失敗を区別して管理してください。拒否、不完全な生成、スキーマの不互換性、構造バリデーション、ビジネスバリデーション、承認、および後続の実行エラーはそれぞれ異なる失敗クラスであり、単一のリトライバケットにまとめるべきではありません。
4. 境界線を明確にする
構造化出力はインターフェースの曖昧さを減らしますが、モデルを正しくするわけではありません。スキーマに適合した無意味なデータ(ナンセンス)は、どこまでいっても無意味です。ポータブルなresponse_formatであっても、各プロバイダーの実装が同一になるわけではありません。Pydanticによるバリデーションは事実を証明するものではありません。有効なツール引数オブジェクトは権限を付与しません。そして、出力ガードレールはスキーマやビジネスバリデータの代わりにはなりません。
すべての応答を無理にJSONに押し込める必要もありません。人間向けの解説は、横に型定義された状態やメタデータを添えた文章(プロズ)のほうが優れていることがよくあります。最も強力なパターンはハイブリッドです。機械には構造化された状態を、人間には自然言語を提供することです。
参考文献
- TrueFoundry: Chat Completions — Structured Outputs
- TrueFoundry: Provider support for response schemas
- TrueFoundry: Instructor integration
- TrueFoundry: Guardrails and output-validation behavior
- TrueFoundry SDK types: Agent response formats
- Model Context Protocol 2026-07-28: Tools, input/output schemas, and structured content
- OpenAI: Structured Outputs and JSON-mode distinctions
スキーマは表現上の制約を確立するものであり、真実や承認を保証するものではありません。プロバイダーの動作やサポートされるスキーマのサブセットは異なります。ビジネスバリデーション、ポリシーの適用、および失敗処理は個別のレイヤーとして残るため、それぞれ独立してテストする必要があります。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






