ループこそが新しいミドルウェア:エンタープライズ戦略としてのループエンジニアリング

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
エンタープライズソフトウェアのあらゆる時代において、運用上の決定が積み重なるまでは二次的なものに見えるレイヤーが存在します。クライアント/サーバー時代にはアプリケーションサーバーが、クラウド時代にはコンテナオーケストレーターが、データ時代にはパイプラインスケジューラがその役割を果たしました。パターンとして共通しているのは、注目のコンポーネントが消滅するのではなく、運用上の差別化の多くがそれを実行する仕組みへと移行していくということです。AIエージェントにおいて、その仕組みには名前があります。TrueForgeのドキュメントでは、エージェントハーネスを簡潔に定義しています:「LLMの周りにあるランタイムレイヤーであり、モデルを信頼性の高い長期実行エージェントへと変えるもの」 エージェントに関する企業の運用体験の多く — プロセスの再起動後も実行が存続するか、設定された高リスクのアクションが人間の承認を待つか、作業コンテキストが圧縮または外部に退避されるか、コードがサンドボックス内で実行されるか、そして失敗後にプロセスを再現できるか — は、このランタイムレイヤー、すなわちモデルと外部世界との間の実行ループの中で形成されます。私たちはこのサイクルを設計する規律をループエンジニアリングと呼んできており、公開されているベンチマークにその測定結果を記載しています。本記事には意図的に数値結果を掲載していません。その代わりに戦略的な主張を行っています。より多くのワークロードにおいてモデルの選択肢のポータビリティが高まるにつれ、ループは永続性、コンテキスト、承認、分離、可観測性に関する決定を集約するため、ますますミドルウェアに似た存在となっています。オープン標準とオープンソース実装は、過去のいくつかのミドルウェアカテゴリにおいて戦略的に重要となりました。その歴史的背景は、TrueFoundryが自社のハーネスをオープンソース化するという決定の文脈(証明ではありません)となっています。
1. 判断はループ内に蓄積される
モデルは「能力」であり、ループは「ポリシーを適用できる場所」です。この違いは、ループが各周回で何を調停しているかをリストアップすると明確になります。本番システムに書き込みを行う設定されたツール呼び出しを実行するか停止するか — TrueForgeの機能一覧表には、そのバージョンが簡潔に記されています:「書き込み/破壊的なMCPツールの実行前に一時停止」 セッション状態が再接続や再起動をまたいで存続するかどうか — ハーネスのドキュメントでは、これをプロンプトの指示ではなくランタイムの属性として定義しています。生成されたコードがハーネスの資格情報を参照できるかどうか — TrueForgeのサンドボックス設計では、秘密情報をハーネス内に保持し、必要な時にのみコンピュートをプロビジョニングします。長期タスクがコンテキストを削減または外部退避させるか、委任されたサブタスクが作業履歴全体ではなく最終結果のみを返すか — これらもランタイムの選択です。これらはモデルの挙動だけでは確実に強制できません。それぞれが組織として一貫して適用したい運用上の決定であり、これがループがミドルウェアのように見え始める理由の一つです。ループは運用上の意図を再現可能な挙動へと変換できる場所なのです。対比表全体を見る価値があります。パターンこそがこの主張の根拠だからです:
ランタイムポリシーは各ターンを決定論的に調停できるため、ループにおける決定の影響はプロンプトの指示とは異なる形で蓄積されます。圧縮が行われる場所を変更すれば、そのランタイムを使用するすべての長期実行タスクがその変更を継承できます。承認境界を追加すれば、特定の危険なアクションに対して、単なる行動上の規律に頼るのではなく、明示的な承認ステップが必要になります(設定ミス、バイパス、不適切な承認の可能性は依然として残ります)。このメカニズムはミドルウェアでおなじみのものです — コントロールを一度定義すれば、一貫して適用されます。これがシニアエンジニアの関心がランタイムへと移行している理由を説明しています。プロンプトエンジニアリングは「モデルに何を伝えるか」を問いかけます。コンテキストエンジニアリングは「モデルに何を見せるか」を問いかけます。ループエンジニアリングは「モデル呼び出しの合間にシステムが何を行うか」を問いかけるものであり、その問いはプロンプトの作成者だけでなく、プラットフォームエンジニアリングやセキュリティエンジニアリングにとっても重要なテーマです。


2. 判断レイヤーがオープン性から得られるメリット
ループが運用上の判断を保持する場所であるならば、次に考えるべきは「それがどれほど検査可能でポータブルか」という問題です。歴史的な記録は一様ではありません。だからこそ有用な教訓は「ミドルウェアは常にオープンになる」というような単純な話にとどまりません。エンタープライズアプリケーションサーバーには、オープン標準やオープン実装と並んで、現在も主要な商用製品が含まれています。対照的に、コンテナオーケストレーションはオープンソースのKubernetesへと強力に収束し、ワークロースケジューリングにはマネージドサービスと並んでApache Airflowのような影響力を持つオープンソースシステムが存在します。繰り返されるパターンは必然性ではなく、運用レイヤーが戦略的に重要になると、企業はオープンなインターフェース、ソースコードの利用可能性、ポータビリティ、および独自の条件でレイヤーを実行または置き換える能力を高く評価するようになるということです。判断レイヤーは、その判断があなた自身のものであるがゆえに、監査可能であることから利益を得ます。
エージェントループもその軌跡の一部を辿る可能性があり、オープン性を支持する議論は観念的なものではなく具体的なものです。ソースコードが公開されていれば実装レベルでの監査が可能になりますが、それだけでデプロイされたバイナリが信頼できるか、あるいは正しく設定されているかが証明されるわけではありません。セルフホスティングをサポートするランタイムであれば、実行レイヤーを自社の境界内に配置できます。拡張可能なオープン実装があれば、ベンダ一のロードマップを待つことなく、チームが圧縮、チェックポイント処理、または統合の挙動を変更できます。そして、公開されたランタイムセマンティクスは切り替えの摩擦を軽減できますが、真のポータビリティはデータフォーマット、統合、外部サービス、および運用プラクティスに依存します。これがTrueFoundry自身の取り組みの背景です。TrueForgeはMITライセンスの下でオープン(リポジトリ)として公開されており、ローカルおよびホスト型での運用をサポートし、モデル、MCPサーバー、サンドボックスプロバイダーを接続された依存関係として扱い、その挙動をtrueforge.devで公開ドキュメント化しています。より詳細な主張についてはWhy agent harnesses should be openで述べていますが、戦略的な要約は1行に収まります。
3. ループに対して問うべきこと
ミドルウェアに対する6つの検証項目: 再起動後も作業は存続するか? コード実行環境から何が見えるか? どのアクションが人間による停止を必要とするか(ランタイムによって強制されるか、単なる期待か)? 機能はオンデマンドでロードされるか、それとも毎ターン引き継がれるか? トレースから実行を再現できるか? そして、明日ランタイムベンダーを解約した場合、具体的に何を失うことになるか?
これら6つの項目は詳細に検討する価値があります。良い回答と悪い回答の違いは修辞的なものではなく、アーキテクチャ上のものだからです — これは、自社製品を含め、あらゆるエージェントランタイムに対して私たちが行う検証でもあります。継続性(Continuity): タスクの途中でプロセスが終了した場合、セッション状態を再開できるか、それとも作業が消失するか? 隠蔽・分離(Containment): エージェントがコードを実行する際、その環境から何が見えるか? 信頼できるパターンの一つは、ハーネスの資格情報をサンドボックスの外に保持することです。TrueForgeはこの分離をドキュメント化しており、必要な時にのみサンドボックスのコンピュートをプロビジョニングします。同意・承認(Consent): どのアクションが人間の承認を必要とするか。それはランタイムのポリシーによって強制されるか、それともプロンプト内で要求されているだけか? 人間の承認は軽減策であり、有害なアクションが不可能であることを証明するものではありません。簡素性(Parsimony): ランタイムは必要に応じて機能をロードするか(ハーネスの機能で説明されているように、呼び出された際にツール定義やスキルが具現化されるか)、それとも各エージェントが毎ターンカタログ全体を引き継ぐか? 明瞭性(Legibility): 問題が発生した際、ランタイムが実際に記録したステップを再現し、それらをダウンストリームのログと関連付けることができるか? そしてポータビリティ(Portability): 明日ランタイムベンダーを変更する必要が生じた場合、どのコード、状態、統合、運用プラクティスを移行できるか? これらの問いに適切に答えられるループは、インフラストラクチャとして機能しています。ロードマップでのみ答えるループは、リスクレジスター(リスク管理簿)に分類されるべきものです。
公開ドキュメントに対してこれらの質問を投げかける大きなメリットは、回答を検証できる点です。TrueForgeの挙動に関する本記事内の主張はすべて公開ドキュメントからの引用であり、主観的な解説ではありません。また、定量的な証拠については、本論から意図的に外し、手法とともに確認できるベンチマークページに掲載しています。戦略論文は主張を行うべきであり、数値は誤差範囲を伴って提示されるべきだからです。
したがって、目指すべき実務上の姿勢は、ループをミドルウェアの決定として扱うことです。現在エージェントが強制している運用上の判断と、単に意図しているだけの判断を整理・インベントリ化してください。そして、各判断がどこに存在しているかを問いかけてください。モデルの挙動に影響を与えるプロンプト内にあるのか、決定論的なポリシー内にあるのか、それとも実装や移行パスをコントロールできるか分からないランタイム内にあるのか。過去のインフラストラクチャの時代は、エージェントランタイムが必ずオープンソースにならなければならないと証明しているわけではありませんが、基礎となるベンダーが変更された際のポータブルなインターフェースや運用プラクティスの価値を示しています。ループにも同様の先見性が必要です。
スコープ、手法、および開示事項
まず開示事項として:TrueFoundryは本論文を公開し、TrueFoundry AI Gatewayを販売し、記事全体で論じられているオープンソース(MIT)エージェントハーネスであるTrueForgeをメンテナンスしています。オープンなランタイムレイヤーを支持する主張には当社の利益が関係しており、ここではその利益を透明にした上で述べています。手法について:本稿は意図的に戦略論文として執筆されており、パフォーマンス数値は含まれていません。証拠を求める読者は、数値がその適用範囲と制限とともに示されている公開ベンチマークおよび実証的なループエンジニアリング分析を参照してください。TrueForgeの挙動に関するすべての記述は、trueforge.devの公開ドキュメントからの引用または密接な言い換えであり、各主張にリンクされています。アプリケーションサーバー、オーケストレーター、スケジューラとの歴史的類似性は編集上の解釈であり、証明ではなくパターンとして提示されています。ミドルウェアとしてのフレームワークおよび6つの検証項目は、当社の編集上の貢献です。参照されている第三者は、TrueFoundryを評価または推奨しているわけではありません。
参考文献
- TrueForge ドキュメント — 概要(ハーネスの定義、永続セッション、持ち込み、ローカル vs ホスト型); ハーネス機能(承認、ツールとしてのサンドボックス、遅延ロード、サブエージェント、圧縮); GitHub リポジトリ (MIT); プロダクトページ。
- 証拠(意図的に本論から除外) — ベンチマークページ(手法と数値); Same Model, Different Loop(測定に基づく分析)。
- 関連する TrueFoundry ブログ — Loop Engineering at Enterprise Grade(Boyu Wang 著); Loop Engineering at Enterprise Scale(Boyu Wang 著); From Prototype to Enterprise Production: Extending Andrew Ng's Three Loops(Boyu Wang 著); Why agent harnesses should be open。
- 歴史的背景 — IBM WebSphere Application Server および Oracle の Fusion Middleware/WebLogic statement of direction は商用アプリケーションサーバー製品が現在も利用されていることを示しています。Kubernetes と Apache Airflow は、オーケストレーションとワークロースケジューリングにおける影響力のあるオープンソースインフラストラクチャを例証しています。
- セキュリティ境界 — OWASP AI Agent Security Cheat Sheet は、承認、最小権限、ログ記録、敵対的テストを絶対的な保証ではなく相互補完的なコントロールとして扱っています。
TrueFoundryは本分析を公開し、TrueFoundry AI Gatewayを販売し、TrueForge(MIT)をメンテナンスしています。本論文には意図的にパフォーマンスやコストの数値を含めていません。定量的な主張は、手法とともにリンク先のベンチマークおよび分析に掲載されています。プロダクトの挙動は、trueforge.devの公開ドキュメントから引用され、各主張にリンクされています。ミドルウェアのフレームワーク、歴史的類似性、および検証項目は編集上のものです。図版はTrueFoundryオリジナルのグラフィックです。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






