Blank white background with no objects or features visible.

TrueFoundryはSeldon AIの買収を発表し、エンタープライズAI向けコントロールプレーンを拡張します。プレスリリース全文はこちら→

FloQast は、財務・経理チームが月次決算、照合、コンプライアンスを管理するために使用する会計変革プラットフォームです。同社が、取引照合や差異分析から仕訳入力支援、照合コパイロットに至るまで、製品全体に大規模言語モデルを組み込むにつれて、金融ソフトウェア企業に求められる基準、すなわち厳格なデータガバナンス、地域データレジデンシー、セキュリティ、信頼性を満たす本番環境でのAI運用方法が必要となりました。このケーススタディでは、FloQastがTrueFoundry AI Gatewayをどのように活用して、組織全体のLLMおよびエージェントインフラストラクチャを一元化、保護、拡張したかを探ります。

課題:金融グレードのガバナンス下での本番環境AI

FloQastは、規制が厳しく、セキュリティ意識の高い分野で事業を展開しています。AI機能を構築することは、単にモデルAPIを呼び出すだけではありませんでした。データの保存場所、どの機能に誰がアクセスできるか、そしてすべてのリクエストがどのように監視され、保護されるかについて、厳格な管理が必要でした。

3つの要件が特に重要でした。1つ目は、 データレジデンシーとガバナンス:プロンプトとトレースをFloQast自身のインフラストラクチャに保存し、米国、EU、APACといった特定の地域内に保持する必要がありました。その後、地域固有のゲートウェイを介して、対応するモデルプロバイダーのエンドポイントに送られるようにする必要がありました。2つ目は、 一元的な管理:複数のモデルプロバイダーに対してAI機能をリリースするチームが増えるにつれて、FloQastは、推論の統制、MCPサーバーとエージェントの管理、そして可観測性とコスト可視性の維持を一元的に行う必要がありました。3つ目は、 セキュリティと最小権限アクセス:金融企業として、FloQastはSQLインジェクションのような脅威に対するガードレールと、APIキーがチームが実際に必要とする特定のLLM機能のみに対応するように、アクセスを厳密に制限する機能が必要でした。

「プロンプトとトレースの実際の保存場所が、EU、APAC、または米国のいずれかの地域に準拠していることを確認すること、そしてそれを特定のゲートウェイを介して簡単に転送し、ストレージをこれら3つの地域に紐付けられたS3ロケーションに置くことができる機能は、TrueFoundryにとって非常に大きなメリットでした。」

コリン・シドベリー、ソフトウェアエンジニア、FloQast

ソリューション:推論、MCP、ガードレール、ルーティングのための単一ゲートウェイ

FloQastは、すべてのAIトラフィックのコントロールプレーンとしてTrueFoundry AI Gatewayを標準化しました。チームにとって際立っていたのは、組み込まれた機能の多さでした。

「掘り下げていくほど、製品にどれだけの機能が組み込まれているか、そしてあらゆる場面で新たな層が発見されることに気づかされます。TrueFoundryがいかに強力であるか、すぐに理解できるでしょう。MCPサーバー、エージェントの管理、使用するプロンプト、独自のインフラを構築せずにテストできるUI内のプレイグラウンド、さらにLLM推論まで、多くの機能が一つに凝縮されています。」

FloQastチームにとって最も重要な機能は何かと尋ねられた際、コリンはいくつか挙げました。

1. スタックの中核としてのLLMプロキシ

統合推論レイヤーは、他のすべての機能が流れ込む基盤です。Anthropic、OpenAI、Google Geminiなどの新しいモデルプロバイダーを追加するのは迅速かつ簡単です。過去90日間だけで、FloQastはトラフィックを 6つのプロバイダー (Anthropic、OpenAI、AWS Bedrock、Google Vertexなど)にルーティングし、AnthropicのClaude Sonnet 4.6が米国およびEUのエンドポイント全体で大半のトラフィックを処理しました。このゲートウェイは、およそ 151億の入力トークンと2億8500万の出力トークン を、 390万件のモデルリクエストにわたって処理しました。

2. コスト可視化のための機能別セグメンテーション

FloQastは、プロキシの上に仮想アカウントを重ねることで、展開されている特定の製品機能ごとに推論をセグメント化しています。これにより、機能ごとの支出を簡単に追跡し、LLM予算がどこに使われているか、どの機能が最も利用されているか、チームがどこで最大の価値を得ているかを確認できます。

「簡単に別のプロキシを上に置くことで、展開している実際の機能ごとにLLM推論をセグメント化できます。これは機能ごとの価格を追跡する簡単な方法であり、最も利用されている機能と、LLM予算を最大限に活用している場所を可視化できます。」

コリン・シドベリー、ソフトウェアエンジニア、Floqast

これはデータに直接現れています。個別の仮想アカウント(変換、FDM、JEM、差異、照合のワークロード)はそれぞれ数十万件のリクエストを処理し、その期間における推論の総支出はおよそ 2万5千ドル と追跡され、機能ごとに完全に帰属可能です。

3. セキュリティとコンプライアンスのためのガードレール

FloQastは、PII検出、シークレット検出、インジェクション攻撃に対するSQLサニタイザー、プロンプトインジェクション防御、コンテンツモデレーション、コードリンティングといった一連のセキュリティガードレールをゲートウェイを介して実行しています。90日間で、ゲートウェイは 8万回以上のガードレールチェック を行い、追加されたのはわずか 平均約53ミリ秒のレイテンシーで、製品の速度を落とすことなく危険なリクエストを検出しました。

「ガードレールを簡単に設定できること。これにより、SQLインジェクション攻撃や、金融会社であるためセキュリティのベストプラクティスやソフトウェアコンプライアンスのために必要なその他の安全ガードレールに対応できます。また、APIキー全体でアクセスを最小特権に限定できるため、全員がフルアクセスを持つのではなく、特定のキーを特定のLLM機能に紐付けることができます。必要なものだけを与えているのです。」

Colin Sidberry、ソフトウェアエンジニア、FloQast

MCPとエージェント管理

生の推論だけでなく、FloQastはゲートウェイを使用して、AIエージェントが財務データの読み取り、ルールの取得、テーブルデータの引き出し、仕訳帳の処理を行うために呼び出すツールであるMCP(Model Context Protocol)サーバーを管理しています。MCPゲートウェイが処理したのは 13万9千回のツール呼び出し で、プレイブック、トランスフォーム、FDM、JEMなどのサーバー全体で、平均レイテンシーは 389ミリ秒でした。これによりFloQastは、モデル呼び出しと並行してエージェントツールを使用するための単一の統制されたインターフェースを得ました。

タイムゾーンを越えて完結するサポート

FloQastは、サポート体験を差別化要因として強調しました。チームは専用のSlackチャンネルを通じてTrueFoundryと連携しており、最近では数分以内に回答するAIサポートアシスタントも利用しています。これは、常に同じタイムゾーンにいるとは限らないチームにとって非常に価値があります。

「TrueFoundryのサポートチームとの連携は本当に素晴らしいです。専用のSlackチャンネルがあり、チームは非常に迅速に対応してくれます。数ヶ月前にリリースされたAIシステムも非常に役立っています。数分以内に返答があり、情報の正確性も確かです。さらに、サポートチームはすぐにフォローアップして、追加の質問がないか確認してくれます。」

Colin Sidberry、ソフトウェアエンジニア、Floqast

結果:大規模で信頼性の高い、統制されたAI

TrueFoundryに集約することで、FloQastは複雑な複数プロバイダー、複数リージョンにまたがるAIフットプリントを、単一の統制されたプラットフォームへと変革しました。

直近90日間で、ゲートウェイは 400万件以上のリクエストを処理し、 チャット補完、応答、埋め込み、MCPコール全体で、 98.9%の成功率を維持しました。 モデルトラフィックにおいて。インテリジェントルーティングは 373万件のリクエストを 仮想モデルルーティングルールを通じて誘導し、ルーティング失敗率はほぼ 0.04%でした。重要なことに、これらすべては プロンプトとトレースがFloQast自身のインフラストラクチャ内に保存された状態で実行されました。、金融ソフトウェア企業が必要とするデータガバナンス体制をリージョンごとに維持しつつ、チームには可観測性、コストデータ、セキュリティのベストプラクティスを一元的に提供しました。

「間違いなく、これは大きな変革をもたらしました。ゲートウェイを探す上で、信頼性が私たちの主要な懸念事項でした。すべてを自社のインフラストラクチャ内に保存できるため、トレースとプロンプトに関する独自のデータガバナンスルールを維持できること、さらに可観測性、価格データ、セキュリティのベストプラクティスに関する一元的なポイントがあることは、本当に役立っています。」

Colin Sidberry、ソフトウェアエンジニア、Floqast

AIゲートウェイを導入するチームへの主要なポイント

データレジデンシーを初日から統制しましょう。 規制産業では、プロンプトとトレースの保存場所や地域が、後回しにされるのではなく、最優先事項となります。推論を地域固有のゲートウェイ経由でプロバイダーのエンドポイントにルーティングすることで、FloQastはデータを適切な場所に自動的に保持できるようになりました。

推論を一元化し、その後セグメント化する。 すべてのモデルプロバイダーに対応する単一のプロキシと、その上に重ねられた機能ごとの仮想アカウントにより、FloQastは単一の統合によるシンプルさと、コストと使用状況を個々の機能に帰属させるための粒度の両方を得ることができました。

ガードレールと最小権限アクセスをデフォルトのインフラストラクチャとして扱う。 ゲートウェイでPII、シークレット、SQLインジェクション、プロンプトインジェクションのガードレールを実行し、APIキーを特定の機能にスコープすることで、アプリケーションごとに後付けするのではなく、すべてのリクエストにセキュリティを組み込むことができます。

オンボーディングには早期から投資する。 非常に多くの機能が利用可能であるため、コリンが他のエンジニアに与えるアドバイスは、物事を正しく設定し、組み込まれているものを最大限に活用するために、事前にTrueFoundryチームと深く連携することです。

「内部には多くの機能が詰まっているので、誤った方法で設定してしまいがちです。本当に役立ったのは、私たちが何をしようとしているのかをチームと早期に深く掘り下げて検討し、それをより良く実装する方法について知識を共有してもらったことです。もし最初に戻ってそれを先にできていたら、すべてがもっと簡単になっていただろうと思います。」

Colin Sidberry、ソフトウェアエンジニア、FloQast

結論

FloQastの経験は、規制され、セキュリティを最優先する領域でAIを運用することが、ガバナンスインフラをゼロから構築することを意味するわけではないことを示しています。推論、MCPおよびエージェント管理、ガードレール、ルーティングのためにTrueFoundryのAI Gatewayを標準化し、データを自社のクラウドに保持することで、FloQastは6つのモデルプロバイダーにわたる数百万の管理されたリクエストにスケールアップし、顧客が期待する信頼性、データレジデンシー、最小権限セキュリティを維持しました。

The fastest way to build, govern and scale your AI

MLパイプラインを初日から運用

パイプライン