Arthur AIとTruefoundry AI Gatewayの連携

Arthur AIとTruefoundry AI Gatewayの連携

LLMアプリケーションを開発するどのチームも、同じ課題に直面します。開発者は迅速に作業を進め、目的に合ったモデルに接続したいと考えます。一方、セキュリティチームやリスク管理チームは、有害な情報、操作された情報、あるいは幻覚（ハルシネーション）がユーザーに届かないことを保証したいと考えます。どちらの意見も正しいのです。難しいのは、チームが使用するあらゆるモデルに対して、アプリごとに異なるSDKを組み込むことなく、これら両方を同時に実現することです。そこで大きな疑問となるのが、 安全性をエンジニアリングプロジェクトにすることなく、AIが生成するあらゆるプロンプトと応答をどのように検証するのか？

この度、Arthur AIがTrueFoundry AI Gatewayと連携することを発表いたします。Arthur EngineをカスタムガードレールとしてGatewayに導入することで、一貫したポリシーと単一の統合で、すべてのモデルにわたるAIの入力と出力を一元的にリアルタイムで検証できます。

TrueFoundry AI Gatewayの力

TrueFoundry AI Gatewayは、開発者やプラットフォームチームがAIアプリケーションを管理、監視、拡張するための手段です。数百もの大規模言語モデルへの統合アクセス、深い可観測性、スマートルーティングを単一のレイヤーで実現します。AIの導入が進むにつれて、真の課題はモデルへのアクセスではなくなり、その後に続くあらゆるものの管理へと移行します。つまり、複数のプロバイダー、変化するAPI、そしてチームの作業を静かに停滞させる可能性のある厳格なコンプライアンス要件などです。

Gatewayはその複雑さに秩序をもたらします。エンタープライズAIのコマンドセンターとして機能し、アクセスを統合し、セキュリティポリシーを適用し、あらゆるモデルと環境に対する完全な可視性を提供します。ガードレールはこのレイヤーに一度組み込めばどこにでも適用されるため、ダッシュボードで行われた安全に関する決定は、そこを通過するすべてのリクエストに強制的に適用されます。

Arthur AI: リアルタイム検証

Arthur AIは、アプリケーションとモデルの間に検証レイヤーとして位置します。ArthurEngineはプロンプトと応答をリアルタイムで検査し、それらが安全に処理できるかどうかについて明確な判断を下します。

Arthurは標準で、本番環境で最も重要なリスクをチェックします。検出するのは、 プロンプトインジェクションです。これは、攻撃者がモデルを乗っ取り、指示から逸脱させるように設計された入力を作成するものです。また、 有害なコンテンツ を入力時と出力時の両方でフラグ付けするため、有害な表現がモデルやユーザーに届くことはありません。さらに、提供されたグラウンディングコンテキストに対して ハルシネーションチェック を実行し、事実から逸脱した応答が回答として信頼される前に捕捉します。

Arthurがどのように機能するかを決定する重要な詳細が1つあります。それは、 検証のみであるということです。何かが合格したか失敗したかを、高速かつステートレスに通知します。テキストを密かに書き換えるのではなく、問題を報告するため、その動作は予測可能で監査も容易です。

より良い連携：単一契約、あらゆるモデル

この連携により、軽量なデプロイ可能なラッパーとゲートウェイのカスタムガードレールコントラクトを介して、ArthurがTrueFoundryに接続されます。小さなFastAPIサービスをデプロイし、ゲートウェイをそれに向け、ダッシュボードに2つのガードレール設定（入力用と出力用）を登録するだけです。その瞬間から、ゲートウェイの背後にあるどのモデルも、アプリケーションごとのコード変更なしにArthurによって検証できるようになります。

これこそが真のメリットです。Arthurを各アプリケーションに手動で組み込む代わりに、ゲートウェイに一度だけ接続します。すべての呼び出し元が保護されるようにモデルに固定するか、特定の呼び出しでのみ使用したい場合は、単一のヘッダーでリクエストごとにオプトインします。同じポリシーがすべてのチーム、モデル、環境に適用され、すべての判定はTrueFoundryのリクエスト追跡とともに記録され、明確な監査証跡となります。

Arthur AIとTrueFoundryの連携の仕組み

この連携は、わかりやすい階層化された検証フローを導入します。

1. アプリケーションがリクエストを送信すると、まずTrueFoundry AI Gatewayを通過します。
2. ゲートウェイはプロンプトをArthurラッパーに転送し、ArthurラッパーはArthur Engineを呼び出してプロンプトインジェクションと有害性をチェックします。
3. Arthurは判定を返します。許可の判定はリクエストをモデルに進ませ、ブロックの判定はそれを停止させ、代わりに安全な応答が返されます。
4. オプションとして、モデルが応答を生成した後、ゲートウェイはその出力をArthurに送り返し、ユーザーに届く前に最終的な有害性およびハルシネーションチェックを行います。

微妙ながらも重要な設計上の選択により、これが堅牢になっています。ポリシーの決定は、判定フィールドを含む通常のHTTP 200で処理され、真のインフラストラクチャ障害は5xxエラーとして現れます。推奨される エラー時は適用するが無視する 戦略では、一時的な障害はトラフィックを通過させますが、真のポリシーブロックは常にリクエストを停止させます。安全性が重要なレールの場合、厳格な適用に切り替えて、代わりにクローズドフェイル（安全側に停止）させることができます。

はじめに

AIのセキュリティ対策は、再構築のように感じるべきではありません。TrueFoundry AI Gateway上のArthur AIを使用すれば、リアルタイム検証は配線プロジェクトというよりも、スイッチをひねるようなものです。ラッパーをデプロイし、2つのガードレール設定を追加し、それらをモデルにアタッチするだけで、スタック全体でプロンプトと応答を検証できます。

詳しい仕組みについては、 Arthur AI連携ガイド TrueFoundryのドキュメントをご覧ください。そこでは、完全なセットアップ、応答契約、カスタムチェック設定がステップバイステップで説明されています。

‍