5億件のIVR通話に対応するエージェント、そして1つのAIプラットフォーム

クライアント：現代医療の柱

このフォーチュン50にランクインするヘルスケア企業は、小売薬局、健康保険、医療サービスの交差点で事業を展開しています。彼らのデジタルビジョンはアクセシビリティを中心に据え、9,000店舗のいずれか、またはデジタルチャネルを通じて行われる患者とのあらゆるやり取りが、正確かつ共感をもって処理されることを保証しています。

きっかけ：「5億回通話」IVRのエンジニアリング

この組織の取り組みは、明確なエンジニアリング課題から始まりました。それは、インタラクティブ音声応答（IVR）システムの近代化です。彼らは、「薬局は1を押してください」といった硬直的なメニューから、自然言語を理解できる完全なエージェントシステムへと移行する必要がありました。

この規模でレイテンシ、コスト、精度の間のバランスを取るため、エンジニアリングチームは洗練された3段階ルーティングアーキテクチャを設計しました。

技術的な詳細：大規模な最適化

数百万人のユーザー向けにこのシステムを稼働させるには、標準的なモデル推論を超えた深い最適化が必要でした。

チームはエージェントグラフのグローバルインスタンス化を実装しました。呼び出しごとにエージェントコンテキストを再作成する代わりに、サービスはセッション間で再利用可能なアクティブなエージェントグラフを維持します。さらに、管理サービスからのフェッチ時のレイテンシを最小限に抑えるため、プロンプトは30分間キャッシュされます。

3段階の意思決定フロー

複雑な推論のために高価なGPUコンピューティングを温存するため、システムは階層的なアプローチを採用しています。

1. ルールベースのトリアージ 静的なクエリ（店舗の営業時間など）をパターンマッチングにより即座に処理します。
2. スコープ分類器 軽量モデルがドメインの意図（例：「これは薬局に関する問い合わせか、保険に関する問い合わせか？」）を判断し、ルーティング    エラーを防ぎます。
3. メインエージェントは、複雑で範囲内のクエリに対してのみ呼び出されます。これにより、不要なLLM呼び出しを10～20%削減できます。

安全第一

ガードレールは後付けのものではありません。ゲートウェイレベルでプロンプトを介して適用され、ロジックが実行される前に、すべてのエージェントが有害な内容や範囲外のトピックに対するフォールバックメカニズムを持つことを保証します。