TrueFoundryアクセラレーターシリーズ：SetFitを用いたエンタープライズグレードの意図分類の構築

企業環境における意図分類の課題は、顧客からの問い合わせのルーティング、サポートチケットの優先順位付け、安全ポリシーの大規模な適用を目指す組織を長年悩ませてきました。従来のアプローチでは、膨大な量のラベル付きデータセットと数ヶ月にわたるトレーニングサイクルが必要でした。しかし、各意図クラスにつきほんの数例のデータで、最先端の精度を達成できるとしたらどうでしょうか？

Haystack EU 2023で発表されたN2VECの画期的な研究による最先端の知見を基盤とした、当社の意図分類アクセラレーターが登場します。彼らの研究結果は、Few-shot学習が企業におけるテキスト分類の課題への取り組み方を根本的に変革できることを示しています。

SetFitのブレークスルー：少ない例で、最大の効果

CEOのフェルナンド・ヴィエイラ・ダ・シルバ氏が率いるN2VECの研究チームは、138の異なるクラスにわたる6,000万以上の文を含む法律調査という、最も要求の厳しい分類シナリオの一つに取り組みました。彼らの課題は、企業が日常的に直面する問題、つまり、各カテゴリに対してラベル付きの例が不足しているという状況を反映しています。

従来の問題点：

• 138のクラスに分散された9,000件のラベル付きデータ
• 効果的なトレーニングには各クラスのデータが不足
• 十分なトレーニングデータを収集するために数週間から数ヶ月が必要

SetFitによる解決策：
N2VECはSetFit（Sentence Transformer Fine-tuning）を用いることで、この課題を好機に変えました。SetFitは対照学習を通じて文のペアを生成します。これは、ポジティブペア（同じクラス）とネガティブペア（異なるクラス）の両方を作成するものです。このデータ拡張技術により、最小限の例からトレーニングデータを劇的に増やすことができます。

フェルナンド氏のチームがプレゼンテーションで述べたように、「分類問題のためのSetFit」は、「GPTや他のモデルと比較して競争力のある結果」が達成可能であり、「多言語対応」でありながら「軽量で高速にトレーニングできる（ノートパソコンでもトレーニング可能）」ことを証明しています。

研究から実運用へ：当社のアクセラレーター実装

当社の意図分類アクセラレーターは、N2VECの研究成果を、企業ですぐに利用できるソリューションへと変換します。

コアアーキテクチャ

• 最小限の例から学習するSetFit搭載分類エンジン
• トレーニングペアを自動生成する対照学習パイプライン
• N2VECの実証済み手法に従った多段階ファインチューニング
• 最大限の精度を実現するためのクロスエンコーダーによる再ランキング

エンタープライズ機能

• すべての分類ステップに組み込まれたPII匿名化とコンプライアンス
• 機密性の高い意図カテゴリに対するRBAC制御
• 異なる事業部門向けのマルチテナント分離
• p95レイテンシ目標100ミリ秒未満のリアルタイムAPI
• 規制要件に対応する監査証跡

TrueFoundryプラットフォーム統合

• AIゲートウェイルーティングによる管理されたモデルアクセス
• オートスケーリングにより性能低下なくピークトラフィックに対応
• コスト監視による透明性の高い使用状況追跡
• 可観測性ダッシュボードで精度とパフォーマンスの傾向を追跡

業界横断的な実世界での応用事例

ヘルスケア＆ライフサイエンス

N2VECの法務調査での成功に続き、当社のアクセラレーターは医療分野でその強みを発揮します。

• 患者からの問い合わせルーティング：緊急の依頼と通常の依頼をトリアージ
• 有害事象検出：医療従事者とのやり取りにおける安全性シグナルを特定
• 規制遵守：提出物を規制要件に基づいて分類

金融サービス

• 不正検出：不審な取引パターンを特定
• カスタマーサービス：複雑な金融商品の問い合わせをルーティング
• コンプライアンス監視：潜在的にリスクのあるコミュニケーションを特定

SaaS・テクノロジー

• サポートチケットの優先順位付け：重要度を分類し、適切にルーティング
• 機能リクエストの分類：ユーザーのニーズとトレンドを把握
• セキュリティ監視：異常なユーザー行動パターンを検出

SetFitの利点：なぜFew-Shotが機能するのか

N2VECの研究は、当社のアクセラレーターを強化する3つの主要な利点を実証しています。

1. データ効率：クラスごとに8つの例を、対照学習を通じて数千のトレーニングペアに変換
2. スピード：数ヶ月ではなく、数分で本番環境対応モデルをトレーニング
3. 堅牢性：ゼロから始めることなく、多言語対応とドメイン適応

彼らの結果が示すように、SetFitのアプローチは、まずSentence Transformersをファインチューニングし、次に分類ヘッドをトレーニングすることで、最小限のデータで正確な分類に十分なほど豊富な埋め込みを作成します。

PoC（概念実証）から本番規模へ

N2VECは、SetFitが6,000万件以上の法律関連の文章で機能することを証明しました。当社の意図分類アクセラレーターは、この機能をエンタープライズ規模にもたらします。

• グローバル展開全体での水平スケーリング
• 進化する意図スキーマに対応するためのバージョン管理
• 継続的な改善のためのA/Bテストフレームワーク
• CRM、チケット管理、コミュニケーションプラットフォーム向けの統合API

はじめに：48時間で意図分類を実現する道筋

数ヶ月にわたるデータ収集とモデルトレーニングを必要とする従来のMLプロジェクトとは異なり、当社の意図分類アクセラレーターは数日で結果を出します。

1日目：意図カテゴリを定義し、クラスごとに5～10個の例を提供します。
2日目：ライブデータ統合を伴うステージング環境へのデプロイ
1週目：監視とフィードバックループを伴う本番環境へのデプロイ

SetFitの基盤は、実験的な手法ではなく、実証済みの研究に基づいて構築されていることを意味します。

結論：巨人の肩に乗って

N2VECのHaystack EU 2023での発表は、Few-shot学習が単なる学術的な理論ではなく、実際の企業課題を解決する本番環境対応のテクノロジーであることを証明しています。最小限のトレーニングデータで複雑な法律調査クエリに対して86.1%の精度を達成したことは、当社のIntent Classifier Acceleratorのアプローチを裏付けています。N2VECのSetFitイノベーションとTrueFoundryのエンタープライズプラットフォーム機能を組み合わせることで、迅速なデプロイ、実用的な精度、そして設計段階からのコンプライアンスを兼ね備えた意図分類ソリューションを提供します。エンタープライズAIの未来は、より多くのデータではなく、既存のデータからより賢く学習することにあります。
Few-shot意図分類が実際に動作する様子を体験してみませんか？当社の ライブデモ を起動して、ご自身のテキスト例でSetFitを活用した分類をご覧いただくか、特定のユースケースについて当社のチームにご相談ください。

参考文献：

• N2VEC Haystack EU 2023 プレゼンテーション：「大規模テキストデータベースにおける検索と関連性ランキングをスケールアップするためのSetFitを用いたFew Shot学習の実践的アプローチ」
• フェルナンド・ヴィエイラ・ダ・シルバ、N2VEC CEO、人工知能（NLP）博士