AnythingLLMとTrueFoundryのAI Gatewayの統合

テックコミュニティでは、 AnythingLLMのようなAIプラットフォームが爆発的な成長を遂げています。これらのプラットフォームは、データサイエンティストからプロダクトマネージャーまで、新たな開発者層に力を与え、AIを活用したアプリケーションを迅速に考案し、展開することを可能にしました。プロンプト、ツール、ベクトルデータベースを一行のコードも書かずに接続できる能力は、イノベーションのペースを劇的に加速させ、数週間ではなく数時間で概念実証（PoC）を作成することを可能にしました。

しかし、この迅速な実験は、重大なガバナンスのギャップを露呈しました。これらのツールが価値を生み出すアプリケーションへと進化するにつれて、プラットフォームチームは新たな課題に直面しています。ローコード環境内の各コンポーネントは、多くの場合、異なるモデルエンドポイントと通信し、それぞれが独自のAPIキーを持ち、それぞれが別々のポータルで利用状況をログに記録しています。この断片化により、すべてのCIOが対処しなければならない基本的な質問に答えることがほぼ不可能になっています。

• どのAIモデルを誰が使用しているのか？
• 関連するコストはいくらか？
• その利用は安全で、コンプライアンスに準拠しているか？

ここで、 TrueFoundryのAI Gateway の出番です。すべてのAI/MLインタラクションを管理するための一元化されたレイヤーを提供することで、このゲートウェイは、組織がセキュリティ、制御、コスト効率を犠牲にすることなく、ローコードプラットフォームのスピードと俊敏性を活用できるようにします。

AnythingLLMにゲートウェイが必要な理由

AnythingLLM は、プライベートなオールインワンAIアプリケーションを構築しようとしている開発者や組織の間で急速に人気を集めています。さまざまなドキュメントタイプ、カスタムモデル、完全なプライバシーをサポートしているため、大規模言語モデル（LLM）を活用するための強力なツールとなっています。しかし、他の強力なツールと同様に、組織全体でその利用が拡大するにつれて、一元的なガバナンスの必要性が最も重要になります。ここで、 TrueFoundryのAI Gateway との連携が不可欠になります。

AnythingLLMのすべてのLLM呼び出しをゲートウェイ経由でルーティングすることで、あらゆる本番レベルのAIアプリケーションにとって不可欠な、エンタープライズグレードの機能群を獲得できます。

• 一元化された認証とアクセス制御： すべてのAPIキーを一元的に管理し、プロジェクトスコープのトークンを使用することで、許可されたユーザーとアプリケーションのみが特定のモデルにアクセスできるようにします。
• 統合的な可観測性とコスト追跡： AIの使用状況を単一の画面で把握できます。すべてのモデルとアプリケーションにおけるトークン消費量、レイテンシー、コストをリアルタイムで追跡します。
• 強固なセキュリティとコンプライアンス： ゲートウェイはセキュリティ強制レイヤーとして機能し、PIIの匿名化、レート制限、監査ログなどの機能により、AIの使用が業界規制に準拠していることを保証します。
• ベンダー非依存性と将来性： AnythingLLMアプリケーションのコードを一行も変更することなく、異なるLLMプロバイダー間（例: OpenAIからAnthropicへ）を簡単に切り替えられます。

未来の展望：LLMゲートウェイの戦略的意義

ローコードAIプラットフォームと 最高のLLMゲートウェイ の統合は単なる技術的な利便性にとどまらず、戦略的な必須事項です。AIがますますコモディティ化するにつれて、AIの使用を効果的にオーケストレーション、管理、保護する能力は、重要な競争優位性となるでしょう。

最近の論文、 "Portcullis: A Scalable and Verifiable Privacy Gateway for Third-Party LLM Inference," は、生成AI時代におけるプライバシー保護ゲートウェイの重要性の高まりを強調しています。この論文は、機密データがLLMに到達する前に匿名化することで保護する新しいアプローチを紹介しています。これは「並列置換」というプロセスを通じて実現されます。このプロセスでは、機密データはLLMに送信される前にプレースホルダーに置き換えられ、その後応答で正確に再構築されます。この研究は、金融やヘルスケアのような規制の厳しい業界で強力なAIモデルの使用を可能にする上で、ゲートウェイが果たす重要な役割を強調しています。

AnythingLLMをTrueFoundryのAIゲートウェイと統合することで、今日のガバナンス課題を解決するだけでなく、組織のニーズに合わせて拡張できる、将来性のあるAIスタックを構築していることになります。

5つの簡単なステップで統合

AnythingLLMをTrueFoundry AIゲートウェイと統合する作業は簡単なプロセスであり、わずか数分で完了できます。その方法をご紹介します。

1. TrueFoundryアクセストークンの生成：

• TrueFoundryダッシュボードに移動し、 アクセス管理にアクセスします。
• クリック 新しいパーソナルアクセストークン をクリックして新しいトークンを作成します。
• パーソナルアクセストークンをコピーして安全に保管してください。

2. AnythingLLMのLLM設定にアクセスする:

• AnythingLLMアプリケーションを起動します。
• 「 設定 」に移動し、「 LLM Preference」へ進みます。

3. Generic OpenAIプロバイダーを設定する:

• LLMプロバイダーの検索ボックスに「Generic OpenAI」と入力し、選択します。
• ベースURL: TrueFoundry GatewayのベースURLを入力します（例: https://<your-company>.truefoundry.cloud/api/llm/api/inference/openai）。
• APIキー: TrueFoundryのパーソナルアクセストークンを入力します。
• チャットモデル名: TrueFoundryのモデルIDを入力します（例: openai-main/gpt-4o）。
• トークンコンテキストウィンドウと最大トークン数: これらはモデルの制限に基づいて設定してください。

4. TrueFoundryからモデル情報を取得する:

• 正しいモデル識別子を取得するには、TrueFoundry AI Gatewayに移動してください。
• モデルIDをコピーし、AnythingLLMの チャットモデル名 フィールドに貼り付けてください。

5. 連携をテストする:

• AnythingLLMで設定を保存してください。
• 新しいワークスペースを作成するか、既存のワークスペースを開いて、連携を確認するためのテストメッセージを送信してください。

スクリーンショット付きの詳細なウォークスルーは、当社の ドキュメント

AnythingLLMアプリケーションは、TrueFoundryのAI Gatewayとシームレスに統合され、ローコードAIプラットフォームのスピードと柔軟性、そしてエンタープライズグレードのゲートウェイのセキュリティと制御という、両方の利点を提供します。