Truefoundry AI GatewayとRingg.AIの統合

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
音声エージェントがデモ段階から本番環境へと移行するにつれ、多くのチームが共通の壁に突き当たります。音声認識はスタックの中で最も実装が難しく、特に人々が単一の言語を整然と話さない市場ではその傾向が顕著です。例えばインドの顧客がヒンディー語で通話を始め、文中で英語に切り替え、注文番号をコードミックス(言語混在)で早口に伝えるといったケースです。ほとんどの音声認識モデルは、まさにこうした状況でつまずいてしまいます。仮にうまく機能するモデルを見つけたとしても、ゲートウェイに新たなプロバイダーを接続し、別のAPIキーを管理し、さらに既存のログ記録やアクセス制御がそのモデルにも適用されることを祈らなければなりません。
すべての音声チームが最終的に直面する問いがあります。それは、専門的な音声認識モデルを、場当たり的なエンジニアリングプロジェクトにすることなく、いかにしてプラットフォームに組み込むかということです。
TrueFoundryの目標は、どれほど専門的なモデルであっても、ゲートウェイの「ファーストクラス(主要な構成要素)」として扱えるようにすることです。そのため、私たちは以下のモデルを導入できることを嬉しく思います。 Ringg.AIの音声認識モデル「Parrot」 をTrueFoundry AI Gatewayに統合しました。カスタムエンドポイントを一度設定するだけで、チームは他のモデルと同様にParrotを呼び出すことができます。認証、アクセス制御、そして一元化された可視性も、他のモデルと全く同じように利用可能です。
中央制御プレーンとしてのTrueFoundry AI Gateway
TrueFoundry AI Gatewayは、開発者やプラットフォームチームがAIアプリケーションを一元管理、監視、スケーリングするための基盤です。数百ものモデルへの統合アクセス、スマートルーティング、仮想キー、そして完全な可観測性を、単一のAPIを通じて提供します。
AIスタックが拡大するにつれ、真の課題はモデルへのアクセスではなく、その後の「乱立」にあります。新しいプロバイダーを追加するたびに、独自のSDKやキー、運用ルールが付随してくるからです。ゲートウェイは、この状況に秩序をもたらします。アプリケーションとモデルの間に単一の制御ポイントとして介在するため、新しい機能を追加するたびに認証情報やカスタムコードをコードベース全体に散らばらせる必要がありません。これこそが、Parrotのような専門モデルにとって最適な場所である理由です。一貫性を損なうことなく、必要な音声認識モデルを導入できるのです。
Ringg.AI Parrot:リアルな音声のために構築された音声認識
Parrot は、リアルタイムの音声エージェント向けに専用設計されたRingg.AIの音声認識モデルです。汎用的な文字起こしモデルの多くが、整った単一言語の音声データで学習されているのに対し、Parrotは実際の会話のあり方を考慮して設計されています。ヒンディー語、英語、そして実際の会話で頻繁に見られるコードミックス(言語混在)にも強力に対応します。
この焦点の絞り込みが重要です。音声エージェントの性能は、その「耳」の良さで決まります。文字起こしで単語が抜けたり、言語の切り替わりで誤認識が発生したりすれば、意図の検出から応答生成に至るまでの後続のすべてのステップでエラーが引き継がれてしまいます。Parrotは、現実世界の複雑な音声をリアルタイムかつ正確に処理することで、音声エージェントに信頼できる基盤を提供します。静かな部屋で動くデモと、実際の顧客との通話に耐えうるエージェントとの違いは、まさにここにあります。
Parrotの強みは、汎用モデルがつまずく細かな点に現れます。デーヴァナーガリー文字の出力を正規化するため、LLMが直接推論できるほどクリーンなテキストが得られます。また、注文番号やIDなどの英数字の文字列を一般的な市場の選択肢よりも正確に認識し、固有名詞や固有表現の認識能力も優れています。これらすべてを実現しながら、以下のモデルと並ぶ速度を誇ります。 最速 の音声認識モデルの一つです。
例えば、Parrotは「अभी तो I am taking hydroxychloroquine sulfate」のような発話に対しても、ヒンディー語と英語の切り替わり、正規化されたデーヴァナーガリー文字、そして薬の名前を一度の処理で正確に文字起こしします。
より良い連携:単一のエンドポイントで完全な制御を
ParrotをTrueFoundry AI Gatewayに導入することで、音声認識を個別の「後付けサービス」として扱う必要はなくなります。Parrotはゲートウェイ上の他のエンドポイントと同様に、共通のルールで管理されるようになります。
その利点は、懸念事項を明確に分離できることです。Ringg.AIのAPIキーはゲートウェイ内部に保持され、リクエストのたびにゲートウェイからRinggへと送信されます。アプリケーション側がキーを直接扱うことはありません。クライアントが保持するのは、常に以下のものだけです。 TrueFoundry APIキー を介してゲートウェイと通信します。これにより、アプリケーションコードに触れることなく、単一のダッシュボードから認証情報のローテーション、Parrotの使用権限管理、および利用状況の監査が可能になります。Parrotを「カスタムエンドポイント」として一度設定し、適切なユーザーやチームに対してアクセス制御を行うだけで、組織全体でガバナンスを維持しながら利用できるようになります。
Ringg.AIとTrueFoundryの統合の仕組み
Parrotは、以下の方法でゲートウェイに接続します。 カスタムエンドポイントこれは、あらゆるHTTPS APIをゲートウェイのプロキシパス配下に配置するためのTrueFoundryの仕組みです。以下の図は、エンドツーエンドのフローを示しています。

階層化されたフローは以下の通りです。
1. 音声アプリケーションが、TrueFoundry APIキーのみで認証されたマルチパートフォームリクエストを使用して、音声ファイルをTrueFoundry AIゲートウェイに送信します。
2. ゲートウェイは、内部で保持しているx-api-keyヘッダーを付与して、リクエストをRingg.AI Parrotへ転送します。その際、languageやenable_cap_puncなどのオプションパラメータも併せて渡されます。
3. Parrotが音声を文字起こしし、その結果をJSON形式でゲートウェイに返します。
4. オプションとして、文字起こしされたテキストをゲートウェイ上の任意のLLMに転送することも可能です。これにより、音声エージェントの音声認識から推論までのステップを単一のコントロールプレーンで管理できます。
5. ゲートウェイは、文字起こし結果または後続のレスポンスをアプリケーションに返すと同時に、可視性を確保するためにリクエストの全内容をログに記録します。
この統合はカスタムエンドポイントを利用しているため、サイドカーの導入やSDKの入れ替え、アプリケーション側でのモデルごとの認証情報管理は一切不要です。ゲートウェイがリクエストをプロキシし、アップストリームキーを注入して、呼び出しを記録します。
3ステップの設定手順
セットアップはエンジニアリングプロジェクトというより、スイッチを切り替えるような感覚で完了します。TrueFoundryダッシュボードで、以下に移動してください。 AI Gateway → Models → Custom Endpoints そして、以下の手順を行います。
1. カスタムエンドポイントのプロバイダーアカウントを作成します。一意の名前を付けると、それが呼び出しURLのproviderAccountNameになります。「Header Auth」は無効のままにしてください。
2. Ringg.AI STTエンドポイントを追加します。表示名(これがendpointNameになります)を設定し、Base URLに「https://prod-api.ringg.ai/stt/v1/transcriptions」を入力します。「Custom Headers」を有効にし、x-api-keyにRingg.AIキーを追加してください。
3. このエンドポイントを使用するユーザーとチームのアクセス制御を設定し、保存します。
保存後、ゲートウェイプロキシパス {GATEWAY_BASE_URL}/proxy-api/{providerAccountName}/{endpointName} を通じてParrotを呼び出します。現在のサポート範囲にご注意ください。現時点ではHTTPSおよび非ストリーミングリクエストのみ対応しており、その他の機能は顧客からの要望に応じて順次追加されます。
リアルタイム音声AIを始める
音声AIのために、モデルごとに個別の統合パスを用意する必要はありません。TrueFoundry AI Gateway上のRingg.AI Parrotを使用すれば、実際のコードミックス(言語混在)会話向けに構築された音声認識(STT)を、既存のスタックで利用している統一API、アクセス制御、オブザーバビリティにそのまま組み込むことができます。詳細については、TrueFoundryドキュメントのRingg.AI統合リファレンスおよびParrot STTモデルページを参照して開発を始めてください。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)

.png)



.png)
.png)
.png)

.png)
.png)
.png)
.png)
.png)





