AI GatewayにおけるBYOKの意味とは
.png)
Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
BYOK(Bring Your Own Key:キーの持ち込み)とは、OpenAI、Anthropic、AWS Bedrockなどのモデルプロバイダーとの独自アカウントを維持したまま、それらのプロバイダーキーをゲートウェイに一度設定することを意味します。アプリケーションが生のプロバイダーキーに直接触れることは二度とありません。アプリは単一のゲートウェイキーを使用して1つのTrueFoundry AI Gatewayエンドポイントと通信し、ゲートウェイが各自の認証情報を用いて各呼び出しを適切なプロバイダーに転送します。
これは、仲介業者からトークンを購入するリセラーモデルとは対照的です。BYOKを利用することで、プロバイダーとの独自の契約、料金体系、レート制限をそのまま維持しながら、その上に一元化されたガバナンスを追加できます。
プロバイダーキーをゲートウェイ経由でルーティングする理由
生のプロバイダーキーをすべてのアプリケーションやノートブックに渡してしまうことが、キーのスプロール(無秩序な拡散)の始まりです。キーがコード内に漏洩したり、環境にコピーされたりして、何かを破損することなくキーを回転(ローテーション)させることが不可能になります。
- 呼び出し元には1つのキーのみ。 アプリケーションはプロバイダーキーではなく、TrueFoundryキーで認証します。ドキュメントにあるように、ゲートウェイ経由でモデルにアクセスするには、元のプロバイダーキーではなくTrueFoundry APIキーを使用します。
- 中央での回転(ローテーション)。 プロバイダーキーは1箇所に保存されます。ゲートウェイ側でキーを回転させても、すべてのアプリケーションは正常に動作し続けます。
- アクセス制御。 アカウントごとの管理者(Manager)およびユーザー(User)ロールにより、誰がどのモデルアカウントを使用できるかを決定できます。
- 単一のインターフェース。 OpenAI、Anthropic、Bedrock、およびセルフホスト型モデルごとに個別のSDK、エンドポイント、キーを管理する代わりに、アプリケーションは1つのゲートウェイエンドポイントと通信し、1つのゲートウェイキーを使用します。
プロバイダーキーの追加:モデルアカウント
TrueFoundryにおいて、プロバイダーキーは「モデルアカウント」内に保存されます。クイックスタートドキュメントでは、モデルアカウントをOpenAI、Anthropic、AWS Bedrockなどのモデルプロバイダーの1つのアカウントとして定義しています。プロバイダーごとに複数のアカウントを追加でき、それぞれが固有のAPIキーを保持し、各アカウントに複数のモデルを持たせることができます。
追加するには、希望するプロバイダーを選択し、APIキーを入力した後にモデルを追加します。別々のモデルアカウントを作成することで、同じプロバイダーから複数のキーを追加できます。これは、環境やチームごとに使用量やレート制限を分離したい場合に便利です。

送信すると、モデルアカウントとモデルが「Models」タブの下に表示されます。後からさらに追加するには、AI Gatewayから「Models」に進み、左側でモデルアカウントを選択して、右上にある「Add Model」をクリックします。

呼び出し元の認証方法:バーチャルキー
プロバイダーキーが保存された後は、アプリケーションがそれらを目にすることはありません。ゲートウェイアクセス制御ドキュメントでは、呼び出し元が代わりに使用する2つのトークンタイプについて説明しています。
- パーソナルアクセストークン(PAT):ユーザーに紐付けられており、開発中のエンジニアに推奨されます。
- バーチャルアカウントトークン(VAT):仮想アイデンティティに紐付けられており、本番環境のアプリケーションに推奨されます。これはサービスに組み込んで出荷するバーチャルキーです。
アクセス権限はモデルアカウントレベルで2つのロールを用いて設定します。「Model Account Manager」は設定の変更、モデルの追加・削除、アクセス権限の管理が可能です。「Model Account User」はアカウント内のすべてのモデルを使用できますが、設定や権限を変更することはできません。テナント管理者は、プラットフォーム全体のすべてのモデルへのアクセス権を自動的に保持します。
ゲートウェイを呼び出すには、Playgroundの「Code Snippet」タブから、ゲートウェイのベースURL、APIキー、モデルIDの3つを取得する必要があります。SaaSユーザーはゲートウェイのベースURLを指定し、PATまたはVATで認証を行い、標準のOpenAIクライアントを使用します。

from openai import OpenAI
キーをゲートウェイに集約することで得られるメリット
- すべてのプロバイダーおよびすべてのセルフホスト型モデルに対応する、単一のOpenAI互換エンドポイント。
- アプリケーションコードに触れることのない、中央でのキー回転(ローテーション)。
- 管理者(Manager)およびユーザー(User)ロールによるアカウントごとのアクセス制御。
- すべての呼び出しが1箇所を通過することによる、一元化されたオブザーバビリティとポリシーの適用。
あるお客様が語ったように、ゲートウェイの導入によってキーの管理、ルーティングロジック、分散していたオブザーバビリティのオーバーヘッドが解消され、新しいモデルの導入は単なる設定変更のみで行えるようになります。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


Recent Blogs
Frequently asked questions
What does BYOK mean for an AI gateway?
BYOK means you keep your own provider accounts and keys and plug them into the gateway once. Applications then call the gateway with a single gateway key, and the gateway uses your stored provider keys to reach OpenAI, Anthropic, Bedrock, and others.
Do my applications ever see the provider key?
No. Callers authenticate with TrueFoundry keys, not the original provider keys. You store the provider key in a model account, and applications use a Personal Access Token or a Virtual Account Token instead.
Can I add more than one key for the same provider?
Yes. You can add multiple accounts per provider, each with their own API keys. This lets you separate spend, rate limits, or environments while keeping a single gateway endpoint.
What is a virtual key?
A Virtual Account Token is tied to a virtual identity rather than a person, which makes it the right choice for production applications. It lets a service authenticate to the gateway without embedding a user credential or a raw provider key.










.png)
.png)
.png)








.png)

.png)


.png)

.png)






