Kubernetes上のJupyter NotebooksへのOAuth2の追加

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
TrueFoundryユーザーは、AWS、Azure、GCPなどの個人クラウドアカウント上にJupyter Notebooksをデプロイできます。この機能により、自身のマシンで機械学習実験やトレーニングジョブを簡単に行うことができます。当初、TrueFoundryを通じてデプロイされたノートブックはユーザー名とパスワードの組み合わせで保護されていました。しかし、多くのクライアントからの要望に応えて、Single Sign-Onを統合しました。これにより、ユーザーはTrueFoundryで使用しているものと同じログイン情報でノートブックに便利にアクセスできるようになりました。このブログ投稿では、この機能をどのように実装したかについての詳細を掘り下げます。

TrueFoundryにおけるNotebooks
TrueFoundryは内部的にKubeflow Notebook Controllerのフォークを使用して、ノートブックのデプロイをオーケストレーションしています。このコントローラーは、以下のような活用価値の高いさまざまな機能を提供します。
- 簡素化されたノートブックの仕様: Kubeflow Notebook APIはシンプルで、コントローラーがJupyter Notebookデプロイメントの作成をオーケストレーションします。
- 自動カリング (Automatic Culling): コントローラーは、一定期間非アクティブ状態が続いた後、ノートブックを自動的にシャットダウンします。これは、GPUマシンをバックエンドとするノートブックで実験を実行するクライアントにとって非常に便利です。
- 永続ホームディレクトリ: コントローラーは、セッションをまたいでノートブック上のユーザーの進行状況を保存する永続ボリュームの作成を処理します。
- 拡張可能なベースイメージ: コントローラーは、TrueFoundryがメンテナンスするJupyter NotebookおよびVS Codeのベースノートブックイメージのスイートをサポートしています。ユーザーは、スタートアップスクリプトを追加したり、特定のライブラリをインストールしたりすることで、これらのDockerイメージ上の機能を拡張できます。
参考として、シンプルなKubeflow Notebookオブジェクトの例を以下に示します。
apiVersion: kubeflow.org/v1
kind: Notebook
metadata:
name: my-notebook
spec:
template:
spec:
containers:
- name: my-notebook
image: kubeflownotebookswg/jupyter:master
args:
[
"start.sh",
"lab",
"--LabApp.token=''",
"--LabApp.allow_remote_access='True'",
"--LabApp.allow_root='True'",
"--LabApp.ip='*'",
"--LabApp.base_url=/test/my-notebook/",
"--port=8888",
"--no-browser",
]
Notebooksのための基本認証 (Basic Auth)
OAuth2を実装する前、TrueFoundryは基本認証を統合することでパブリックノートブックのセキュリティを強化するオプションをユーザーに提供していました。この追加のセキュリティレイヤーは、権限を持つ個人だけがこれらのノートブックの機密コンテンツにアクセスできるようにするために極めて重要でした。この機能を実装するために、TrueFoundryはIstioプロキシ内のWebAssembly (Wasm) プラグイン(特にEnvoyプロキシ)の機能を活用しました。
オープンソースのサービスメッシュであるIstioは、さまざまなサービスワークロード間のネットワーク通信を管理するためのフレームワークを提供します。Istioを使用することで、TrueFoundryはEnvoyプロキシによって管理されるネットワークレイヤーにカスタムロジックを直接注入できるようになりました。このアプローチにより、Jupyter Notebooksに向かう/からのトラフィックを効果的に制御および保護することができました。基本認証の実装の鍵となったのは、Envoyプロキシ内でのWebAssemblyモジュールのデプロイを容易にするIstioの機能であるWasmPluginでした。
この基本認証WasmPluginは、Envoyプロキシ内のネットワークフィルターのシーケンスに統合されています。これらのフィルターにより、アクセス制御、変換、データ強化、監査などに関連する上位レベルの関数の実行が可能になり、サービスメッシュ全体のセキュリティと機能が強化されます。以下は、Envoyフィルターチェーンに基本認証フィルターを追加するための仕様の簡易バージョンです。
apiVersion: extensions.istio.io/v1alpha1
kind: WasmPlugin
metadata:
name: basic-auth
namespace: istio-ingress
spec:
phase: AUTHN
pluginConfig:
basic_auth_rules:
- credentials:
- user:pass
hosts: www.example.com
prefix: /secret/
selector:
matchLabels:
istio: ingressgateway
url: oci://ghcr.io/istio-ecosystem/wasm-extensions/basic_auth:1.12.0
NotebookのためのOAuth2
ノートブックにOAuth2を実装するためにもEnvoyフィルターを使用しましたが、アプローチは基本認証のものとは異なりました。定義済みのWasmPluginをフィルターチェーンに便利に挿入できた基本認証とは異なり、OAuth2にはよりカスタマイズされたソリューションが必要でした。これを実現するために、OAuth専用に設計されたHTTPフィルターを採用しました。TrueFoundryでは、Single Sign-OnシステムがOAuthプロバイダーとして機能するFusionAuthと統合されています。
Envoy Filterの仕様は以下のようになります。詳細についてはファイル内のコメントを参照してください。
apiVersion: networking.istio.io/v1alpha3
kind: EnvoyFilter
metadata:
name: truefoundry-notebook-tfy-oauth2 # Name of the EnvoyFilter
namespace: auth-test # Namespace where the EnvoyFilter is deployed
spec:
workloadSelector:
labels:
truefoundry.com/application: truefoundry-notebook # Selector targeting workloads with specific labels
configPatches:
- applyTo: CLUSTER
match:
context: SIDECAR_OUTBOUND
patch:
operation: ADD
value:
name: tfy-oauth2 # Name of the cluster for OAuth2 authentication service
type: LOGICAL_DNS # Type of service discovery (DNS)
connect_timeout: 5s # Timeout for establishing a connection
lb_policy: ROUND_ROBIN # Load balancing policy
# other load balancing config
- applyTo: HTTP_FILTER
match:
context: SIDECAR_INBOUND
listener:
filterChain:
filter:
name: "envoy.filters.network.http_connection_manager"
subFilter:
name: envoy.filters.http.jwt_authn
patch:
operation: INSERT_BEFORE # Inserting this filter before the JWT auth filter
value:
name: envoy.filters.http.tfy-oauth # Name of the OAuth filter
typed_config:
"@type": type.googleapis.com/envoy.extensions.filters.http.oauth2.v3.OAuth2
config:
use_refresh_token: false # Whether to use a refresh token
pass_through_matcher:
- name: Authorization
present_match: true # Pass through if Authorization header is present
forward_bearer_token: true # Forward bearer token to upstream
auth_type: BASIC_AUTH # Type of authentication used
token_endpoint:
cluster: tfy-oauth2 # Cluster for token endpoint
uri: <token-endpoint-uri-of-oauth-provider>
timeout: 5s # Timeout for token endpoint
authorization_endpoint: <authorization-endpoint-uri-of-oauth-provider>
redirect_uri: https://%REQ(:authority)%/truefoundry-notebook/_auth/callback # Redirect URI for callback
redirect_path_matcher:
path:
exact: /truefoundry-notebook/_auth/callback # Path for redirect URI
signout_path:
path:
exact: /truefoundry-notebook/_auth/signout # Path for signout
credentials:
client_id: <client-id-for-oauth>
token_secret:
# configuration to fetch token secret
# read more about how we fetch secrets here:
# https://www.envoyproxy.io/docs/envoy/latest/configuration/security/secret
hmac_secret:
# configuration to fetch hmac
ユーザーがOAuth2フィルターで保護されたサービスに初めてアクセスしようとすると、authorization_endpointにリダイレクトされます。このエンドポイントは外部OAuthプロバイダーのURLであり、当社の実装ではFusionAuthベースのTrueFoundryログインモーダルになります。このリダイレクトはOAuthプロセスにおいて重要なステップであり、ユーザーを認証が行える安全な場所に案内し、その結果サービスへのアクセスに必要な権限を付与します。
ログインが完了すると、FusionAuthはredirect_uri(フィルター仕様で設定)にリダイレクトし、そこに秘密の一時的な認可コードを追加します。このリクエストはフィルターによってインターセプトされ、token_endpointにリクエストを送信して、コードをJWTトークンと交換します。最後に、フィルターはJWTトークンを含むクッキーを設定します。
クッキーがAuthorizationヘッダーに値としてJWTを設定するため、サービスへの以降のアクセスはHTTP Filterを通過します。フィルターはこのようなリクエストを通過させるように設定されています(仕様のpass_through_matcherを参照)。JWTが有効なトークンであることを検証するために、OAuthプロバイダーに確認を行うRequestAuthenticationポリシーを作成します。
apiVersion: security.istio.io/v1beta1
kind: RequestAuthentication
metadata:
# ...
spec:
selector:
# ...
jwtRules:
- issuer: "truefoundry.com"
fromHeaders:
- name: Authorization
prefix: "Bearer "
audiences:
- <client-id>
jwksUri: <oauth-provider-jwks-uri>
forwardOriginalToken: true
最後に、どのリクエストにRequestAuthenticationを適用するかを指定するAuthorization Policyを追加します。ポート8888上のすべてのリクエストに認可を適用します。
apiVersion: security.istio.io/v1beta1
kind: AuthorizationPolicy
metadata:
name: best-notebook-tfy-oauth2
namespace: auth-test
spec:
selector:
matchLabels:
truefoundry.com/application: best-notebook
action: DENY
rules:
- from:
- source:
notRequestPrincipals: ["*"]
to:
- operation:
ports:
- "8888"
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.

















.webp)
.webp)
.webp)



.webp)


.webp)
.webp)
.png)

.png)
.png)
.png)






