Dark Launchは最も手軽なLight Launchである

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
至る所にイースターエッグ
前職では、EC企業向けに製品レコメンダーシステムを構築していました。つまり、私たちのAPIは顧客のウェブサイトのすべてのページでライブで動作していたのです。初めて7桁の金額規模となる大型の新規顧客を獲得した際、私たちは非常に慎重になり、当初は3月にルールベースのレコメンデーションでオンボーディングを行いました。立ち上げたばかりのMachine Learningモデルによってユーザーエクスペリエンスが損なわれるリスクを避けたかったのです。
その後4月に、Machine Learningモデルを構築し、大規模なオフラインテストと広範な手動QAを実施しました。最終的にモデルが十分なパフォーマンスを発揮するという確信を持ち、リリースを行いました。すると、2つの事象が発生しました。-
- 緊急電話:私たちがすでにレコメンデーション結果に戸惑い、デバッグを試みていた数分のうちに、顧客から緊急の電話がかかってきました。ウェブサイトのほぼすべてのページにイースターエッグのレコメンデーションが表示されていたのです。原因は、4月に彼らのイースターショッピングデータでトレーニングしたモデルのモデルIDを誤って設定していたことでした。すぐにモデルIDを新しいものに切り替え、その問題は修正されました。
- p90レイテンシの増加:モデルの機能(Feature)として製品説明を使用していたのですが、一部の説明文が非常に長く、Featureの計算時間が延びてしまっていたことが判明しました。大半のケースではモデルのレイテンシが問題なく見えたため、オフラインテスト中にこれを検知することは困難でした。この問題に対する即座の優れた解決策がなかったため、Featureエンジニアリングを修正してモデルを再テストするまで、基本的にルールベースのシステムにロールバックせざるを得ませんでした。
全体として、これにより多くの火消し作業が発生し、信頼性を大きく損ない、顧客を危うく失うところでした。その後の社内レトロスペクティブを通じて、#1は単なる手動の手違いであったものの、#2のような問題をオフラインで検知することはほぼ不可能であったと痛感しました。それ以来、私たちはDark Launchを行うという明るい道へと舵を切りました!
Dark Launchとは?
Dark Launchとは、新しくデプロイしたサービスに実際のプロダクションプラフィックをリプレイし、ユーザーに返答を返す前にそのレスポンスを破棄するデプロイメント戦略です。サービスが実際に本番稼働しているかのように振る舞いますが、ユーザーには全く影響を与えません。これにより、新しいサービスにエラーがないか、既存サービスと同等以上のパフォーマンスがあるか、そしてプロダクションの負荷に耐えられるかを確認できます。これらがすべて検証されれば、実際に新しいサービスへ段階的に切り替えることは極めて容易になります。ある意味で、
Dark Launchはサービスを立ち上げる(Launch)ための手軽(Light)な方法です。
デメリットは極めて小さく、得られる潜在的なメリットは絶大です。
Dark Launchの実行方法は?
サービスのDark Launchは、プロダクションと同等のシステム上でサービスやモデルをテストする現実的な方法の1つです。しかし、Dark Launchを実行するには、開発、モニタリング、インフラストラクチャの観点から、組織内に多くのセットアップと成熟度が求められます。
- マイクロサービスアーキテクチャの採用:新しいサービスを段階的にテストできるようにするには、API主導のマイクロサービスアーキテクチャを採用することが重要です。Dark Launchを実行する方法は、新しいバックエンドにプロダクションプラフィックのコピーをリプレイすることですが、これは現在のプロダクションサービスと新しいサービスの両方がマイクロサービスとして利用可能であり、通信がREST / gRPC呼び出し経由で行われている場合に最もスムーズに行えます。
- トラフィックフォーク(分岐):一般的に、プロダクションプラフィックの一定割合を新しいサービスにルーティングするトラフィックフォークは、アプリケーションのフロントエンドで実施されます。
- 非同期呼び出し:テストの一般的な原則は、実際のプロダクションエクスペリエンスに悪影響を与えないことです。Dark Launchを行う際、実質的にプロダクションプラフィックを複製することになるため、バックエンドの呼び出しを非同期にしない限り、レイテンシが2倍になる可能性があります。サービスがレイテンシにシビアでない場合は、適切なタイムアウトを設定することも解決策となります。
- インフラストラクチャ:理想的には、Dark Launchサービスへのトラフィック割合を増やすにつれてインフラも段階的にスケールさせる必要があるため、組織が水平スケーリングしやすいインフラを構築していることが望ましいです。多くの場合、新しいサービスが本当にスケールするか確認するために、ピーク時の全トラフィックやそれを超える負荷を複製することが理にかなっています。
- ロギング:レスポンスやサービスのパフォーマンスを比較できるように、旧バックエンドサービスと新バックエンドサービスの両方からリクエストとレスポンスをログ出力する必要があります。それがMachine Learningモデルである場合、モデルの予測精度が少なくとも旧モデルと同等以上であることを確認したいため、広範なロギングが必要となります。
- モニタリング:新しいサービスのアップタイム、レイテンシ、スケーラビリティ、レスポンスの品質を比較できる優れたモニタリングおよびインスツルメンテーションダッシュボードがなければ、Dark Launchはほとんど意味をなしません。理想的には、異常を迅速に検知して表面化できるように、これをリアルタイムで行う必要があります。
Dark Launchは単なる凝ったオフラインテストなのか?
オフラインテストでは、通常は隔離された環境でシステムの挙動を検証できます。プロダクションのような現実的なトラフィックやネットワーク設定を含む周囲のシステムの状況を含めて、エンドツーエンドのシステムをテストできることは滅多にありません。周到なロギングと非常に複雑なオフラインテストによってこれら全体の70%を達成することは可能ですが、Dark Launch結果としてよりシンプルなシステムとなります。なぜなら、通常通りサービスを立ち上げて監視するためには、いずれにせよ上記の手順の大半を行うことになるからです。Dark Launchに成功した後は、新サービスの実際のリリースは極めて容易になるため、労力対効果の比率は十分に価値あるものになります。
実用上、これを正当化するのが難しいケースもいくつか存在します。たとえば、サービスがステートフルである場合や、実際にデータベースを変更する場合は、Dark Launchを行うことが格段に複雑になります。私個人の経験では、システムの正確性を保証することが非常に困難になるため、Dark Launchよりもオフラインテストで妥協する方がほぼ賢明です!
Dark Launchについてさらに興味がある方や、ご自身の経験を共有したい方は、ぜひ nikunj@truefoundry.com までご連絡ください!
TrueFoundry は、Kubernetes上のML Deployment PaaSであり、開発者のワークフローを高速化すると同時に、モデルのテストとデプロイにおける完全な柔軟性を提供し、インフラチームのための完全なセキュリティと管理性を確保します。当社のプラットフォームを通じて、Machine Learningチームは100%の信頼性、スケーラビリティ、数秒でのロールバック機能を備えたモデルを15分でデプロイおよび監視できるようになり、コスト削減と本番環境へのモデルリリースの高速化を実現し、真のビジネス価値の還元を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






