Games 24x7：1億人のユーザーのためにAIでゲームをパーソナライズ

Games 24x7がAIで1億人以上のゲーマーのゲーム体験を向上

Games 24x7は、東南アジアを代表する先駆的なゲーム会社の1つです。ムンバイに本社を置き、1億人以上のゲーマーがアクティブユーザーとして利用しています。同社は複数のスキルゲームとカジュアルゲームのポートフォリオを持ち、リアルマネーゲームの分野でリーダー的存在です。最も人気のある2つのゲームは、RummyCircle（2023年に50億回プレイ）とMy11Circle（2023年に5億以上のチームが作成）です。

同社の主要な差別化要因の1つは、人工知能（AI）と行動科学を活用して、ゲームプレイ体験をより没入感のあるものにする能力です。これは、同社のAIおよびデータサイエンスチームによるイノベーションによって実現されています。当社がチームと連携を開始した際、彼らはAIプロジェクトの展開速度を大幅に向上させたいと考えており、そのために彼らを妨げていると感じていたいくつかの障壁を取り除くことを望んでいました。それらは以下の通りです。

1. エンジニアリングチームとのやり取りによる遅延： データサイエンスチームは、インフラ関連のニーズをエンジニアリングチームに依存していました。モデルのテストとデプロイにおけるこのやり取りが、MLチームに多大な遅延をもたらしていました。
2. 高いクラウド費用とオートスケーリングの欠如： チームは負荷テスト中にサービスを監視し、トラフィックに対応するために十分な大きさのインスタンスをプロビジョニングすることに慣れていました。オートスケーリングがなかったため、トラフィックが少ない期間でもクラウド費用を過剰に費やしていました。
3. 共通のデプロイ方法の欠如： データサイエンティストは、Kubernetes、インフラ、デプロイメントに関連するコンポーネントの作業に時間を費やすことが多く、それらは彼らの得意分野ではありませんでした。また、共通のデプロイ方法がなかったため、デプロイを行うたびにデータサイエンティストがそのような作業を実行する必要がありました。

TrueFoundryチームは、これらの問題を解決するためにチームと提携しました。TrueFoundryプラットフォームを使用することで、チームは以下のことが可能になりました。

1. 新しいモデルとプロジェクトのデプロイ時間を70%以上短縮
2. 全社的な共通デプロイ方法を確立し、Git統合、シークレット管理、オートスケーリングなどのベストプラクティスを組み込みました。
3. エンジニアリングチームの可視性を高め、制御を容易にする

Games 24x7は人工知能でゲーム業界に革命を起こしています

Games24x7は、行動科学、テクノロジー、人工知能を活用することに特化し、そのプラットフォーム全体で素晴らしいゲーム体験を提供する科学的なゲーミング企業です。

同社は、インドおよび世界中で著しい成長を遂げている、ダイナミックで進化し続けるオンラインゲーム業界で事業を展開しています。オンラインゲームは主要なエンターテイメント分野となり、多様な層の視聴者を引きつけています。同社は、特に5億5千万人以上のプレイヤーを誇るインドにおいて、ゲーム市場の大部分のシェアを獲得することを目指しています。

最も人気のあるリアルマネーゲームには以下が含まれます。

1. RummyCircle： 2人から6人でプレイするマルチプレイヤーカードゲームです。2023年だけで50億回以上プレイされ、RummyCircleはプレイヤーに競争のスリルと勝利の喜びをもたらします。
2. My11Circle： ユーザーがファンタジークリケット、サッカー、カバディのゲームをプレイして賞金を獲得できるファンタジースポーツアプリです。2019年のリリース以来、AIモデルを活用してパーソナライズされた体験を提供しています。2023年だけで5億以上のファンタジーチームが作成され、プレイヤーはお気に入りのスポーツに関する知識と情熱に対して報酬を得ています。

‍

同社は現在、より多くのボードゲームやマルチプレイヤーゲームに事業を拡大しています。ゲーマーにより没入感のあるソーシャルな体験を提供するという目標をさらに推進するため、最先端技術やスタートアップ企業に積極的に投資しています。

データサイエンスチームは自立性を求めていました

Games 24x7のチームと協力し始めた当初、彼らのチームはすでに何百万もの顧客にモデルを提供していました。しかし、この規模でモデルを提供するには、各リリース前にモデルの信頼性とパフォーマンスを確保する必要がありました。チームはインフラの取り扱いや、本番環境でのテストおよびデプロイに関する専門知識を自社で持っていなかったため、 彼らは以下の点でエンジニアリングチームに頼らざるを得ませんでした。：

1. 負荷テスト： チーム自身でできる負荷テストは、リクエストをループで実行する程度の最小限のものでした。エンジニアリングチームが負荷テストを行い、データサイエンスチームにフィードバックを提供し、データサイエンスチームはそのフィードバックに基づいて作業を行い、再度エンジニアリングチームにテストを依頼するというプロセスでした。これにより、モデルの出荷に数週間の遅延が生じました。
2. オートスケーリング： チームは、トラフィックパターンに基づいた動的なオートスケーリングを導入することでコスト削減を目指していました。というのも、現在のモデルトラフィック予測に基づいて大規模なインスタンスをプロビジョニングするやり方では、トラフィックが少ない期間に不要な費用が発生していたためです。
3. インフラのプロビジョニングとデプロイ： データサイエンスチームは、多くの場合、ローカルデバイスから直接モデルをデプロイするための一連の手順に従っていました。また、デプロイはチーム間で非標準的な方法で行われることが多く、バージョン管理やデータリネージ追跡などの優れたプラクティスが欠けていました。 
4. 非同期推論： チームは、Kafkaキューからのリクエストを消費するためにサイドカーを繰り返し作成していました。これは非常に時間がかかり、プロジェクトごとに繰り返し作業が必要でした。
5. 特徴量ストアの実装： データサイエンスチームは、プロジェクトの再利用性とモデル間での特徴量追跡のためにフィーチャーストアの導入を検討していました。データエンジニアリングチームも同様のソリューションを持っていましたが、直接的な連携が難しく、機械学習プロジェクトでの使いやすさが課題となっていました。

プラットフォームおよびエンジニアリングチームは、より高い可視性を求めていました

データサイエンスチームがより大きな権限とスピードを求めていた一方で、社内のエンジニアリングチームは、インフラをコスト最適かつセキュアに保つために、より高い可視性と制御を求めていました。彼らが直面していた課題のいくつかは以下の通りです。

1. デプロイにおける標準化の欠如： DSチーム内での非標準的なデプロイにより、デプロイされる各プロジェクトに対してアドホックなリクエストに対応する必要がありました。また、デプロイされたモデルには、バージョン管理、Git連携、チェックポイント、データリネージ情報といった適切なS.R.E.プラクティスが欠如していました。
2. モデルのコストとパフォーマンスに関する可視性の限界： デプロイが異なるインフラタイプ（EC2、Sagemaker、Databricks）に分散しており、デプロイされたリソースの一元的なリポジトリがなかったため、エンジニアリングチームはこれらのリソースの利用状況、パフォーマンス、コスト最適化を追跡するのに苦労していました。

Games 24x7チームはTrueFoundryのデザインパートナーとなりました

チームの要件を検討した結果、データサイエンスチームとエンジニアリングチーム双方の懸念を解決できる理想的なセットアップを構築することを提案しました。しかし、この理想的なシステムを実現するには、TrueFoundryチームによるいくつかの重要な機能の追加開発も必要でした。これらの機能には以下が含まれます。

1. シンプルな設定変更による非同期推論サービス： これにより、データサイエンスチームは、大量のトラフィック負荷に対応するモデルサービスを、リクエストが失われることを恐れることなく直接デプロイできるようになります。開発者が自身でサイドカーを記述するのに多くの時間と労力を費やしていた代わりに、私たちはこれをシンプルなトグル操作と同じくらい簡単にしたいと考えました。
2. パフォーマンス低下なしで200 RPSへのオートスケーリング： チームは、モデルのパフォーマンスを損なうことなく、また大幅な遅延を発生させることなく、効率的なリソース利用のためにオートスケーリングの実装を目指しました。この決定を下す上で、オートスケーリングのパフォーマンスのテストと分析が重要でした。
3. 使いやすい負荷テスト： 私たちは、Locustを使用して予想されるピークトラフィックをシミュレートできる、開発者にとって使いやすい負荷テストインターフェースを提供することを目指しました。当初はデータサイエンティスト向けのシンプルなスクリプトとして提供し、後にUIのオプションも提供することで、エンジニアリングチームへの依存を減らす予定でした。
4. Kafkaのデプロイと統合： チームは以前、Kafkaの開発インスタンスを持っていなかったため、開発後のテスト中に本番環境のようなシナリオをエミュレートできませんでした。私たちは、データサイエンティストがエンジニアリングチームに頼ることなく、開発環境でKafkaのようなアプリケーションをデプロイして使い始めるためのシンプルな方法を提供したいと考えました。
5. メトリクス追跡とアラート： チームは、モデルのパフォーマンスを追跡し、リソースまたはパフォーマンス関連の問題が予測されるたびにアラートをトリガーしたいと考えていました。これにより、DSチームとエンジニアリングチームの両方が問題を迅速に解決するための措置を講じることが可能になります。

これらの機能開発のあらゆる段階で、Games 24x7チームは、私たちが構築したもののテストと重要なフィードバックの提供において極めて重要な役割を果たしました。このフィードバックは、これらの機能の製品化を形成し、他のお客様にも利用していただけるようにする上で、決定的なものとなりました。

Games 24x7チームのサポートにより、私たちはこれらの機能を1ヶ月足らずで構築し、チームに提供することができました！このプロセス全体を通して、Games 24x7チームは私たちにとってパートナーとして機能しました。

私たちはチームがプロジェクトを3倍速く出荷できるよう支援しました！

ほとんどの新機能の開発が完了した際、私たちはチームがそれらすべてをまとめ、彼らのトラフィックレベルに必要なスケーラブルな方法でTrueFoundryプラットフォームにデプロイするのを支援しました。

TrueFoundryとの協業からチームが得た主な付加価値は以下の通りです。

データサイエンスチームは、独立して作業を行うことで数週間を節約できました

新しいセットアップを使用することで、データサイエンスチームは、以前はエンジニアリングチームに依存しなければならなかった多くのタスクを独立して実行できるようになりました。変更点には以下が含まれます。

1. 自分たちでロードテストを実施できるようになったこと
2. 開発環境にKafkaをデプロイしてテストできるようになったこと
3. 自分たちでオートスケーリングを設定できるようになったこと

エンジニアリングチームは可視性と制御を向上させました

エンジニアリングチームは、TrueFoundryプラットフォームを利用することで、MLオペレーションのより詳細なビューを持つことができました。このプラットフォームはチームに以下を提供しました。

1. デプロイされたすべてのモデルの一元的なダッシュボード
2. 異なるプロジェクトによるリソース利用状況の可視化と洞察
3. リソース割り当ての最適化によるコスト削減

プラットフォームは標準化とSDEのベストプラクティスを保証しました

プラットフォームを利用することで、チームは組織内のあらゆるモデルをデプロイできる標準的なデプロイモデルを作成することができました。これにより、以前はエンジニアリングチームが各プロジェクトごとに個別に時間を費やし、遅延を引き起こしていたデプロイプロセスが均質化されました。

プラットフォームの設計により、チームがTrueFoundryでデプロイを開始するとすぐに、SDEのベストプラクティスの一部が自動的に適用されました。

1. すべてのコードはBitbucketでバージョン管理されています。 プラットフォームは、指定されたコミットからコードを自動でDocker化し、デプロイしました。これにより、すべてのコードがバージョン管理されます。
2. 以前のすべてのバージョンを再デプロイ可能： プラットフォームは、以前にデプロイされたすべてのモデルバージョンを保存するため、変更を元に戻すためにいつでもそれらを再デプロイできます。
3. データリネージの維持： データおよびデータ機能へのすべてのアクセスはプラットフォームにログ記録され、必要に応じて取得およびクエリできます。
4. アーティファクトの保存： プラットフォームは、チームが適切なバージョン管理のもと、望むあらゆるアーティファクトを自由にログ記録できるようにしました。

Games 24x7チームは、驚異的な速さで新機能の構築を支援してくれました。

Games 24x7チームとの協業により、今日最も利用されている機能のいくつかを驚異的な速さで構築でき、これらの機能の製品版を1ヶ月以内に提供することができました。これには、次のような機能が含まれます。

1. 非同期推論
2. モデルの自動負荷テスト
3. Kafkaの統合とデプロイ
4. メトリクスとアラート

Games 24x7チームとの協業を継続し、このパートナーシップを通じて、彼らのデータサイエンスチームとエンジニアリングチームの両方に愛される製品の構築を目指しています。