Spiele 24x7 — Gaming für 100 Millionen Nutzer mit KI personalisieren

Verbessern Sie das Spielen mit KI für über 100 Millionen Spieler mit Spielen rund um die Uhr

Games 24x7 ist eines der wegweisenden Spieleunternehmen aus Südostasien. Das Unternehmen mit Hauptsitz in Mumbai hat eine aktive Nutzerbasis von mehr als 100 Millionen Spielern. Das Unternehmen verfügt über ein Portfolio an zahlreichen Geschicklichkeits- und Gelegenheitsspielen und ist einer der führenden Anbieter von Echtgeldspielen. Ihre beiden beliebtesten Spiele sind RummyCircle (5 Milliarden gespielte Spiele im Jahr 2023) und My11Circle (2023 wurden mehr als 500 Millionen Teams gegründet).

Eines der wichtigsten Unterscheidungsmerkmale des Unternehmens ist seine Fähigkeit, künstliche Intelligenz (KI) und Verhaltensforschung zu nutzen, um das Spielerlebnis noch intensiver zu gestalten. Dies wird durch Innovationen des Teams für künstliche Intelligenz und Datenwissenschaft des Unternehmens ermöglicht. Als wir anfingen, mit dem Team zu interagieren, wollten sie die Geschwindigkeit beim Versand von KI-Projekten beschleunigen, indem sie einige Hindernisse beseitigten, von denen sie dachten, dass sie sie behinderten. Dazu gehörten:

1. Verzögerungen aufgrund von Hin und Her mit dem Engineering-Team: Das Data-Science-Team war abhängig von seinen infrastrukturbezogenen Bedürfnissen vom Engineering-Team. Dieses Hin und Her beim Testen und Versenden von Modellen kostete das ML-Team eine Menge Verzögerungen.
2. Hohe Cloud-Kosten und fehlende Autoskalierung: Das Team hatte sich daran gewöhnt, den Service während der Lasttests zu beobachten, und stellte eine ausreichend große Instanz bereit, um den Datenverkehr abzudecken. Aufgrund des fehlenden Autoscalings gaben sie selbst in Zeiten mit geringem Traffic zu viel für Cloud-Kosten aus.
3. Fehlen einer gemeinsamen Bereitstellungsmethode: Die Datenwissenschaftler verschwendeten oft Zeit damit, an Komponenten im Zusammenhang mit Kubernetes, Infrastruktur und Bereitstellung zu arbeiten, was nicht ihre Stärke war. Sie hatten auch keine gemeinsame Bereitstellungsmethode, und die Datenwissenschaftler mussten solche Aktionen jedes Mal durchführen, wenn sie eine Bereitstellung durchführen wollten.

Das TrueFoundry-Team arbeitete mit dem Team zusammen, um diese Probleme zu lösen. Mithilfe der TrueFoundry-Plattform war das Team in der Lage:

1. Verkürzen Sie die Bereitstellungszeit neuer Modelle und Projekte um > 70%
2. Erstellen Sie eine unternehmensweit einheitliche Bereitstellungsmethode mit integrierten Best Practices wie Git-Integration, Secret Management, Autoscaling usw.
3. Schaffen Sie mehr Transparenz und einfache Kontrolle für das Engineering-Team

Games 24x7 revolutioniert das Spielen mit künstlicher Intelligenz

Games24x7 ist ein wissenschaftliches Spieleunternehmen, das sich auf den Einsatz von Verhaltensforschung, Technologie und künstlicher Intelligenz spezialisiert hat, um auf seinen Plattformen großartige Spielerlebnisse zu bieten.

Das Unternehmen ist in der dynamischen und sich entwickelnden Landschaft der Online-Gaming-Branche tätig, die in Indien und weltweit ein deutliches Wachstum verzeichnet hat. Online-Gaming hat sich zu einem wichtigen Unterhaltungssegment entwickelt und zieht ein vielfältiges Publikum an. Das Unternehmen strebt an, einen Großteil des Marktanteils im Gaming-Bereich zu erobern, insbesondere in Indien, wo es mehr als 550 Millionen Spieler gibt.

Zu den beliebtesten Echtgeldspielen gehören:

1. Rummy Circle: Es ist ein Multiplayer-Kartenspiel, das von 2 bis 6 Spielern gespielt wird. Mit über 5 Milliarden gespielten Spielen allein im Jahr 2023 bietet RummyCircle den Spielern den Nervenkitzel des Wettbewerbs und die Freude am Gewinnen.
2. Mein 11. Kreis: Es ist eine Fantasy-Sport-App, mit der Benutzer Fantasy-Cricket-, Fußball- und Kabaddi-Spiele spielen und Geldpreise gewinnen können. Seit seiner Einführung im Jahr 2019 werden KI-Modelle verwendet, um ein personalisiertes Erlebnis zu bieten. Allein im Jahr 2023 wurden über 500 Millionen Fantasy-Teams gegründet, die die Spieler für ihr Wissen und ihre Leidenschaft für ihre Lieblingssportarten belohnten.

‍

Das Unternehmen expandiert nun auf mehr Brett- und Multiplayer-Spiele. Sie investieren aktiv in Spitzentechnologien und Startups, um ihr Ziel zu verwirklichen, ihren Spielern immersivere und sozialere Erlebnisse zu bieten.

Das Data Science-Team wollte eigenständig sein

Als wir anfingen, mit dem Team von Games 24x7 zu arbeiten, hatte das Team seinen Millionen von Kunden bereits Modelle angeboten. Um Modelle in dieser Größenordnung anbieten zu können, mussten sie jedoch vor jeder Veröffentlichung die Zuverlässigkeit und Leistung der Modelle sicherstellen. Da das Team nicht über Eigenkenntnisse im Umgang mit der Infrastruktur und der Durchführung produktionsreifer Tests und Bereitstellungen verfügte Sie mussten sich in folgenden Fällen auf das Engineering-Team verlassen:

1. Belastungstest: Das Team konnte selbst nur minimale Auslastungstests durchführen, bei denen Anfragen in einer Schleife ausgeführt wurden. Das Engineering-Team musste die Belastungstests selbst durchführen und dem Data Science-Team Feedback geben, das dann an dem Feedback arbeitete und es erneut zum Testen an das Engineering-Team sendete. Dies führte zu wochenlangen Verzögerungen beim Versand des Modells.
2. Automatische Skalierung: Das Team wollte die Kosten senken, indem es dynamische Autoscaling auf der Grundlage von Verkehrsmustern implementierte, da die derzeitige Praxis, eine große Instanz für den erwarteten Modellverkehr bereitzustellen, in Zeiten mit geringerem Traffic zu unnötigen Kosten führte.
3. Bereitstellung von Infrastruktur und Bereitstellung: Das Data Science-Team befolgte eine Reihe von Schritten zur Bereitstellung und Modellierung, oft direkt von ihren lokalen Geräten aus. Die Bereitstellung erfolgte zudem teamübergreifend auf ungewöhnliche Weise, und es fehlten häufig bewährte Verfahren wie Versionskontrolle, Nachverfolgung der Datenherkunft usw.
4. Asynchrone Inferenz: Das Team schrieb wiederholt Beiwagen für Anfragen aus einer Kafka-Warteschlange. Dies war sehr zeitaufwändig und erforderte für jedes Projekt wiederholten Aufwand.
5. Implementierung eines Feature-Stores: Das Data-Science-Team wollte einen Feature-Store für die Wiederverwendbarkeit von Projekten und die modellübergreifende Nachverfolgung von Funktionen implementieren. Das Datentechnik-Team hatte zwar eine ähnliche Lösung, deren Verwendbarkeit in Projekten zum maschinellen Lernen jedoch durch Schwierigkeiten bei der direkten Interaktion behindert wurde.

Das Plattform- und Engineering-Team wollte mehr Sichtbarkeit

Während sich das Data Science-Team mehr Möglichkeiten und Geschwindigkeit wünschte, wünschte sich das Engineering-Team innerhalb des Unternehmens mehr Transparenz und Kontrolle, um die Infrastruktur kostenoptimal und sicher zu halten. Einige ihrer Probleme, mit denen sie konfrontiert waren, waren:

1. Mangelnde Standardisierung bei Bereitstellungen: Aufgrund der nicht standardmäßigen Bereitstellung innerhalb des DS-Teams wurden Ad-hoc-Anfragen für jedes bereitzustellende Projekt bearbeitet. Außerdem fehlten den Modellen bei der Bereitstellung gute S.R.E.-Praktiken wie Versionierung, Git-Integration, Checkpointing, Informationen zur Datenherkunft usw.
2. Eingeschränkter Einblick in Kosten und Leistung von Modellen: Da die Bereitstellungen über verschiedene Infrastrukturtypen (EC2, Sagemaker, Databricks) verstreut waren und es kein zentrales Repository der bereitgestellten Ressourcen gab, fiel es dem Engineering-Team schwer, die Auslastung dieser Ressourcen, ihre Leistung und die Kostenoptimierung im Auge zu behalten.

Das 24x7-Team von Games wurde Designpartner von TrueFoundry

Angesichts der Anforderungen des Teams schlugen wir vor, ein ideales Setup für das Team zu entwickeln, das die Probleme sowohl des Datenwissenschafts- als auch des Engineering-Teams lösen kann. Das ideale System hätte jedoch auch zusätzliche Entwicklungen einiger wichtiger Funktionen durch das TrueFoundry-Team erfordert. Einige dieser Funktionen umfassten Folgendes:

1. Asynchroner Inferenzdienst durch einfache Konfigurationsänderung: Dies würde es dem Data-Science-Team ermöglichen, Modelldienste für ihre enormen Datenverkehrslasten direkt bereitzustellen, ohne befürchten zu müssen, dass sie bei Anfragen ausfallen. Wir wollten es den Entwicklern so einfach wie ein einfaches Umschalten machen, anstatt selbst einen Beiwagen schreiben zu müssen, was viel Zeit und Mühe gekostet hat.
2. Automatische Skalierung auf 200 RPS ohne Leistungseinbußen: Das Team hatte sich zum Ziel gesetzt, Autoscaling für eine effiziente Ressourcennutzung zu implementieren, ohne die Modellleistung zu beeinträchtigen oder signifikante Latenzen einzuführen. Das Testen und Analysieren der Autoscaling-Leistung war ausschlaggebend für diese Entscheidung.
3. Einfach zu verwendendes Load Testing: Unser Ziel war es, Entwicklern eine benutzerfreundliche Oberfläche für Lasttests zu bieten, die Locust verwenden, um den erwarteten Spitzenverkehr zu simulieren. Anfänglich sollte es als einfaches Skript für Datenwissenschaftler bereitgestellt werden, später gab es eine Option für eine Benutzeroberfläche, um die Abhängigkeit vom Engineering-Team zu verringern.
4. Bereitstellung und Integration von Kafka: Das Team hatte zuvor keine Entwicklungsinstanz von Kafka, sodass es bei der Durchführung von Tests nach der Entwicklung keine produktionsähnlichen Szenarien emulieren konnte. Wir wollten den Datenwissenschaftlern eine einfache Methode bieten, um Anwendungen wie Kafka in Entwicklungsumgebungen bereitzustellen und zu verwenden, ohne sich auf das Engineering-Team verlassen zu müssen.
5. Nachverfolgung und Alarmierung von Kennzahlen: Das Team wollte die Leistung seines Modells verfolgen und Warnmeldungen auslösen, wenn ein Ressourcen- oder Leistungsproblem zu erwarten war. Dies würde sowohl dem DS- als auch dem Engineering-Team helfen, schnell Maßnahmen zur Behebung von Problemen zu ergreifen.

Bei jedem Schritt der Entwicklung dieser Funktionen war das Games-Team rund um die Uhr maßgeblich daran beteiligt, die von uns entwickelten Funktionen zu testen und uns kritisches Feedback zu geben. Dieses Feedback war ausschlaggebend für die Produktisierung dieser Funktionen und dafür, dass unsere anderen Kunden sie auch nutzen konnten.

Mit der Unterstützung des 24x7-Teams von Games konnten wir diese Funktionen in weniger als einem Monat entwickeln und an das Team versenden! Während des gesamten Prozesses stand uns das Games-Team rund um die Uhr als Partner zur Seite.

Wir haben dem Team geholfen, Projekte dreimal schneller zu versenden!

Als die Entwicklung der meisten neuen Funktionen abgeschlossen war, halfen wir dem Team, alles zusammenzustellen und auf der TrueFoundry-Plattform auf skalierbare Weise bereitzustellen, die für das Verkehrsaufkommen erforderlich war.

Einige der wichtigsten Mehrwerte, die das Team aus der Zusammenarbeit mit TrueFoundry gezogen hat, waren:

Das Data-Science-Team könnte Wochen sparen, indem es Dinge unabhängig erledigt

Mit dem neuen Setup konnte das Data-Science-Team viele Aufgaben unabhängig ausführen, die es zuvor auf das Engineering-Team angewiesen war. Einige der Änderungen umfassten:

1. In der Lage sein, selbst Belastungstests durchzuführen
2. In der Lage sein, Kafka in der Dev-Umgebung zum Testen einzusetzen
3. Automatische Skalierung selbst konfigurieren können

Das Engineering-Team erhielt mehr Transparenz und Kontrolle

Das Engineering-Team konnte sich mithilfe der TrueFoundry-Plattform einen besseren Überblick über den ML-Betrieb verschaffen. Die Plattform half dem Team dabei, Folgendes zu bieten:

1. Einzigartiges Dashboard aller eingesetzten Modelle
2. Sichtbarkeit und Einblicke in die Ressourcennutzung durch verschiedene Projekte
3. Kostenreduzierung durch Optimierung der Ressourcenallokation

Die Plattform sorgte für Standardisierung und Best Practices für SDE

Durch die Nutzung der Plattform war das Team in der Lage, ein Standardbereitstellungsmodell zu erstellen, mit dem jedes Modell innerhalb der Organisation eingesetzt werden kann. Es vereinheitlichte den Bereitstellungsprozess, für den das Entwicklungsteam zuvor für jedes Projekt separat Zeit aufwenden musste, was zu Verzögerungen führte.

Aufgrund des Designs der Plattform wurden einige der Best Practices für SDE automatisch durchgesetzt, sobald das Team mit der Bereitstellung von TrueFoundry begann:

1. Der gesamte Code ist auf Bitbucket versioniert: Die Plattform hat den Code aus dem erforderlichen Commit automatisch dockerisiert und bereitgestellt. Dadurch wird sichergestellt, dass der gesamte Code versioniert ist.
2. Alle früheren Versionen können erneut bereitgestellt werden: Die Plattform speichert alle zuvor bereitgestellten Modellversionen, sodass jede von ihnen erneut bereitgestellt werden kann, um alle Änderungen rückgängig zu machen.
3. Aufrechterhaltung der Datenherkunft: Alle Zugriffe auf Daten und Datenfunktionen werden auf der Plattform angemeldet und können bei Bedarf abgerufen und abgefragt werden.
4. Artefakte speichern: Die Plattform gab dem Team viel mehr Freiheit, alle gewünschten Artefakte mit der richtigen Versionierung zu protokollieren.

Das 24x7-Team von Games hat uns geholfen, blitzschnell neue Funktionen zu entwickeln

Die Zusammenarbeit mit dem Games-Team rund um die Uhr hat uns geholfen, einige unserer heute am häufigsten verwendeten Funktionen blitzschnell zu entwickeln, sodass wir innerhalb eines Monats eine produktionsreife Version dieser Funktionen bereitstellen konnten. Dazu gehören Funktionen wie:

1. Asynchrone Inferenz
2. Automatisierte Belastungstests für Modelle
3. Integration und Einsatz von Kafka
4. Metriken und Warnmeldungen

Wir arbeiten weiter daran, rund um die Uhr mit dem Games-Team zusammenzuarbeiten, und mit dieser fortgesetzten Partnerschaft versuchen wir, ein Produkt zu entwickeln, das sowohl bei den Data Science- als auch bei den Engineering-Teams beliebt ist.