Games 24x7 Personalizing Gaming with AI for its 100 Million Users

Melhorando os jogos com IA para mais de 100 milhões de gamers com a Games 24x7

A Games 24x7 é uma das empresas de jogos pioneiras do Sudeste Asiático. Com sede em Mumbai, a empresa tem uma base de usuários ativos de mais de 100 milhões de gamers. A empresa tem um portfólio de vários jogos de habilidade e casuais e é uma das líderes em Real Money Gaming. Seus dois jogos mais populares são o RummyCircle (5 bilhões de partidas jogadas em 2023) e o My11Circle (mais de 500 milhões de times criados em 2023).

Um dos principais diferenciais da empresa é sua capacidade de usar Inteligência Artificial (IA) e ciência comportamental para tornar a experiência de jogo mais imersiva. Isso é viabilizado pela inovação feita pela equipe de Inteligência Artificial e Data Science da empresa. Quando começamos a interagir com a equipe, eles queriam turbinar a velocidade de entrega dos projetos de IA removendo alguns bloqueios que sentiam que os estavam atrasando. Entre eles:

1. Atrasos devido a idas e vindas com a equipe de engenharia: A equipe de data science dependia da equipe de engenharia para suas necessidades de infraestrutura. Essas idas e vindas para testar e entregar modelos custavam muito atraso à equipe de ML.
2. Alto custo de nuvem e falta de autoscaling: A equipe estava acostumada a observar o serviço durante o teste de carga e provisionava uma instância suficientemente grande para acomodar o tráfego. Eles gastavam demais com custos de nuvem mesmo durante períodos de baixo tráfego, pela falta de autoscaling.
3. Ausência de um método comum de deployment: Os cientistas de dados muitas vezes perdiam tempo trabalhando em componentes relacionados a Kubernetes, infraestrutura e deployment, que não eram seu forte. Eles também não tinham um método comum de deployment, e os cientistas de dados tinham de realizar essas ações toda vez que queriam fazer um deployment.

A equipe da TrueFoundry fez parceria com a equipe para resolver esses problemas. Usando a plataforma TrueFoundry, a equipe conseguiu:

1. Reduzir o tempo de deployment de novos modelos e projetos em mais de 70%
2. Criar um método comum de deployment em toda a empresa, com boas práticas como integração com git, gestão de secrets, autoscaling etc. já incorporadas.
3. Criar mais visibilidade e facilidade de controle para a equipe de engenharia

A Games 24x7 está revolucionando os jogos com Inteligência Artificial

A Games24x7 é uma empresa de jogos científicos especializada em usar ciência comportamental, tecnologia e inteligência artificial para oferecer experiências de jogo incríveis em suas plataformas.

A empresa atua no cenário dinâmico e em evolução do setor de jogos online, que tem registrado um crescimento significativo na Índia e globalmente. Os jogos online se tornaram um grande segmento de entretenimento, atraindo um público diverso. A empresa tem como objetivo conquistar a maior parte da participação de mercado em jogos, especialmente na Índia, que conta com mais de 550 milhões de jogadores.

Alguns de seus jogos de dinheiro real mais populares incluem:

1. RummyCircle: É um jogo de cartas multijogador jogado por 2 a 6 jogadores. Com mais de 5 bilhões de partidas jogadas somente em 2023, o RummyCircle traz aos jogadores a emoção da competição e a alegria de vencer.
2. My11Circle: É um aplicativo de fantasy sports que permite aos usuários jogar partidas de fantasy de críquete, futebol e kabaddi e ganhar prêmios em dinheiro. Ele usa modelos de IA para oferecer uma experiência personalizada desde seu lançamento em 2019. Somente em 2023, mais de 500 milhões de times de fantasy foram criados, recompensando os jogadores por seu conhecimento e paixão por seus esportes favoritos.

‍

A empresa agora está se expandindo para mais jogos de tabuleiro e multijogador. Eles estão investindo ativamente em tecnologia de ponta e startups para promover seu objetivo de criar experiências mais imersivas e sociais para seus gamers.

A equipe de Data Science queria ser autossuficiente

Quando começamos a trabalhar com a equipe da Games 24x7, a equipe já vinha servindo modelos aos seus milhões de clientes. No entanto, para servir modelos nessa escala, eles tinham de garantir a confiabilidade e o desempenho dos modelos antes de cada release. Como a equipe não tinha expertise própria para lidar com a infraestrutura e fazer testes e deployment prontos para produção, eles tinham de depender da equipe de engenharia para o seguinte:

1. Teste de carga: A equipe só conseguia fazer um teste de carga mínimo por conta própria, que envolvia executar requisições em loop. A equipe de engenharia tinha de fazer o teste de carga e fornecer feedback à equipe de Data Science, que então trabalhava no feedback e o enviava novamente à equipe de engenharia para teste. Isso causava semanas de atraso na entrega do modelo.
2. Autoscaling: A equipe pretendia reduzir custos implementando autoscaling dinâmico com base nos padrões de tráfego, já que a prática atual de provisionar uma instância grande para o tráfego esperado do modelo resultava em despesas desnecessárias durante períodos de menor tráfego.
3. Provisionamento de infraestrutura e deployment: A equipe de Data Science seguia uma série de etapas para implantar o modelo, muitas vezes diretamente de seus dispositivos locais. O deployment também acontecia de forma não padronizada entre as equipes e frequentemente carecia de boas práticas como controle de versão, rastreamento de linhagem de dados etc. 
4. Inferência assíncrona: A equipe escrevia repetidamente sidecars para consumir requisições de uma fila Kafka. Isso era muito demorado e exigia esforço repetido para cada projeto.
5. Implementação de um feature store: A equipe de data science buscava implementar um feature store para reaproveitamento de projetos e rastreamento de features entre modelos. Embora a equipe de data engineering tivesse uma solução semelhante, sua usabilidade em projetos de machine learning era prejudicada por dificuldades de interação direta.

A equipe de plataforma e engenharia queria mais visibilidade

Enquanto a equipe de Data Science queria mais autonomia e velocidade, a equipe de engenharia da empresa queria mais visibilidade e controle para manter a infraestrutura otimizada em custo e segura. Alguns dos problemas que vinham enfrentando eram:

1. Falta de padronização nos deployments: O deployment não padronizado dentro da equipe de DS fazia com que eles atendessem solicitações ad hoc para cada projeto a ser implantado. Além disso, quando implantados, os modelos careciam de boas práticas de SRE como versionamento, integração com git, checkpointing, informações de linhagem de dados etc.
2. Visibilidade limitada sobre custo e desempenho dos modelos: Como os deployments estavam espalhados por diferentes tipos de infraestrutura (EC2, Sagemaker, Databricks) e não havia um repositório centralizado de recursos implantados, a equipe de engenharia tinha dificuldade em acompanhar a utilização desses recursos, seus desempenhos e a otimização dos custos.

A equipe da Games 24x7 se tornou design partner da TrueFoundry

Olhando para os requisitos da equipe, propusemos construir uma configuração ideal que pudesse resolver as preocupações tanto da equipe de data science quanto da de engenharia. No entanto, o sistema ideal teria exigido o desenvolvimento adicional de alguns recursos cruciais pela equipe da TrueFoundry também. Alguns desses recursos envolviam o seguinte:

1. Serviço de inferência assíncrona por simples mudança de config: Isso permitiria que a equipe de data science implantasse diretamente serviços de modelo para suas enormes cargas de tráfego sem medo de perder requisições. Queríamos tornar isso tão simples quanto um toggle para os desenvolvedores, em vez de eles terem de escrever um sidecar por conta própria, o que vinha consumindo muito do seu tempo e esforço.
2. Autoscaling até 200 RPS sem quedas de desempenho: A equipe pretendia implementar autoscaling para uma utilização eficiente de recursos sem comprometer o desempenho do modelo nem introduzir latência significativa. Testar e analisar o desempenho do autoscaling foi crucial para tomar essa decisão.
3. Teste de carga fácil de usar: Nosso objetivo era oferecer aos desenvolvedores uma interface de teste de carga fácil de usar com o Locust para simular o pico de tráfego esperado. Inicialmente, seria fornecido como um script simples para os cientistas de dados, com uma opção posterior de UI, reduzindo a dependência da equipe de engenharia.
4. Deployment e integração do Kafka: A equipe antes não tinha uma instância de dev do Kafka, então não conseguia emular cenários semelhantes aos de produção ao fazer testes pós-desenvolvimento. Queríamos dar aos cientistas de dados um método simples para implantar e começar a usar aplicações como o Kafka em ambientes de desenvolvimento sem ter de depender da equipe de engenharia.
5. Rastreamento de métricas e alertas: A equipe queria acompanhar o desempenho de seu modelo e disparar alertas sempre que um problema relacionado a recursos ou desempenho fosse previsto. Isso ajudaria tanto a equipe de DS quanto a de engenharia a tomar medidas rápidas para corrigir quaisquer problemas.

A cada passo da jornada de construção desses recursos, a equipe da Games 24x7 foi fundamental para testar o que construíamos e nos fornecer feedback crítico. Esse feedback foi essencial para moldar a produtização desses recursos e permitir que nossos outros clientes também pudessem usá-los.

Com o apoio da equipe da Games 24x7, conseguimos construir e entregar esses recursos à equipe em menos de um mês! Ao longo de todo o processo, a equipe da Games 24x7 atuou como parceira para nós.

Nós ajudamos a equipe a entregar projetos 3X mais rápido!

Quando o desenvolvimento da maioria dos novos recursos foi concluído, ajudamos a equipe a reunir tudo e a implantar na plataforma TrueFoundry de forma escalável, como era necessário para seus níveis de tráfego.

Alguns dos principais ganhos de valor que a equipe obteve ao trabalhar com a TrueFoundry foram:

A equipe de data science pôde economizar semanas fazendo as coisas de forma independente

Usando a nova configuração, a equipe de data science pôde realizar muitas tarefas de forma independente, das quais antes dependia da equipe de engenharia. Algumas das mudanças incluíram:

1. Conseguir fazer o teste de carga por conta própria
2. Conseguir implantar o Kafka no ambiente de Dev para teste
3. Conseguir configurar o autoscaling por conta própria

A equipe de engenharia ganhou mais visibilidade e controle

A equipe de engenharia conseguiu ter uma visão mais detalhada das operações de ML ao usar a plataforma TrueFoundry. A plataforma ajudou a fornecer à equipe:

1. Um único dashboard de todos os modelos implantados
2. Visibilidade e insights sobre a utilização de recursos por diferentes projetos
3. Redução de custos ao otimizar a alocação de recursos

A plataforma garantiu padronização e boas práticas de SDE

Ao usar a plataforma, a equipe conseguiu criar um modelo de deployment padrão com o qual qualquer modelo da organização pode ser implantado. Isso homogeneizou o processo de deployment, para o qual antes a equipe de engenharia tinha de gastar tempo separadamente para cada projeto, causando assim atrasos.

Devido ao design da plataforma, assim que a equipe começou a implantar com a TrueFoundry, algumas das boas práticas de SDE foram aplicadas automaticamente:

1. Todo o código é versionado no bitbucket: A plataforma dockerizava automaticamente o código a partir do commit necessário e o implantava. Isso garante que todo o código seja versionado.
2. Todas as versões anteriores podem ser reimplantadas: A plataforma salva todas as versões de modelo implantadas anteriormente, para que qualquer uma delas possa ser reimplantada para reverter quaisquer alterações.
3. Manutenção da linhagem de dados: Todos os acessos a dados e a features de dados são registrados na plataforma e podem ser recuperados e consultados conforme necessário.
4. Armazenamento de artefatos: A plataforma deu à equipe muito mais liberdade para registrar quaisquer artefatos que quisessem, com o versionamento adequado.

A equipe da Games 24x7 nos ajudou a construir novos recursos em uma velocidade incrível

Trabalhar com a equipe da Games 24x7 nos ajudou a construir alguns dos nossos recursos mais usados hoje em um ritmo incrível, que nos permitiu entregar uma versão pronta para produção desses recursos em menos de um mês. Isso inclui recursos como:

1. Inferência assíncrona
2. Teste de carga automatizado para modelos
3. Integração e deployment do Kafka
4. Métricas e alertas

Continuamos a construir trabalhando com a equipe da Games 24x7 e, com essa parceria contínua, estamos tentando construir um produto que seja amado tanto pelas equipes de Data Science quanto de Engenharia.