Wie Neurobit 60% seiner Cloud-Kosten einspart und maschinelles Lernen im großen Maßstab betreibt

Neurobit ist wegweisend in der KI-Forschung im Bereich Health Tech

Neurobit is a company for digital health with seats in New York, Singapore and Bangalore. Sie entwickeln Technologien, um negative gesundheitliche Folgen vorherzusagen und zu planen, lange bevor sie eintreten. This are used in the sleep overall vital values as biomarker.

Das Unternehmen hat die weltweit größte Schlafdatenbank mit über einer Milliarde Datenpunkten und physiologischen Mehrkanaldaten erstellt. The range of data, with they have trained their models, provides you necessary robust to the model for each new scenario. Your application case like many current KI efforts that were entered by New-Age-Health-Tech companies and new KI initiatives by technology companies.

Wir haben Ähnlichkeiten zwischen den Anwendungsfällen von Neurobit und denen anderer Unternehmen und mittelständischer Gesundheitsunternehmen festgestellt, mit denen wir gesprochen haben:

1. Stark reguliert mit den strengsten Richtlinien zum Datenschutz
2. Large data size
3. Niedrige Fehlertoleranz gegenüber fehlgeschlagenen Modellanfragen
4. Proprietäre Algorithmen mit strengen IP-Schutzbestimmungen verwenden

Das Team hat über 1000$ für jeden Benutzer verloren, den es nicht bedient hat

Als wir das Neurobit-Team zum ersten Mal trafen, hatten sie medizinische Studien mit über 120 Forschungszentren, Universitäten und über 1000 Probanden durchgeführt. Die meisten dieser Probanden befanden sich an derselben geografischen Lage.

Wenn die Person aufwacht, senden die Sensoren physiologische Daten zur Verarbeitung an den Server. Für jede Anfrage müssen 20 verschiedene Models aufgerufen werden, um die Endgültige Ausgabe zu generieren.

The data quantity, that with each request ending, was large (over 400 MB), and during the time with high traffic could the team to be a large verzögerung at the response time and also the return of request with loss of user data.

‍

Diese Situation hatte erhebliche negative finanzielle Auswirkungen auf das Team:

1. The order an individual request of the testing person cost the company over 1000 USD to testing fees.
2. Das Unternehmen könnte die medizinischen Studien beschleunigen, indem es mit Laboren und Krankenhäusern zusammenarbeitet, die Daten hochladen, was die Produktzulassungen verzögern würde.

Wie bei anderen Anwendungsfällen für maschinelles Lernen in der Gesundheitstechnologiebranche konnte das Team den Verlust von Kundendaten oder verzögerte Antworten nicht leisten.

Das Team wollte seine Models auf Kubernetes bereitstellen

Das Team wusste, dass die Bereitstellung seiner Modelle auf Kubernetes mit einer Warteschlange gespeichert wurde, bevor sie verarbeitet werden, ihre Zuverlässigkeitsprobleme lösen würde.

The IP protection standards of the company restricted the access to the model but only on some members of machine learning teams and not on the devOps-team.

The Machine Learning-Team is only available with limited bandwidth and expertise in Kubernetes, to make this own to work. Stattdessen wollten sie an der Entwicklung neuer Modelle arbeiten.

The existing stack, the was used for Machine-Learning-Provisions, was:

‍

The stack worked for the team to a specific scale. Aber sobald der Anwendungsfall skaliert war, sah sich das Team mit Zuverlässigkeitsproblemen bei der Bereitstellung des Modells konfrontiert, was sofortige Aufmerksamkeit erfordert.

Das Team wollte die Sicherheit seiner Modell-APIs erhöhen

Ta the company with sensitive PII and health data has to make, the maintenance of security of the model api for the company of largest meaning. Sie wollten, dass keine Kundendaten ihre Cloud verlassen, und die Authentifizierungs- und Sicherheitsstandards der APIs, die sie verwendet hatten, wurden verschärft.

Das Team entschied sich für eine Partnerschaft mit TrueFoundry

The team needed a possible, his team for maschinelles learning, has access to the model, in the location, provides models on Kubernetes independent and manage. The targets, the Neurobit team would reach through a partnership with TrueFoundry, were:

1. To increase the reliability their ML models, if they are used in the large measure
2. Um das DS-Team in die Lage zu versetzen, Machine-Learning-Modelle auf Kubernetes bereitzustellen und zu verwalten
3. Zur Stärkung der Authentifizierungs- und Sicherheitsprotokolle auf den Modell-APIs

TrueFoundry half dem Team bei der Lösung von Zuverlässigkeits- und Sicherheitsproblemen

The platform was set in less as a day

The truefoundry team half the Neurobit team in with install the truefoundry agent and the control level within a 2-stündigen access on their cluster. They were informed about the access and the required rights and in a single call through each step of the installation.

The team had the choice, only to install the module of the truefoundry platform that were relevant (model provide and authentication).

Nach der Installation erhielt das Team eine Demo der Plattform und übergab die Dokumentation.

Das Neurobit-Team begann vom ersten Tag an mit dem Einsatz

The Neurobit team can use the platform from first day an for their model provides. Sie konnten ihre Git-Repositorys direkt mit der Plattform verbinden. This code was automatically used and using the truefoundry user interface, the apis or the python sdk on the platform. Es waren keine Codeänderungen erforderlich und es war nicht erforderlich, ein zusätzliches Framework für all die Workflows zu lernen, das Team zu vervollständigen.

Das Team zeigte ein großes Tempo, da es die Zuverlässigkeitsprobleme schnell lösen sollte. Binnen weniger Tage, immer mehr Funktionen der Plattform zu erkunden und uns Feedback zu geben.

Binnen zwei Wochen war das Team in der Lage:

1. Verlagern Sie Ihre ML-Workloads mit TrueFoundry vollständig auf Kubernetes.
2. Setze ein ML-model with asynchroner warteschlange bereit, um die eingehenden Anfragen zu speichern, wenn Burst Traffic erkannt wird, was über ein einfaches Flag konfiguriert wurde.
3. Optimiert die Ressourcenzuweisung für die ML-Dienste gemäß den Verkehrsmustern und reduziert sie die zur Verfügung stehenden Ressourcen, um Kosten zu sparen, wenn das Anforderungsvolumen gering ist.
4. Richten Sie die Authentifizierung ein und erhöhen Sie die Sicherheit auf allen Model-API-Endpunkten.

Impacts on application cases of maschinell learning

Durch den Einsatz von Machine-Learning-Modellen auf TrueFoundry war das Team in der Lage:

1. Spart ~25-30.000 $ bei der Auszahlung der Probopersonen, indem sie die Anzahl der Modellfehler und Zuverlässigkeitsprobleme auf 0 setzen.
2. Reduzierung der Cloud-Kosten um 35-40%
3. 3-6 Monate schnellere klinische Studien durch Zusammenarbeit mit Krankenhäusern und Laboren
4. Richten Sie die Authentifizierung auf dem Model-API-Endpunkt ein

Das TrueFoundry-Team half dem Neurobit-Team auch bei der Optimierung seiner Softwarearchitektur

Als die wichtigsten Herausforderungen im Zusammenhang mit den Modellen für maschinelles Lernen gelöst waren, entschied das TrueFoundry-Team, noch einen weiteren Schritt zu gehen, um sicherzustellen, dass das Neurobit-Team auf Erfolgskurs war. When our gesprächen with the Neurobit-Team was clear that microservices architecture of the company more be optimized. This have may may impact on the inferenztime and the cloud costs, the team were created.

Am Ende haben wir mit dem Team eine eingehende Überprüfung der Microservices-Architektur durchgeführt.

We have the architecture, the team follows, how follows:

1. Es wurden 5 verschiedene Microservices aufgerufen, um die von den Benutzern eingegangenen Eingaben zu verarbeiten.
2. Jeder Dienst schrieb seine Zwischenausgabe in eine Datenbank. From this database las the following service, the output of the previous service, had the analysis from and wrote back in the database, that they could use the following microservice.

Dieser gesamte Vorgang dauerte ~7 Minuten für jede Anfrage.

Optimierte Microservices-Architektur mit TrueFoundry

‍

Wir haben versucht, die Fehlertoleranz und die Inferenzzeiten zu verstehen, die das Team benötigt. Vor diesem Hintergrund schlagen wir vor, dass das Neurobit-Team die Ausgabe eines Dienstes über das GRPC-Protokoll direkt an die anderen weiterleitet.

Der Vorteil dieser Architektur war das.

1. Da die Ausführung jedes Microservices ~30 Sekunden dauerte, besteht kein großes Risiko, Zwischenausgaben zu verlieren, falls es zu einem Ausfall kam, da die gesamte Pipeline erneut ausgeführt werden konnte.
2. It reduced the costs for the data transmission and the time, that is needed to writing the zwischenausgaben in a database, erheblich.

This new pipeline was hosting on the truefoundry platform and reduces the model inference time from ~7 minuten/request on ~2 minuten/request.

Impacts of the new design of architecture

1. The inferenztime of the ML-Pipeline was reduced from ~7 minutes to ~2 minutes
2. The costs for the operation of the machine learning service were reduced to 60-70%
3. Steigerung der Produktivität und Unabhängigkeit des Entwicklers. Developer could now models and applications itself, for before a hin and her with the devOps-team required
4. The team runs now all his models and applications complete on Kubernetes

Impacts on the business

We have seen in the running our partnership with the Neurobit team, how the company has recognized the benefits of faster reaction times, reliability and skalability, which the truefoundry platform provides the Neurobit team.

‍

Impacts on the technical stack of Neurobit

TrueFoundry half dem Neurobit-Team dabei, all seine Machine-Learning-Workloads auf Kubernetes zu verlagern, ohne dass sie mit der Komplexität auseinandersetzen müssen, etwas Neues im Zusammenhang mit Kubernetes lernen muss. It has also helped the team, independent to are and to be involved all Advanced operations in Kubernetes, including e.g. the through async-deployment, the facility of Autoscaling, serverlose services usw..

We could also help the team, some his software resources on a microservices architecture on Kubernetes, that your stack is future safe and with optimaler auslastung.

‍

Our knowledge from the engagement with Neurobit

When we further collaboration with Neurobit and them help them, with artificial intelligence to achieve the impact and the effect that they have made, we are dankbar für all die erkenntnisse, die wir durch die Zusammenarbeit mit dem Team gewinnen konnten. It has provided to include both the art and way to prägen, we think about the customer bindung, as also our product provides a solid direction.

Zu unseren wichtigsten Erkenntnissen gehören:

1. Unternehmen können einen großen Teil (> 40%) ihrer Cloud-Kosten sparen, indem sie ihre Ressourcen optimal nutzen
2. The Developer independent and they in the location to create the releases own, increases the tempo, with the team can release.
3. When they start with a skalable stack, is provided that nothing goes off and the team not least to the additional effort of a migration

Wir haben einige wichtige Funktionen der Plattform mitentwickelt und gleichzeitig versucht, die Anwendungsfälle zu lösen, die das Neurobit-Team von uns verlangte. Dazu gehören:

1. Asynchrone Bereitstellungen
2. Gehostete Jupyter-Notebooks

Weiterer Weg

Wir freuen uns darauf, langfristig mit dem Neurobit-Team zusammenzuarbeiten und von ihnen zu lernen und gleichzeitig zu versuchen, ihnen dabei zu helfen. Zu den zukünftigen Entwicklungen, die für dieses Engagement auf uns zukommen könnten, gehören:

1. Scaling of the model inference durchsätze on the 10-fach of the current scale
2. Help at the migration of the complete software stack from Neurobit to TrueFoundry
3. Einsatz neuer Versuchsmodelle und Durchführung von Pilotprojekten in Labors, Krankenhäusern und Pflegeheimen.

Bin gespannt, was als nächstes kommt!