True ML Talks #8 – Machine Learning Platform @ Intuit

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
Wir sind zurück mit einer weiteren Folge von True ML Talks. In dieser tauchen wir tief in die ML Platform Numaflow von Intuit ein und sprechen mit Vigith Maurice.
Vigith ist Principal Engineer bei Intuit für die AIOps-Plattform. Wie jeder weiß, der TurboTax, Credit Karma, Mint, QuickBooks und Mailchimp nutzt, ist Intuit die globale Technologieplattform, die Ihnen hilft, finanzielle Zuversicht zu erreichen.
📌
Unsere Gespräche mit Vigith decken die folgenden Aspekte ab:
- ML-Use-Cases bei Intuit
- NUMA-Ansatz für Echtzeit-Anomalieerkennung
- Einblicke in Argo Workflows
- Bereitstellung von ML-Modellen mit Kubernetes und Numaflow
- Retraining-Systeme, Numaflow vs. Flink
- Sicherheits- und Compliance-Maßnahmen in AIOps bei Intuit
- MLOps vs. AIOps
- Teaser für Vigiths KubeCon-Präsentation
Sehen Sie sich die vollständige Folge unten an:
ML-Use-Cases @ Intuit
Der betriebsorientierte ML-Use-Case
Das AIOps-Team von Intuit hat einen anderen Use Case für ML, der auf die betriebliche Seite des Geschäfts ausgerichtet ist. Dieser Use Case zielt darauf ab, Plattformprobleme schnell zu erkennen und zu beheben, um die durchschnittliche Zeit bis zur Erkennung und Behebung zu verkürzen. Einige Aspekte dieses Use Cases umfassen:
- Aufbau eines Operational Data Lake: Vigiths Team hat einen betrieblichen Data Lake aufgebaut, der Echtzeitdaten von jeder Schicht des Laufzeitsystems sammelt, wobei der Schwerpunkt auf rein PII-freien, anonymisierten Metriken liegt.
- Echtzeitanalyse: Das Team analysiert diese Daten mit einer Latenz von weniger als einer Minute, um je nach Schweregrad des Problems Warnmeldungen oder Vorfälle zu erkennen und zu erstellen.
- Hoher Durchsatz und geringe Latenz: Der ML-Ansatz des Teams von Vigith unterscheidet sich von herkömmlichem, kundenorientiertem ML, da sie eine hohe Skalierung von 250 Kubernetes-Clustern und eine Milliarde täglich eingespeister Ereignisse für Analyse und Verarbeitung bewältigen.
- Vorhersage anomaler Ereignisse: Das System des Teams folgt dem Data-Mesh-Prinzip und schematisiert das gesamte System, um einen einheitlichen Ansatz für die Datenanalyse im großen Maßstab zu bieten. Dies hilft dabei, anomale Ereignisse aus den Bereichen Ressourcen-CPU, Sicherheit und anderen Bereichen vorherzusagen.
Der kundenorientierte ML-Use-Case
Bei Intuit konzentrieren sich mehrere ML-Use-Cases auf die Verbesserung der Kundenerfahrung. Dazu gehören:
- Betrugserkennung: Verwendung von ML-Algorithmen zur Erkennung betrügerischer Aktivitäten wie Identitätsdiebstahl, gefälschte Rechnungen und Phishing-Scams.
- Dokumentenscanning: Nutzung von ML-Modellen zum automatischen Scannen von Dokumenten und Extrahieren wichtiger Informationen wie Quittungen, Rechnungen und Steuerformularen.
- Prognose (Forecasting): Anwendung von ML-Techniken zur Vorhersage zukünftiger Trends wie Umsatz, Nachfrage und Einnahmen.
- Dokumentensuche: Verwendung von ML-Algorithmen zur Verbesserung der Suchgenauigkeit und -relevanz, um Kunden das Auffinden der gesuchten Informationen zu erleichtern.
Aufbau einer skalierbaren Plattform für Echtzeit-Anomalieerkennung: Ein NUMA-Ansatz
Echtzeit-Anomalieerkennungssysteme müssen riesige Mengen unbegrenzter Datenströme verarbeiten. Herkömmliche Systeme für Machine Learning (ML) arbeiten nach einem Request-Response-Modell, bei dem die Nutzlast verarbeitet wird, um eine Vorhersage zu generieren. Ein Echtzeit-Anomalieerkennungssystem erfordert jedoch eine asynchrone, auf gerichteten azyklischen Graphen (DAG) basierende Pipeline, die verschiedene Datenformate und sprachunabhängige Operationen verarbeiten kann.
Intuit hat eine skalierbare Plattform für die Echtzeit-Anomalieerkennung entwickelt, die einen NUMA-Ansatz (New, Unique, and Mature Architecture) verwendet. Der NUMA-Ansatz besteht aus zwei Teilen: Numalogic, einer Reihe von Modellen, die geprüft wurden und täglich verwendet werden, und der Numaflow-Plattform, auf der die Numalogic-Modelle ausgeführt werden.
Die DAG-basierte Pipeline in der Numaflow-Plattform umfasst eine Quelle (einen unbegrenzten Datenstrom), Knoten/Vertices (sprachunabhängige Operationen) und eine Senke/Sink (Anomalie-Score-Ausgabe). Die Pipeline umfasst einen Preprocessing-Schritt für Feature Engineering, einen Inference-Schritt und einen Postprocessing-Schritt zur Normalisierung der Scores in ein menschenlesbares Format.
Die Plattform ist hochskalierbar und kosteneffizient und nutzt Lastberechnungen, um die Anzahl der erforderlichen Verarbeitungseinheiten zu bestimmen. Das System kann basierend auf dem eingehenden Datenvolumen hochskalieren oder auf null Verarbeitungseinheiten herunterskalieren. Die Plattform ist so konzipiert, dass sie Knoten- und Port-Migrationen, Auto-Scaling und Systemausfälle bewältigt.
Insgesamt bieten der NUMA-Ansatz und die Numaflow-Plattform eine hocheffiziente und effektive Lösung für Systeme zur Echtzeit-Anomalieerkennung.
📌
Architektur für das Herunterskalieren auf Null in AIOps-Systemen:
AIOps-Systeme erfordern die Fähigkeit, Ressourcen basierend auf der Menge der in Echtzeit verarbeiteten Daten hoch- und herunterzuskalieren. Um dies zu erreichen, werden die Scheduling-Logik und die Datenverarbeitungslogik getrennt. Dies geschieht durch die Bereitstellung eines benutzerdefinierten Kubernetes-Controllers mit einem integrierten Auto-Scaling-Algorithmus. Dieser Algorithmus ist in der Lage, die Verarbeitungsrate eines Vertex und die Zeit für die Verarbeitung einer Nachricht zu verstehen und diese Informationen zu nutzen, um die dem System zugewiesenen Ressourcen automatisch anzupassen.
Die Verwendung eines benutzerdefinierten Controllers unterscheidet sich vom nativen Kubernetes Horizontal Pod Autoscaler (HPA), der nicht auf zero skalieren kann. Durch die Verwendung eines benutzerdefinierten Controllers ist das AIOps-System in der Lage, auf zero herunterzuskalieren, wenn keine Daten verarbeitet werden, was hilft, unnötige Ressourcenverschwendung zu vermeiden.
Um die unabhängige Skalierung jedes Vertex zu ermöglichen, verwendet das System einen Buffer zwischen zwei Vertices. Dieser Buffer trägt dazu bei, dass die Daten effizient verarbeitet werden, und ermöglicht es, jeden Vertex basierend auf seinen spezifischen Anforderungen unabhängig zu skalieren. Dies ist wichtig, da verschiedene Prozesse in einem AIOps-System unterschiedliche Ressourcenanforderungen haben können und ihre unabhängige Skalierung zur Optimierung der Ressourcennutzung beiträgt.
Eine der coolsten Funktionen ist die Fähigkeit zur Skalierung auf Null, und das ist für uns ein absolutes Muss. – Vigith
Open-Source-Ökosystem und AIOps: Einblicke in Argo Workflows
Argo Workflows haben sich zu einem beliebten Werkzeug für die Verwaltung von Machine-Learning-Workflows entwickelt, zu dessen Entwicklung Intuit erheblich beigetragen hat. Der Erfolg von Argo liegt in seiner Open-Source-Natur, die Feedback und Beiträge von Benutzern weltweit ermöglicht. Durch die Öffnung der Software fließen Ideen und Innovationen aus der Community ein, sodass Intuit seine Lösungen basierend auf dem Feedback der Benutzer verbessern kann.
Im Vergleich zu anderen DAG-Orchestratoren wie Airflow eignet sich Argo gut für Trainingsaufgaben, ist jedoch stapleorientiert (batch-orientiert). Benutzer forderten ein gleichwertiges System, das Streaming-Daten verarbeiten kann. Intuit reagierte mit der Entwicklung von Numaflow, einem streaming-orientierten System. Die beiden Systeme Argo und Numaflow können zusammengeführt werden, um ein Always-on-Inference-System für die Echtzeit-Datenverarbeitung zu schaffen. Mit Numaflow hat das Unternehmen das Argo-System neu strukturiert, um mehr Funktionen zu integrieren und seine Funktionalität zu verbessern. Der Open-Source-Ansatz hat sich als vorteilhaft für Intuit und die gesamte Community erwiesen und ermöglicht gemeinsame Anstrengungen zur Verbesserung von AIOps-Workflows.
Mehr über Argo Workflows erfahren Sie hier:
Bereitstellung von ML-Modellen mit Kubernetes und Numaflow
Die Bereitstellung von Machine-Learning-Modellen (ML) mit Kubernetes und Numaflow kann eine anspruchsvolle Aufgabe sein, insbesondere wenn man die stark variierenden Latenz- und Datenverkehrsmuster berücksichtigt. Intuit verwendet ein einzigartiges Serving-System auf der betrieblichen AIOps-Plattform. Wenn Daten empfangen werden, ähnelt der Inference-Prozess jeder anderen benutzerdefinierten Funktion (UDF), unabhängig davon, ob es sich um die Konvertierung von Protobuf in Daten oder um die Inference handelt. Numaflow bietet ein SDK für verschiedene Sprachen, wobei Python aufgrund seines Verhaltens bei hohem Durchsatz am komplexesten zu unterstützen ist, da es Multi-Process- und prozedurales Python erfordert. Für andere Sprachen ist dies kein Problem.
Um eine Handler-Funktion zu erstellen, muss der Benutzer nur eine Funktion schreiben, die angibt, wie eine von Numaflow bereitgestellte Nachricht verarbeitet werden soll. Die Funktion nimmt eine Nachricht entgegen und gibt eine Flat Map zurück, die jeweils als Ein- und Ausgabe dient. Die Signatur der Funktion gilt für jeden Vertex, unabhängig von der Aufgabe.
Was die Modelle betrifft, werden sie basierend auf der Problemstellung abgerufen und im Cache gespeichert. Eine Nachricht wird empfangen, verarbeitet und als Inference zurückgegeben, die an den nächsten Vertex weitergeleitet wird. Je nach Use Case kann das Modell auf unterschiedliche Weise gespeichert werden. Für Architekturen mit hohem Durchsatz und starker Dezentralisierung wird ein Schlüssel verwendet. Für zentralisierte Architekturen wird eine Referenz in DynamoDB zu S3 abgelegt. Im Allgemeinen besteht das Ziel darin, den Prozess für einen ML-Engineer zu vereinfachen, der nur den Klassennamen ändern muss, da der Rest abstrahiert ist.
Die Plattform verwendet gRPC anstelle von REST, und je nach Problemstellung wird eine Kombination von Techniken verwendet, um den Modelllebenszyklus zu verwalten. MLflow wird zur Verwaltung des Lebenszyklus verwendet, wenn es geeignet ist, während andere Techniken für eine dezentralere Architektur verwendet werden, bei der MLflow keine Option ist. Die wichtigste Erkenntnis für einen ML-Engineer besteht darin, eine Handler-Funktion zu schreiben, die Ein- und Ausgaben entgegennimmt, und das System den Rest erledigen zu lassen.
Mehr über Numaflow erfahren Sie hier:
Retraining-Systeme, Numaflow vs. Flink
Das von Numaflow verwendete Retraining-System variiert je nach Use Case. Für komplexere Fälle mit 20 Anfragen pro Sekunde stellt Numaflow einen vollständigen Argo-Workflow mit mehreren Schritten bereit, um Daten abzurufen und den Modell-Store zu aktualisieren. Für leichtere Systeme verwendet Numaflow eine User-Defined Function (UDF), die eine Funktion ausführt, um das gewünschte Ergebnis zu erzielen.
Unterschied zwischen Numaflow und Flink
- Verarbeitungsgeschwindigkeit: Numaflow priorisiert die Entkopplung der Nachrichtenverarbeitungsgeschwindigkeit von der Latenz, während Flink sich auf hohen Durchsatz bei geringer Latenz konzentriert, wodurch es besser für die Datenverarbeitung mit hohem Durchsatz geeignet ist.
Dieser Unterschied im Durchsatz ist darauf zurückzuführen, dass Numaflow für intensive Berechnungen und I/O-intensive Aktivitäten konzipiert ist, während Flink besser für die Datenverarbeitung mit hohem Durchsatz geeignet ist. - Datenserialisierungsformat: Flink verwendet sein eigenes effizientes und gut definiertes Serialisierungsformat, während Numaflow einen Black-Box-Ansatz verwendet, der es schwierig macht, Hashcodes und Equals für die effiziente Speicherung und den Abruf von Nachrichten zu definieren.
Mehr über Apache Flink erfahren Sie hier:
Sicherheits- und Compliance-Maßnahmen in AIOps bei Intuit
- Intuit verfügt über strenge Sicherheitsmaßnahmen, einschließlich Verschlüsselungsalgorithmen auf Anwendungsebene.
- Das AIOps-System bei Intuit folgt einem Ansatz der wasserdichten Kompartimentierung, bei dem jeder Namespace isoliert und mit TLS für Daten im Ruhezustand (at rest) und in der Übertragung (in transit) verschlüsselt ist.
- Das AIOps-Team bei Intuit befolgt die Sicherheitsprinzipien von Argo, einem Open-Source-Projekt unter CNCF, zur Verschlüsselung von Daten auf allen Schichten, einschließlich der Metrik-Endpunkte.
- Das AIOps-System für Kundendaten bei Intuit weist noch strengere Sicherheitsbeschränkungen auf, mit gut geprüften und geschützten Daten, auf die nicht einmal Benutzer zugreifen können. Betriebsdaten werden aus diesem Grund von Kundendaten getrennt, aber Sicherheitsmaßnahmen sind weiterhin vorhanden.
MLOps vs. AIOps
Machine Learning Operations (MLOps) und Artificial Intelligence Operations (AIOps) sind zwei Begriffe, die oft synonym verwendet werden, aber tatsächlich unterschiedliche Prinzipien und Prozesse haben.
MLOps konzentriert sich in erster Linie auf die Verwaltung des Modelllebenszyklus, während AIOps stärker auf den betrieblichen Bereich ausgerichtet ist.
In AIOps verwenden wir typischerweise Technologien wie HyperLogLog und latenzbasierte Sketches, die für das Arbeiten mit Betriebsdaten entwickelt wurden. Diese Technologien können Fehlerprozentsätze von etwa 0,89 aufweisen und erlauben Annäherungen. Wir verlassen uns auch auf statistische Signifikanz, um Probleme zu erkennen und zu isolieren, mit dem Ziel, die Mean Time to Resolution (MTTR) zu reduzieren.
Im Gegensatz dazu nutzt MLOps andere Technologien wie MLflow und weitere Heuristiken, um den Lebenszyklus eines Modells zu verwalten. Bei Intuit wurden auch Muster wie Feature Management entwickelt, um den Modelllebenszyklus zu optimieren. Das Ziel in MLOps besteht darin, den gesamten Modelllebenszyklus zu verwalten, vom Training über die Bereitstellung und Überwachung bis hin zur Optimierung.
Teaser für Vigiths KubeCon-Präsentation: Kundenorientiertes AIOps mit Anomalieerkennung
In Vigiths bevorstehender Präsentation auf der KubeCon dreht sich alles um kundenorientiertes AIOps und Anomalieerkennung. Der Schwerpunkt liegt auf der Alarmierung basierend auf der Kundenerfahrung statt auf der des Systems. Das bedeutet den Aufbau komplexer Abhängigkeitsgraphen basierend auf Tracing-Daten und das Isolieren von Anomalien, anstatt sie nur zu erkennen.
Die Plattform nutzt eine Sammlung von Dimensionen und Metriken, um eine Anomalieerkennung mit zusammengesetzten Schlüsseln (Composite Keys) für Zeitreihendaten durchzuführen, was die Punktlandung von Anomalien auf einem sehr spezifischen Level ermöglicht. Das Ziel dieses Projekts ist es, eine generalisierte Lösung für die Anomalieerkennung anzubieten und es zu einem "Do It Yourself Anomalie"-System zu machen.
Vigiths Präsentation wird die Fähigkeiten der Plattform demonstrieren und zeigen, wie sie bei Intuit erfolgreich für AIOps implementiert wurde. Verpassen Sie nicht diese Gelegenheit, mehr über die neuesten Fortschritte im Bereich kundenorientiertes AIOps und Anomalieerkennung zu erfahren.
Lesen Sie unseren vorherigen Beitrag in der TrueML-Serie
Verfolgen Sie weiterhin die TrueML YouTube-Serie und lesen Sie die TrueML Blog-Serie.
TrueFoundry ist eine ML-Deployment-PaaS auf Kubernetes, die Entwickler-Workflows beschleunigt und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen bietet, während volle Sicherheit und Kontrolle für das Infra-Team gewährleistet bleiben. Über unsere Plattform ermöglichen wir Machine-Learning-Teams, Modelle innerhalb von 15 Minuten mit 100 % Zuverlässigkeit, Skalierbarkeit und der Möglichkeit zum Rollback in Sekunden bereitzustellen und zu überwachen – so können sie Kosten sparen, Modelle schneller in die Produktion bringen und echten geschäftlichen Mehrwert realisieren.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.
















%20(28).webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






