Blank white background with no objects or features visible.

Hallo EMEA! TrueFoundry baut seine Präsenz in Europa, dem Nahen Osten und Afrika weiter aus. Mehr erfahren. →

True ML Talks #8 – Machine Learning Platform @ Intuit

von TrueFoundry

Aktualisiert: November 3, 2026

Published: April 20, 2026

Wir sind zurück mit einer weiteren Folge von  True ML Talks. In dieser tauchen wir tief in die ML Platform Numaflow von Intuit ein und sprechen mit Vigith Maurice.

Vigith ist Principal Engineer bei Intuit für die AIOps-Plattform. Wie jeder weiß, der TurboTax, Credit Karma, Mint, QuickBooks und Mailchimp nutzt, ist Intuit die globale Technologieplattform, die Ihnen hilft, finanzielle Zuversicht zu erreichen.

📌

Unsere Gespräche mit Vigith decken die folgenden Aspekte ab:
- ML-Use-Cases bei Intuit
- NUMA-Ansatz für Echtzeit-Anomalieerkennung
- Einblicke in Argo Workflows
- Bereitstellung von ML-Modellen mit Kubernetes und Numaflow
- Retraining-Systeme, Numaflow vs. Flink
- Sicherheits- und Compliance-Maßnahmen in AIOps bei Intuit
- MLOps vs. AIOps
- Teaser für Vigiths KubeCon-Präsentation

Sehen Sie sich die vollständige Folge unten an:

ML-Use-Cases @ Intuit

Der betriebsorientierte ML-Use-Case

Das AIOps-Team von Intuit hat einen anderen Use Case für ML, der auf die betriebliche Seite des Geschäfts ausgerichtet ist. Dieser Use Case zielt darauf ab, Plattformprobleme schnell zu erkennen und zu beheben, um die durchschnittliche Zeit bis zur Erkennung und Behebung zu verkürzen. Einige Aspekte dieses Use Cases umfassen:

  1. Aufbau eines Operational Data Lake: Vigiths Team hat einen betrieblichen Data Lake aufgebaut, der Echtzeitdaten von jeder Schicht des Laufzeitsystems sammelt, wobei der Schwerpunkt auf rein PII-freien, anonymisierten Metriken liegt.
  2. Echtzeitanalyse: Das Team analysiert diese Daten mit einer Latenz von weniger als einer Minute, um je nach Schweregrad des Problems Warnmeldungen oder Vorfälle zu erkennen und zu erstellen.
  3. Hoher Durchsatz und geringe Latenz: Der ML-Ansatz des Teams von Vigith unterscheidet sich von herkömmlichem, kundenorientiertem ML, da sie eine hohe Skalierung von 250 Kubernetes-Clustern und eine Milliarde täglich eingespeister Ereignisse für Analyse und Verarbeitung bewältigen.
  4. Vorhersage anomaler Ereignisse: Das System des Teams folgt dem Data-Mesh-Prinzip und schematisiert das gesamte System, um einen einheitlichen Ansatz für die Datenanalyse im großen Maßstab zu bieten. Dies hilft dabei, anomale Ereignisse aus den Bereichen Ressourcen-CPU, Sicherheit und anderen Bereichen vorherzusagen.

Der kundenorientierte ML-Use-Case

Bei Intuit konzentrieren sich mehrere ML-Use-Cases auf die Verbesserung der Kundenerfahrung. Dazu gehören:

  1. Betrugserkennung: Verwendung von ML-Algorithmen zur Erkennung betrügerischer Aktivitäten wie Identitätsdiebstahl, gefälschte Rechnungen und Phishing-Scams.
  2. Dokumentenscanning: Nutzung von ML-Modellen zum automatischen Scannen von Dokumenten und Extrahieren wichtiger Informationen wie Quittungen, Rechnungen und Steuerformularen.
  3. Prognose (Forecasting): Anwendung von ML-Techniken zur Vorhersage zukünftiger Trends wie Umsatz, Nachfrage und Einnahmen.
  4. Dokumentensuche: Verwendung von ML-Algorithmen zur Verbesserung der Suchgenauigkeit und -relevanz, um Kunden das Auffinden der gesuchten Informationen zu erleichtern.

‍

‍

Aufbau einer skalierbaren Plattform für Echtzeit-Anomalieerkennung: Ein NUMA-Ansatz

Echtzeit-Anomalieerkennungssysteme müssen riesige Mengen unbegrenzter Datenströme verarbeiten. Herkömmliche Systeme für Machine Learning (ML) arbeiten nach einem Request-Response-Modell, bei dem die Nutzlast verarbeitet wird, um eine Vorhersage zu generieren. Ein Echtzeit-Anomalieerkennungssystem erfordert jedoch eine asynchrone, auf gerichteten azyklischen Graphen (DAG) basierende Pipeline, die verschiedene Datenformate und sprachunabhängige Operationen verarbeiten kann.

Intuit hat eine skalierbare Plattform für die Echtzeit-Anomalieerkennung entwickelt, die einen NUMA-Ansatz (New, Unique, and Mature Architecture) verwendet. Der NUMA-Ansatz besteht aus zwei Teilen: Numalogic, einer Reihe von Modellen, die geprüft wurden und täglich verwendet werden, und der Numaflow-Plattform, auf der die Numalogic-Modelle ausgeführt werden.

Die DAG-basierte Pipeline in der Numaflow-Plattform umfasst eine Quelle (einen unbegrenzten Datenstrom), Knoten/Vertices (sprachunabhängige Operationen) und eine Senke/Sink (Anomalie-Score-Ausgabe). Die Pipeline umfasst einen Preprocessing-Schritt für Feature Engineering, einen Inference-Schritt und einen Postprocessing-Schritt zur Normalisierung der Scores in ein menschenlesbares Format.

Die Plattform ist hochskalierbar und kosteneffizient und nutzt Lastberechnungen, um die Anzahl der erforderlichen Verarbeitungseinheiten zu bestimmen. Das System kann basierend auf dem eingehenden Datenvolumen hochskalieren oder auf null Verarbeitungseinheiten herunterskalieren. Die Plattform ist so konzipiert, dass sie Knoten- und Port-Migrationen, Auto-Scaling und Systemausfälle bewältigt.

Insgesamt bieten der NUMA-Ansatz und die Numaflow-Plattform eine hocheffiziente und effektive Lösung für Systeme zur Echtzeit-Anomalieerkennung.

📌

Architektur für das Herunterskalieren auf Null in AIOps-Systemen:
AIOps-Systeme erfordern die Fähigkeit, Ressourcen basierend auf der Menge der in Echtzeit verarbeiteten Daten hoch- und herunterzuskalieren. Um dies zu erreichen, werden die Scheduling-Logik und die Datenverarbeitungslogik getrennt. Dies geschieht durch die Bereitstellung eines benutzerdefinierten Kubernetes-Controllers mit einem integrierten Auto-Scaling-Algorithmus. Dieser Algorithmus ist in der Lage, die Verarbeitungsrate eines Vertex und die Zeit für die Verarbeitung einer Nachricht zu verstehen und diese Informationen zu nutzen, um die dem System zugewiesenen Ressourcen automatisch anzupassen.

Die Verwendung eines benutzerdefinierten Controllers unterscheidet sich vom nativen Kubernetes Horizontal Pod Autoscaler (HPA), der nicht auf zero skalieren kann. Durch die Verwendung eines benutzerdefinierten Controllers ist das AIOps-System in der Lage, auf zero herunterzuskalieren, wenn keine Daten verarbeitet werden, was hilft, unnötige Ressourcenverschwendung zu vermeiden.

Um die unabhängige Skalierung jedes Vertex zu ermöglichen, verwendet das System einen Buffer zwischen zwei Vertices. Dieser Buffer trägt dazu bei, dass die Daten effizient verarbeitet werden, und ermöglicht es, jeden Vertex basierend auf seinen spezifischen Anforderungen unabhängig zu skalieren. Dies ist wichtig, da verschiedene Prozesse in einem AIOps-System unterschiedliche Ressourcenanforderungen haben können und ihre unabhängige Skalierung zur Optimierung der Ressourcennutzung beiträgt.

Eine der coolsten Funktionen ist die Fähigkeit zur Skalierung auf Null, und das ist für uns ein absolutes Muss. – Vigith

Open-Source-Ökosystem und AIOps: Einblicke in Argo Workflows

Argo Workflows haben sich zu einem beliebten Werkzeug für die Verwaltung von Machine-Learning-Workflows entwickelt, zu dessen Entwicklung Intuit erheblich beigetragen hat. Der Erfolg von Argo liegt in seiner Open-Source-Natur, die Feedback und Beiträge von Benutzern weltweit ermöglicht. Durch die Öffnung der Software fließen Ideen und Innovationen aus der Community ein, sodass Intuit seine Lösungen basierend auf dem Feedback der Benutzer verbessern kann.

Im Vergleich zu anderen DAG-Orchestratoren wie Airflow eignet sich Argo gut für Trainingsaufgaben, ist jedoch stapleorientiert (batch-orientiert). Benutzer forderten ein gleichwertiges System, das Streaming-Daten verarbeiten kann. Intuit reagierte mit der Entwicklung von Numaflow, einem streaming-orientierten System. Die beiden Systeme Argo und Numaflow können zusammengeführt werden, um ein Always-on-Inference-System für die Echtzeit-Datenverarbeitung zu schaffen. Mit Numaflow hat das Unternehmen das Argo-System neu strukturiert, um mehr Funktionen zu integrieren und seine Funktionalität zu verbessern. Der Open-Source-Ansatz hat sich als vorteilhaft für Intuit und die gesamte Community erwiesen und ermöglicht gemeinsame Anstrengungen zur Verbesserung von AIOps-Workflows.

Mehr über Argo Workflows erfahren Sie hier:

‍

‍

Bereitstellung von ML-Modellen mit Kubernetes und Numaflow

Die Bereitstellung von Machine-Learning-Modellen (ML) mit Kubernetes und Numaflow kann eine anspruchsvolle Aufgabe sein, insbesondere wenn man die stark variierenden Latenz- und Datenverkehrsmuster berücksichtigt. Intuit verwendet ein einzigartiges Serving-System auf der betrieblichen AIOps-Plattform. Wenn Daten empfangen werden, ähnelt der Inference-Prozess jeder anderen benutzerdefinierten Funktion (UDF), unabhängig davon, ob es sich um die Konvertierung von Protobuf in Daten oder um die Inference handelt. Numaflow bietet ein SDK für verschiedene Sprachen, wobei Python aufgrund seines Verhaltens bei hohem Durchsatz am komplexesten zu unterstützen ist, da es Multi-Process- und prozedurales Python erfordert. Für andere Sprachen ist dies kein Problem.

Um eine Handler-Funktion zu erstellen, muss der Benutzer nur eine Funktion schreiben, die angibt, wie eine von Numaflow bereitgestellte Nachricht verarbeitet werden soll. Die Funktion nimmt eine Nachricht entgegen und gibt eine Flat Map zurück, die jeweils als Ein- und Ausgabe dient. Die Signatur der Funktion gilt für jeden Vertex, unabhängig von der Aufgabe.

Was die Modelle betrifft, werden sie basierend auf der Problemstellung abgerufen und im Cache gespeichert. Eine Nachricht wird empfangen, verarbeitet und als Inference zurückgegeben, die an den nächsten Vertex weitergeleitet wird. Je nach Use Case kann das Modell auf unterschiedliche Weise gespeichert werden. Für Architekturen mit hohem Durchsatz und starker Dezentralisierung wird ein Schlüssel verwendet. Für zentralisierte Architekturen wird eine Referenz in DynamoDB zu S3 abgelegt. Im Allgemeinen besteht das Ziel darin, den Prozess für einen ML-Engineer zu vereinfachen, der nur den Klassennamen ändern muss, da der Rest abstrahiert ist.

Die Plattform verwendet gRPC anstelle von REST, und je nach Problemstellung wird eine Kombination von Techniken verwendet, um den Modelllebenszyklus zu verwalten. MLflow wird zur Verwaltung des Lebenszyklus verwendet, wenn es geeignet ist, während andere Techniken für eine dezentralere Architektur verwendet werden, bei der MLflow keine Option ist. Die wichtigste Erkenntnis für einen ML-Engineer besteht darin, eine Handler-Funktion zu schreiben, die Ein- und Ausgaben entgegennimmt, und das System den Rest erledigen zu lassen.

Mehr über Numaflow erfahren Sie hier:

‍

‍

Retraining-Systeme, Numaflow vs. Flink

Das von Numaflow verwendete Retraining-System variiert je nach Use Case. Für komplexere Fälle mit 20 Anfragen pro Sekunde stellt Numaflow einen vollständigen Argo-Workflow mit mehreren Schritten bereit, um Daten abzurufen und den Modell-Store zu aktualisieren. Für leichtere Systeme verwendet Numaflow eine User-Defined Function (UDF), die eine Funktion ausführt, um das gewünschte Ergebnis zu erzielen.

Unterschied zwischen Numaflow und Flink

  1. Verarbeitungsgeschwindigkeit: Numaflow priorisiert die Entkopplung der Nachrichtenverarbeitungsgeschwindigkeit von der Latenz, während Flink sich auf hohen Durchsatz bei geringer Latenz konzentriert, wodurch es besser für die Datenverarbeitung mit hohem Durchsatz geeignet ist.
    Dieser Unterschied im Durchsatz ist darauf zurückzuführen, dass Numaflow für intensive Berechnungen und I/O-intensive Aktivitäten konzipiert ist, während Flink besser für die Datenverarbeitung mit hohem Durchsatz geeignet ist.
  2. Datenserialisierungsformat: Flink verwendet sein eigenes effizientes und gut definiertes Serialisierungsformat, während Numaflow einen Black-Box-Ansatz verwendet, der es schwierig macht, Hashcodes und Equals für die effiziente Speicherung und den Abruf von Nachrichten zu definieren.

Mehr über Apache Flink erfahren Sie hier:

‍

‍

Sicherheits- und Compliance-Maßnahmen in AIOps bei Intuit

  1. Intuit verfügt über strenge Sicherheitsmaßnahmen, einschließlich Verschlüsselungsalgorithmen auf Anwendungsebene.
  2. Das AIOps-System bei Intuit folgt einem Ansatz der wasserdichten Kompartimentierung, bei dem jeder Namespace isoliert und mit TLS für Daten im Ruhezustand (at rest) und in der Übertragung (in transit) verschlüsselt ist.
  3. Das AIOps-Team bei Intuit befolgt die Sicherheitsprinzipien von Argo, einem Open-Source-Projekt unter CNCF, zur Verschlüsselung von Daten auf allen Schichten, einschließlich der Metrik-Endpunkte.
  4. Das AIOps-System für Kundendaten bei Intuit weist noch strengere Sicherheitsbeschränkungen auf, mit gut geprüften und geschützten Daten, auf die nicht einmal Benutzer zugreifen können. Betriebsdaten werden aus diesem Grund von Kundendaten getrennt, aber Sicherheitsmaßnahmen sind weiterhin vorhanden.

MLOps vs. AIOps

Machine Learning Operations (MLOps) und Artificial Intelligence Operations (AIOps) sind zwei Begriffe, die oft synonym verwendet werden, aber tatsächlich unterschiedliche Prinzipien und Prozesse haben.
MLOps konzentriert sich in erster Linie auf die Verwaltung des Modelllebenszyklus, während AIOps stärker auf den betrieblichen Bereich ausgerichtet ist.

In AIOps verwenden wir typischerweise Technologien wie HyperLogLog und latenzbasierte Sketches, die für das Arbeiten mit Betriebsdaten entwickelt wurden. Diese Technologien können Fehlerprozentsätze von etwa 0,89 aufweisen und erlauben Annäherungen. Wir verlassen uns auch auf statistische Signifikanz, um Probleme zu erkennen und zu isolieren, mit dem Ziel, die Mean Time to Resolution (MTTR) zu reduzieren.

Im Gegensatz dazu nutzt MLOps andere Technologien wie MLflow und weitere Heuristiken, um den Lebenszyklus eines Modells zu verwalten. Bei Intuit wurden auch Muster wie Feature Management entwickelt, um den Modelllebenszyklus zu optimieren. Das Ziel in MLOps besteht darin, den gesamten Modelllebenszyklus zu verwalten, vom Training über die Bereitstellung und Überwachung bis hin zur Optimierung.

Teaser für Vigiths KubeCon-Präsentation: Kundenorientiertes AIOps mit Anomalieerkennung

In Vigiths bevorstehender Präsentation auf der KubeCon dreht sich alles um kundenorientiertes AIOps und Anomalieerkennung. Der Schwerpunkt liegt auf der Alarmierung basierend auf der Kundenerfahrung statt auf der des Systems. Das bedeutet den Aufbau komplexer Abhängigkeitsgraphen basierend auf Tracing-Daten und das Isolieren von Anomalien, anstatt sie nur zu erkennen.

Die Plattform nutzt eine Sammlung von Dimensionen und Metriken, um eine Anomalieerkennung mit zusammengesetzten Schlüsseln (Composite Keys) für Zeitreihendaten durchzuführen, was die Punktlandung von Anomalien auf einem sehr spezifischen Level ermöglicht. Das Ziel dieses Projekts ist es, eine generalisierte Lösung für die Anomalieerkennung anzubieten und es zu einem "Do It Yourself Anomalie"-System zu machen.

Vigiths Präsentation wird die Fähigkeiten der Plattform demonstrieren und zeigen, wie sie bei Intuit erfolgreich für AIOps implementiert wurde. Verpassen Sie nicht diese Gelegenheit, mehr über die neuesten Fortschritte im Bereich kundenorientiertes AIOps und Anomalieerkennung zu erfahren.

Lesen Sie unseren vorherigen Beitrag in der TrueML-Serie

‍

‍

Verfolgen Sie weiterhin die TrueML YouTube-Serie und lesen Sie die TrueML Blog-Serie.

TrueFoundry ist eine ML-Deployment-PaaS auf Kubernetes, die Entwickler-Workflows beschleunigt und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen bietet, während volle Sicherheit und Kontrolle für das Infra-Team gewährleistet bleiben. Über unsere Plattform ermöglichen wir Machine-Learning-Teams, Modelle innerhalb von 15 Minuten mit 100 % Zuverlässigkeit, Skalierbarkeit und der Möglichkeit zum Rollback in Sekunden bereitzustellen und zu überwachen – so können sie Kosten sparen, Modelle schneller in die Produktion bringen und echten geschäftlichen Mehrwert realisieren.  

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Melde dich an
Inhaltsverzeichniss

Steuern, implementieren und verfolgen Sie KI in Ihrer eigenen Infrastruktur

Buchen Sie eine 30-minütige Fahrt mit unserem KI-Experte

Eine Demo buchen

Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren

Demo buchen
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Entdecke mehr

October 26, 2023
|
Lesedauer: 5 Minuten

True ML Talks #23 - MLOps und LLM-Anwendungen @ GitLab

May 21, 2024
|
Lesedauer: 5 Minuten

Was sind Einbettungen beim maschinellen Lernen?

November 16, 2026
|
Lesedauer: 5 Minuten

Die 5 besten LiteLLM-Alternativen im Jahr 2026

Keine Artikel gefunden.
November 16, 2026
|
Lesedauer: 5 Minuten

Beste MCP-Server für Claude Code

Keine Artikel gefunden.
 What is an LLM Gateway
November 16, 2026
|
Lesedauer: 5 Minuten

Was ist ein LLM Gateway? Ein kompletter Leitfaden

Technik und Produkt
November 16, 2026
|
Lesedauer: 5 Minuten

Graph Engineering für Multi-Agenten-Systeme: Architektur, Governance und Observability

Keine Artikel gefunden.
Keine Artikel gefunden.

Aktuelle Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Machen Sie eine kurze Produkttour
Produkttour starten
Produkttour