Häufig gestellte Fragen

Wir brauchen ziemlich lange, um unsere Modelle in Produktion zu bringen und daraus Wirkung zu ziehen. Gibt es eine Möglichkeit, Datenwissenschaftler zu befähigen, diesen Prozess in die Hand zu nehmen?

ML-Ingenieure sind in Bezug auf Infrastrukturanforderungen stark auf DevOps-/Plattformteams angewiesen, um Modelle zu trainieren oder bereitzustellen

Wir möchten unsere Standard-Kubernetes-Infrastruktur für ML-Schulungen und -Bereitstellungen verwenden.

Datenwissenschaftler wollen sich nicht mit Infra oder YAML befassen

Wir möchten, dass unsere Daten in unserer eigenen Cloud oder vor Ort bleiben

Modelle werden mit Autoscaling bereitgestellt, das mithilfe von HPA konfiguriert ist. Die automatische Skalierung ist jedoch aufgrund der Downloadzeit der Modelle sehr langsam.

Wir wollen Jupyter-Notebooks hosten und sie eigenständig bereitstellen, sodass Ressourcen flexibel bereitgestellt werden können, während wir gleichzeitig einige Kostenbeschränkungen in Bezug auf Kosten und Sicherheit festlegen.

Wie kann man alle Modelle innerhalb des Unternehmens an einem Ort verfolgen und herausfinden, welche in welcher Umgebung eingesetzt werden?

Wie spiegele oder teile ich den Traffic auf meine neue Version des Modells auf, sodass wir ihn im Online-Verkehr testen können, bevor wir es komplett einführen?

Wir wollen Hardware verwenden und cloudübergreifend (AWS, GCP, Azure) und vor Ort rechnen. Wie verbinde ich sie, damit sich Entwickler keine Gedanken über die zugrunde liegende Datenverarbeitung machen müssen und Workloads nahtlos von einer Umgebung in eine andere verlagern können?

Wir wollen die Leistungsfähigkeit von LLMs für unser Geschäft nutzen, aber wir können die Daten nicht aus unserer Umgebung herauslassen. Gibt es eine Möglichkeit, die Leistungsfähigkeit von LLMs zu nutzen, ohne meine Daten an OpenAI zu senden?

Wie erlaube ich all meinen Entwicklern, schnell verschiedene LLMs auszuprobieren und zu sehen, welche Ergebnisse sie daraus ziehen können?

Wir haben hohe Kosten für unsere ML-Infrastruktur, und es wird immer schwieriger, sie zu verfolgen und zu reduzieren.