AutoDeploy: LLM-Agent für GenAI-Deployments

Das Deployment einer Anwendung dauert oft länger als erwartet. Bevor Entwickler und Data Scientists mit dem Experimentieren beginnen können, müssen sie häufig Infrastruktur bereitstellen, Kubernetes konfigurieren und unterstützende Dienste einrichten. Diese operationalen Aufgaben können die Entwicklung verlangsamen und unnötige Abhängigkeiten von Plattform-Teams schaffen.

Um diesen Prozess zu vereinfachen, bietet TrueFoundry AutoDeploy – eine Funktion, die entwickelt wurde, um den betrieblichen Aufwand beim Deployment von Anwendungen zu reduzieren. Anstatt Zeit mit dem Setup der Infrastruktur zu verbringen, können sich die Teams auf das Wesentliche konzentrieren: Bauen, Testen und Experimentieren. 

In diesem Artikel untersuchen wir, wie AutoDeploy funktioniert, was Sie damit bereitstellen können und wie es dazu beiträgt, Deployments von AI-Anwendungen zu beschleunigen.

Was ist AutoDeploy?

TrueFoundry AutoDeploy ist ein LLM-gestützter Deployment-Agent, der versteht, was Sie bereitstellen möchten, und die erforderlichen Schritte zur Ausführung automatisiert.

Anstatt von Entwicklern zu verlangen, Dockerfiles, Kubernetes-Manifeste oder Deployment-Konfigurationen manuell vorzubereiten, interpretiert AutoDeploy die Deployment-Anfrage und orchestriert den Prozess im Hintergrund.

Egal, ob Sie Ihre eigene Anwendung, ein Open-Source-Projekt oder ein AI-Modell bereitstellen: Die Erfahrung bleibt dieselbe – Sie beschreiben das Deployment, und AutoDeploy übernimmt die Schwerstarbeit.

Wie funktioniert AutoDeploy?

Aus der Perspektive des Benutzers ist der Deployment-Prozess einfach. Hinter den Kulissen führt AutoDeploy jedoch mehrere Aufgaben aus, um sicherzustellen, dass die Anwendung korrekt bereitgestellt wird.

Das passiert, nachdem Sie eine Deployment-Anfrage gesendet haben.

Die Deployment-Anfrage verstehen

Alles beginnt mit Ihrer Anfrage. Es könnte ein GitHub-Repository, ein Helm-Chart, ein Hugging Face-Modell oder sogar ein Prompt wie „Deploy Redis“ sein.

Anstatt sich auf starre Vorlagen zu verlassen, interpretiert AutoDeploy, was Sie bereitstellen möchten, und sammelt die erforderlichen Informationen, bevor es zum nächsten Schritt übergeht.

Den Deployment-Typ identifizieren

Nicht jedes Deployment folgt demselben Pfad. Eine Webanwendung, ein ML-Modell und eine Vektordatenbank erfordern jeweils unterschiedliche Deployment-Workflows.

Sobald AutoDeploy Ihre Anfrage verstanden hat, identifiziert es den Workload und wählt die am besten passende Deployment-Strategie aus.

Die erforderliche Konfiguration generieren

Nach der Auswahl des Deployment-Ansatzes bereitet AutoDeploy alles vor, was zum Starten der Anwendung erforderlich ist.

Je nach Workload kann dies die Generierung von Dockerfiles, Kubernetes-Manifesten, Helm-Values, Laufzeitkonfigurationen, Netzwerktregeln und Umgebungsvariablen umfassen. Dies nimmt einen Großteil der manuellen Arbeit ab, die normalerweise vor einem Deployment anfällt.

Ressourcen bereitstellen

Sobald die Konfiguration bereit ist, stellt AutoDeploy die erforderlichen Ressourcen bereit und führt das Deployment des Workloads auf TrueFoundry aus.

Da der Deployment-Workflow automatisiert ist, müssen Entwickler nicht zwischen mehreren Tools wechseln oder jede Infrastrukturkomponente manuell konfigurieren.

Das Deployment validieren

Ein Deployment ist erst abgeschlossen, wenn die Anwendung tatsächlich läuft.

AutoDeploy überprüft den Deployment-Status und den Zustand der Anwendung, um zu bestätigen, dass der Workload wie erwartet ausgeführt wird.

Anwendungszustand überwachen

Der integrierte Auto-Debugging-Workflow von AutoDeploy überwacht Deployment-Logs, Metriken und Ereignisse, um Probleme zu identifizieren, die eine Diagnose oder Korrekturmaßnahmen erfordern könnten.

Diese Signale helfen dabei, Probleme frühzeitig zu erkennen und liefern die notwendigen Informationen für ein automatisiertes Debugging und eine Wiederherstellung.

Was können Sie mit AutoDeploy bereitstellen?

Einer der größten Vorteile von TrueFoundry AutoDeploy ist seine Flexibilität. Sie sind nicht darauf beschränkt, nur Anwendungscode bereitzustellen. Derselbe Workflow kann verwendet werden, um Open-Source-Software, ML-Modelle, Infrastrukturdienste und komplette AI-Lösungen zu starten.

Anstatt für jeden Workload einen anderen Deployment-Prozess zu erlernen, nutzen Sie eine einzige Schnittstelle, während sich AutoDeploy an das anpasst, was Sie bereitstellen.

Codebase-Deployment: Bereitstellen eines Git-Repositorys

Wenn Sie eine bestimmte Codebase haben, automatisiert TrueFoundry das Deployment, indem es Einstiegspunkte identifiziert, ein Dockerfile generiert (falls keines vorhanden ist), notwendige Umgebungsvariablen und Konfigurationen erkennt, die Generierung von Manifesten übernimmt und das Deployment auf TrueFoundry ausführt.

Beispiel:

„I want to deploy GitHub - simonqian/react-helloworld: react.js hello world“
‍
Geben Sie die URL des Repositorys an, und TrueFoundry kümmert sich um den Rest – für ein reibungsloses und schnelles Deployment mit minimalem Aufwand.

„Deploy GitHub - simonqian/react-helloworld: react.js hello world.“

Helm-Chart-Deployment: Bereitstellen eines Helm-Charts

Für Anwendungen, die als Helm-Charts verpackt sind, optimiert TrueFoundry das Deployment, indem es die Values-Datei sowie die Dokumentation analysiert und dem Benutzer gezielte Fragen stellt, um eine angepasste Values-Datei zu generieren. Nach dem Deployment erstellt es kontextbezogene Dokumentation, die Entwicklern hilft, sich effektiv mit der bereitgestellten Software zu verbinden und diese zu nutzen.

Beispiel:

„I want to deploy oci://registry-1.docker.io/bitnamicharts/redis.“

Geben Sie die URL des Helm-Charts an, und TrueFoundry sorgt für ein zuverlässiges und effizientes Deployment.

ML-Modell-Deployment: Bereitstellen eines Modells von Hugging Face

Für AI/ML-Workloads ermöglicht TrueFoundry das nahtlose Deployment von Modellen direkt von Hugging Face. Es generiert außerdem eine FastAPI-Codebase für Modelle, die über vorgefertigte Modellserver wie vLLM bereitgestellt werden können.

Beispiel:

„I want to deploy mistralai/Mistral-7B-Instruct-v0.3 · Hugging Face“

Geben Sie den Modell-Link an, und TrueFoundry übernimmt das Deployment, um ein nahtloses AI-Modell-Deployment mit minimalem Infrastruktur-Setup zu gewährleisten.

Infrastrukturprojekte bereitstellen

AI-Anwendungen laufen selten nur auf Anwendungscode allein. Sie stützen sich oft auf unterstützende Dienste wie Redis für Caching, Qdrant für Vektorsuche und Langfuse für LLM-Observability, Tracing und die Überwachung der Performance von AI-Anwendungen.

Anstatt diese Dienste manuell einzurichten, können Sie AutoDeploy bitten, sie für Sie bereitzustellen.

Zum Beispiel:

„Deploy Qdrant.“

AutoDeploy stellt das Projekt mit Best-Practice-Konfigurationen bereit, sodass Sie die Infrastruktur, von der Ihre Anwendung abhängt, schnell einrichten können, ohne sich um den zugrundeliegenden Deployment-Prozess kümmern zu müssen.

Komplette AI-Anwendungsfälle bereitstellen

Manchmal wissen Sie, was Sie bauen möchten, haben sich aber noch nicht entschieden, welche Technologie Sie verwenden sollen. Der Aufbau von AI-Anwendungen wie Retrieval Augmented Generation (RAG)-Pipelines, Vektorsuchlösungen oder OCR-Workflows erfordert oft das Zusammenspiel mehrerer Komponenten, einschließlich Modellen, Datenbanken und unterstützenden Diensten.

Mit AutoDeploy können Sie die Art der AI-Lösung beschreiben, die Sie erstellen möchten, und es hilft dabei, die erforderlichen Komponenten für diesen Workflow zu identifizieren und bereitzustellen.

Zum Beispiel:

„Deploy a RAG pipeline.“

oder

„Deploy an OCR model.“

Basierend auf Ihrer Anfrage identifiziert AutoDeploy eine geeignete Technologie, stellt die erforderlichen Komponenten bereit und bereitet die Umgebung für Ihren Anwendungsfall vor. Das erleichtert das Prototyping neuer AI-Anwendungen und das Experimentieren mit verschiedenen Architekturen, ohne Zeit mit dem Einrichten der Infrastruktur zu verlieren.

Wie geht AutoDeploy mit Deployment-Fehlern um?

Deployments laufen nicht immer wie geplant. Eine fehlende Konfiguration, eine fehlschlagende Abhängigkeit oder eine falsche Umgebungsvariable können das Starten einer Anwendung verhindern. 

Anstatt Entwickler diese Probleme manuell beheben zu lassen, überwacht TrueFoundry AutoDeploy Deployments kontinuierlich und hilft dabei, Probleme zu identifizieren und zu lösen.

• Analysiert Deployment-Logs: AutoDeploy überprüft Deployment- und Anwendungs-Logs, um Fehler und Fehlschläge schnell zu identifizieren. Dies reduziert die Zeit für das Durchsuchen von Log-Dateien auf der Suche nach den Ursachen.
• Überwacht Anwendungsmetriken: Es verfolgt kontinuierlich Schlüsselmetriken wie Ressourcennutzung und Anwendungszustand. Diese Einblicke helfen, Performance-Probleme oder fehlerhafte Dienste zu erkennen, bevor sie das Deployment beeinträchtigen.
• Identifiziert die Ursache: Durch die Nutzung von Deployment-Logs, Metriken und Ereignissen kann AutoDeploy bei der Diagnose helfen, warum ein Deployment fehlgeschlagen ist. Dies liefert Entwicklern klarere Erkenntnisse, anstatt sie zu zwingen, mehrere Tools separat zu untersuchen.
• Wendet Korrekturmaßnahmen an: Wann immer möglich, versucht AutoDeploy, häufige Deployment-Probleme automatisch zu beheben. Dies reduziert wiederkehrende manuelle Korrekturen und bringt Deployments zügig voran.
• Wiederholt Deployments automatisch: AutoDeploy kann Deployment-Probleme diagnostizieren und Korrekturmaßnahmen als Teil der Auto-Debugging-Schleife anwenden, was den manuellen Aufwand zur Wiederherstellung nach Deployment-Fehlern reduziert.
• Validiert den Anwendungszustand: Bevor ein Deployment als erfolgreich markiert wird, überprüft AutoDeploy, ob die Anwendung wie erwartet läuft. Dies stellt sicher, dass Teams mit größerer Zuversicht fortfahren können.

Warum ein LLM-Agent für Deployments nutzen?

AI-Deployments umfassen oft unterschiedliche Anwendungen, Infrastrukturkomponenten und Laufzeitanforderungen. Anstatt sich auf starre Workflows zu verlassen, versteht ein LLM-Agent die Deployment-Anfrage und passt den Prozess basierend auf dem an, was bereitgestellt werden muss.

• Reduziert manuelle Arbeit: AutoDeploy automatisiert wiederkehrende Deployment-Aufgaben, einschließlich der Vorbereitung von Konfigurationen und dem Einrichten von Deployment-Workflows. Dadurch können Entwickler weniger Zeit mit betrieblichen Aufgaben und mehr Zeit mit dem Bauen von Anwendungen verbringen.
• Beschleunigt das Onboarding: Neue Teammitglieder können Anwendungen bereitstellen, ohne zuerst komplexe Kubernetes- oder Infrastruktur-Workflows erlernen zu müssen. Dies verkürzt die Lernkurve und hilft Teams, schneller produktiv zu werden.
• Erhöht die Entwicklerproduktivität: Entwickler können sich auf das Schreiben von Code, das Testen von Funktionen und das Experimentieren mit neuen Ideen konzentrieren, anstatt das Deployment-Setup zu verwalten. Dies hilft Teams, Anwendungen schneller zu iterieren und bereitzustellen.
• Reduziert die Abhängigkeit von Plattform-Teams: Entwickler können gängige Deployment-Anfragen über einen geführten Workflow selbst abwickeln, anstatt auf Infrastruktur-Support zu warten. Plattform-Teams können sich dann auf wertschöpfendere betriebliche Aufgaben konzentrieren.
• Unterstützt schnelleres Experimentieren: Das Ausprobieren eines neuen Modells, Frameworks oder Open-Source-Projekts wird viel einfacher, wenn das Deployment automatisiert ist. Teams können neue Technologien schnell evaluieren und mit weniger Aufwand von einer Idee zu einer funktionierenden Anwendung gelangen.

Wer kann von AutoDeploy profitieren?

AutoDeploy kann den manuellen Deployment-Aufwand über den gesamten AI-Entwicklungszyklus hinweg reduzieren – von frühen Modell-Experimenten bis hin zu Deployments im Unternehmensmaßstab. Die Vorteile variieren je nach Rolle:

• ML Engineers: ML Engineers, die mit Machine-Learning-Modellen arbeiten, können AutoDeploy nutzen, um das Deployment und die Iteration von Modellen zu vereinfachen. Es reduziert den Aufwand für die Infrastruktur, sodass sie sich stärker auf die Verbesserung von Modellen und Experimenten konzentrieren können.
• Plattform-Teams: Plattform-Teams können AutoDeploy nutzen, um wiederkehrende Deployment-Anfragen von Entwicklern zu reduzieren. Es hilft, standardisierte Workflows zu schaffen und gibt den Teams gleichzeitig mehr Flexibilität, Anwendungen unabhängig bereitzustellen.
• AI-Entwickler: AI-Entwickler, die Anwendungen mit verschiedenen Modellen, Frameworks und unterstützenden Diensten bauen, können AutoDeploy nutzen, um Deployment-Workflows zu rationalisieren. Dies erleichtert das Testen von Ideen und bringt Anwendungen schneller von der Entwicklung in die Produktion.
• Data Scientists: Data Scientists, die Modelle und AI-Lösungen validieren möchten, können Workloads bereitstellen, ohne viel Zeit mit dem Erlernen komplexer Infrastruktur-Tools zu verbringen. Dadurch können sie sich auf das Experimentieren statt auf das Deployment-Setup konzentrieren.
• Enterprise AI-Teams: Unternehmens-Teams, die mehrere AI-Projekte verwalten, können AutoDeploy nutzen, um Konsistenz über alle Deployments hinweg zu schaffen. Es hilft, den betrieblichen Overhead zu reduzieren und ermöglicht es Teams gleichzeitig, AI-Initiativen effizienter zu skalieren.

Warum TrueFoundry AutoDeploy wählen?

• Geschwindigkeit – Stellen Sie Anwendungen in Minuten statt Stunden bereit
• Einfachheit – Keine umfangreichen Infrastrukturkenntnisse erforderlich
• Flexibilität – Deployments aus Code, Helm-Charts, ML-Modellen, spezifischen Projekten oder breiteren Anwendungsfällen

Mit AutoDeploy von TrueFoundry können Sie sich auf das Schreiben von Code und das Bereitstellen von Features konzentrieren, während die Plattform die Komplexität des Deployments verwaltet. Egal, ob Sie ein GitHub-Projekt, ein Open-Source-Tool wie Redis oder Qdrant oder ein Vektorsuch- oder OCR-Modell bereitstellen: TrueFoundry optimiert den gesamten Prozess.

Vereinfachen Sie AI-Deployments mit AutoDeploy

Da AI-Anwendungen immer komplexer werden, sollten Deployments nicht der Grund sein, warum Innovationen ausgebremst werden.

TrueFoundry AutoDeploy kombiniert LLM-gestützte Automatisierung mit Best Practices für Deployments, um die Bereitstellung von Anwendungen, Modellen und Infrastruktur zu vereinfachen. Vom Verstehen der Deployment-Anfragen über die Validierung des Anwendungszustands bis hin zur automatischen Fehlersuche reduziert es einen Großteil der manuellen Arbeit, die traditionell mit AI-Deployments verbunden ist.

Das Ergebnis ist eine schnellere, konsistentere Deployment-Erfahrung, die es Entwicklern, Data Scientists und Plattform-Teams ermöglicht, sich auf das Bauen von AI-Anwendungen zu konzentrieren, anstatt die Infrastruktur zu verwalten.

Möchten Sie sehen, wie AutoDeploy Ihren Deployment-Workflow handhabt? Erkunden Sie TrueFoundry, um Anwendungscode, Helm-Charts, Modelle und unterstützende AI-Infrastruktur mit weniger manuellem Aufwand bereitzustellen. Buchen Sie eine Demo, um es in Ihrer Umgebung zu erleben.