AutoDeploy: LLM-Agent für GenAI-Bereitstellungen

AutoDeploy: LLM-Agent für GenAI-Bereitstellungen

Die Bereitstellung von Anwendungen ist oft zeitaufwändig und erfordert, dass Entwickler und Datenwissenschaftler sich in komplexen Tools zurechtfinden, bevor sie mit ihrer Arbeit beginnen. Beispielsweise muss ein Datenwissenschaftler, der mit Redis experimentieren möchte, möglicherweise mit dem Plattformteam sprechen, um ElastiCache auf AWS bereitzustellen, was zu Verzögerungen und Abhängigkeiten führen kann. Die Bereitstellung eines Helm-Diagramms auf Kubernetes ist zwar eine flexible Alternative, erfordert jedoch Fachkenntnisse, über die viele Datenwissenschaftler möglicherweise nicht verfügen. Die Auto Deploy-Funktion von TrueFoundry beseitigt diese Herausforderungen und ermöglicht eine schnelle Bereitstellung, ohne dass fundierte Infrastrukturkenntnisse erforderlich sind. Ganz gleich, ob Sie eine bestimmte Codebasis, ein Open-Source-Projekt oder eine umfassendere Technologielösung bereitstellen müssen, TrueFoundry optimiert den Prozess, sodass Sie sich auf das Wesentliche konzentrieren können — das Entwickeln und Experimentieren.

‍

Stellen Sie es so ein, wie Sie es möchten

Auto Deploy von TrueFoundry wurde entwickelt, um den unterschiedlichen Bedürfnissen der Entwickler gerecht zu werden und einen schnellen und effizienten Bereitstellungsprozess auf jeder Ebene zu gewährleisten.

Grundlegende Ebene: Zentrale Bereitstellungsoptionen

Die grundlegende Ebene von TrueFoundry Auto Deploy besteht aus drei primären Bereitstellungsoptionen, die die Grundlage für alle anderen Bereitstellungstypen bilden.

Codebase-Bereitstellung: Bereitstellen eines Git-Repositorys

Wenn Sie über eine bestimmte Codebasis verfügen, automatisiert TrueFoundry die Bereitstellung, indem es Einstiegspunkte identifiziert, eine Docker-Datei generiert, falls keine vorhanden ist, die erforderlichen Umgebungsvariablen und Konfigurationen erkennt und dann die Manifestgenerierung und Bereitstellung auf TrueFoundry übernimmt.

Beispiel:

„Ich möchte bereitstellen GitHub - simonqian/react-helloworld: react.js hallo welt “
‍
Geben Sie die Repository-URL an, und TrueFoundry kümmert sich um den Rest — und gewährleistet so eine reibungslose und schnelle Bereitstellung mit minimalem Aufwand.

Einsatz einer Helm-Karte: Stellen Sie eine Helm-Karte bereit

Bei Anwendungen, die als Helm-Diagramme verpackt sind, optimiert TrueFoundry die Bereitstellung, indem es die Wertedatei und die Dokumentation analysiert und dem Benutzer spezifische Fragen stellt, um eine benutzerdefinierte Wertedatei zu generieren. Nach der Bereitstellung generiert es eine kontextbezogene Dokumentation, die Entwicklern hilft, eine Verbindung zur bereitgestellten Software herzustellen und diese effektiv zu nutzen.

Beispiel:

„Ich möchte oci: //registry-1.docker.io/bitnamicharts/redis bereitstellen.“

Geben Sie die URL des Helm-Diagramms an, und TrueFoundry sorgt für eine zuverlässige und effiziente Bereitstellung.

Einsatz von ML-Modellen: Bereitstellen eines Modells von Hugging Face

Für KI/ML-Workloads ermöglicht TrueFoundry die nahtlose Bereitstellung von Modellen direkt aus Hugging Face. Es generiert auch eine FastAPI-Codebasis für Modelle, die mithilfe von Standardmodellservern wie vLLM bereitgestellt werden können.

Beispiel:

„Ich möchte bereitstellen Mistralai/Mistral-7B-Instruct-v0.3 · Umarmendes Gesicht “

Stellen Sie den Modell-Link bereit, und TrueFoundry kümmert sich um die Bereitstellung und sorgt für eine reibungslose Bereitstellung Einsatz von KI-Modellen mit minimalem Infrastruktur-Setup.

Einsatz des Projekts

TrueFoundry baut auf den grundlegenden Codeebenen und Helm-Bereitstellungen auf und ermöglicht es Entwicklern, bestimmte Infrastrukturkomponenten wie Redis und Qdrant oder komplette Anwendungsstacks wie Langfuse bereitzustellen.

Beispiel:

„Ich möchte Qdrant einsetzen.“

Geben Sie das Projekt an, und TrueFoundry stellt es mit Best-Practice-Konfigurationen bereit.

Einsatz von Anwendungsfällen

Für Entwickler, die eine bestimmte Art von Technologie benötigen, aber kein bestimmtes Projekt ausgewählt haben, baut TrueFoundry auf den grundlegenden Ebenen auf, um die für die Anforderungen am besten geeignete Lösung bereitzustellen.

Beispiel:

„Ich möchte eine Vektordatenbank bereitstellen.“

„Ich möchte ein OCR-Modell bereitstellen.“

TrueFoundry optimiert die Auswahl und Bereitstellung der richtigen Tools, reduziert die Einrichtungszeit und gewährleistet eine maßgeschneiderte Lösung für Ihren Anwendungsfall.

Auto-Debugging: Die Schleife bei Auto Deploy schließen

TrueFoundry schließt den Kreis bei Auto Deploy mit einem integrierten Auto-Debugger, der Bereitstellungsprotokolle, Metriken und Ereignisse überwacht. Wenn ein Problem erkannt wird, kann das System iterativ eine Diagnose stellen und Korrekturmaßnahmen ergreifen, um sicherzustellen, dass die Bereitstellung mit minimalem manuellem Eingriff betriebsbereit ist. Das spiegelt wider, wie modern LLM-Agenten arbeiten in Infrastruktur-Workflows, bei denen Überlegungen, Maßnahmen und iterative Korrekturen innerhalb einer einzigen Bereitstellungsschleife erfolgen.

Warum sollten Sie sich für Auto Deploy von TrueFoundry entscheiden?

✅ Geschwindigkeit — Stellen Sie Anwendungen innerhalb von Minuten statt Stunden bereit

✅ Einfachheit — Es sind keine umfassenden Infrastrukturkenntnisse erforderlich

✅ Flexibilität — Bereitstellung anhand von Code, Helm-Charts, ML-Modellen, spezifischen Projekten oder umfassenderen Anwendungsfällen

Mit Auto Deploy von TrueFoundry können Sie sich auf das Schreiben von Code und die Bereitstellung von Funktionen konzentrieren, während die Plattform die Komplexität der Bereitstellung bewältigt. Ganz gleich, ob Sie ein GitHub-Projekt, ein Open-Source-Tool wie Redis oder Qdrant oder ein Vektorsuch- oder OCR-Modell bereitstellen, TrueFoundry optimiert den Bereitstellungsprozess.

‍