Open-Source-LLMs: Nutzen oder untergehen

Wir sprechen mit vielen Unternehmen und Führungskräften, die versuchen, ihre Strategie für den Einsatz von LLMs in diesem KI-Zeitalter zu definieren: Sollen wir auf OpenAI oder Open-Source-LLMs setzen? Es gibt viele gute Blogs, die die Vor- und Nachteile verschiedener Ansätze neutral darstellen. Wir vertreten hier eine klare Meinung:

1. Wenn Sie glauben, dass LLMs für Ihr Unternehmen entscheidend sein werden, müssen Sie in die Nutzung von Open-Source-LLMs auf Ihrer eigenen Infrastruktur investieren – am besten gestern!
2. Wenn Sie glauben, dass LLMs für Ihr Unternehmen nicht entscheidend sein werden, denken Sie gründlicher nach. Wenn Sie immer noch dieselbe Antwort erhalten – denken Sie noch einmal nach. Danach haben Sie vielleicht recht und nutzen einfach OpenAI oder andere kommerzielle LLMs für ein paar schnelle Anwendungsfälle, die Sie lösen möchten.

Wenn Ihr Geschäft, Ihre technologische DNA und Ihre Skalierung das Pre-Training von LLMs von Grund auf erfordern, investieren Sie natürlich bitte darin. Die meisten Unternehmen fallen jedoch nicht in diese Kategorie – und deshalb haben wir eine klare Empfehlung:

Ihre letzte Chance, im KI-Rennen zu bleiben, besteht darin, jetzt Open-Source-LLMs einzusetzen und sie auf Ihrer eigenen Infrastruktur auszuführen!

Die Bedeutung von Open-Source-LLMs

Wir sind überzeugt, dass Unternehmen, die in Open-Source-LLMs investieren und diese intern nutzen, von verbesserter Datensicherheit, größerer Kontrolle über ihre Technologie und schnelleren Iterationszeiten profitieren werden. Diejenigen, die diesen Trend ignorieren, riskieren jedoch, den Anschluss zu verlieren und gegenüber Mitbewerbern ins Hintertreffen zu geraten, die bereits begonnen haben, ihre KI-Kompetenz mit kleineren, effizienteren Modellen aufzubauen. Gehen wir ins Detail:

Datensicherheit & Wettbewerbsvorteil (Moat)

Die meisten Unternehmen stecken in internen Diskussionen über die Festlegung von Datensicherheitsrichtlinien fest: Welche Daten dürfen an kommerzielle LLM-Anbieter gesendet werden? Wo überschreite ich eine Compliance-Grenze und wo verliere ich meinen Wettbewerbsvorteil? Ja, Sie können OpenAI untersagen, Ihre Chat-Daten direkt für das Fine-Tuning zu verwenden, aber irgendwann wird irgendein Entwickler diesen Fehler machen.

Während vieles davon geschieht, machen agile Konkurrenten bereits Fortschritte mit Open-Source-LLMs und gewinnen das Vertrauen ihrer Kunden. Sie führen Funktionen schnell ein, lernen schnell und bauen gleichzeitig mit Open-Source-LLMs einen langfristigen Wettbewerbsvorteil auf.

Iterieren, um sich zu verbessern

Viele, darunter auch Google, erwarten, dass kleinere, feineingestellte Open-Source-Modelle sich gegenüber riesigen, generischen, statischen Modellen durchsetzen könnten. Das ist intuitiv, da es fast unmöglich ist, sehr große Sprachmodelle iterativ zu verbessern. Sie haben nur einen Versuch, sonst vervielfachen sich Ihre Kosten und die Iterationszeit.

Teams, die begonnen haben, diese Kompetenz aufzubauen, sind im enormen Vorteil, da dies eine schnelle Iteration und Verbesserung mithilfe kleiner Modelle zu einem Bruchteil der Kosten großer Modelle ermöglicht! Sobald dieser Vorsprung aufgebaut ist, lässt er sich nur schwer aufholen, da ein kleines Sprachmodell eine schnellere und kosteneffizientere Iteration unterstützt.

Die Kontrolle über das eigene Schicksal behalten

Der Aufruf von OpenAI-APIs ist einfach, aber es gibt Bedenken hinsichtlich Latenz und Verfügbarkeit (Uptime). Dies wird sich im Laufe der Zeit wahrscheinlich verbessern, aber was passiert, wenn man sich entscheidet, für Latenzgarantien deutlich mehr zu verlangen? Was ist, wenn das Hosten feineingestellter Modelle nicht zum langfristigen Geschäftsmodell passt und man beschließt, diesen Dienst komplett einzustellen?

Community-Beiträge

Sehr große Sprachmodelle entwickeln sich nur so schnell weiter, wie die Dutzenden oder Hunderte von Mitarbeitern bei OpenAI / Google dazu beitragen können, während sie gleichzeitig die Bedürfnisse von Millionen von Nutzern priorisieren müssen. Auf der anderen Seite baut die gesamte Community von Open-Source-Entwicklern rasch viele Versionen kleinerer Modelle – einige mit Low-Rank-Optimierungen, einige, die auf Mobilgeräten laufen, einige, die personalisiert werden können, und einige, die größer und auf Befehle abgestimmt (instruction-tuned) sind. Dieser Innovation und Personalisierung sind buchstäblich keine Grenzen gesetzt. Sie können wählen, welches Modell für welchen Ihrer Anwendungsfälle am besten geeignet ist.

Darüber hinaus bietet die Verwendung mehrerer kleinerer Modelle, die speziell für eine bestimmte Aufgabe entwickelt wurden, den inhärenten Vorteil, dass sie schnell und günstig betrieben werden können. In der Produktion erfordert dies oft einen LLM-Router, der jede Anfrage basierend auf Kosten, Latenz oder Aufgabenkomplexität an das am besten geeignete Modell weiterleitet. Dies ist auch die architektonische Richtung hinter modernen LLM-Agenten, bei denen kleinere, spezialisierte Modelle aufgabenübergreifend kooperieren, anstatt sich auf ein einziges Universalmodell zu verlassen.

Warum nutzt nicht jeder Open-Source-LLMs?

Eine so deutliche Empfehlung wirft die Frage auf: Wenn es so wichtig ist, warum macht es dann nicht jeder? Erstens investiert eine wachsende Zahl von Menschen bereits immer mehr Zeit und Ressourcen, um die Landschaft zu verstehen und auf der Grundlage von Open-Source-LLMs aufzubauen. Das Axiom, dass es nicht jeder tut, wird also von Tag zu Tag unzutreffender :) Aber es gibt einige inhärente Herausforderungen, die mit der Nutzung von Open-Source-LLMs und deren Ausführung auf der eigenen Infrastruktur im Vergleich zu ihren kommerziellen Gegenstücken verbunden sind:

Mangel an technischem Fachwissen

Den meisten Teams fehlt heute das vielschichtige Fachwissen, um große Sprachmodelle intern feinzujustieren und zu hosten. Kluge Köpfe können es am Ende immer herausfinden, aber diese komplizierte Modellierung und Infrastruktur gleichzeitig zu verstehen, während täglich neue Tools und Modelle veröffentlicht werden, ist schlichtweg schwierig und zeitaufwendig.

Nutzungsbedingungen

Viele technische Führungskräfte und Entscheidungsträger sind verwirrt darüber, welches LLM, welcher Datensatz oder welche Bibliothek kommerziell genutzt werden darf und welche nicht. Genau aus diesem Grund ist das Verständnis von LLM-Lizenzen entscheidend geworden, da die Lizenzbestimmungen oft darüber entscheiden, ob ein Modell legal von der Experimentierphase in die Produktion überführt werden kann. Beispielsweise wurde Vicuna, das unter der Lizenz Apache 2.0 zu stehen scheint, auf Llama trainiert, was kommerziell nicht verfügbar ist. Das macht die Nutzung unmöglich, und es ist alles andere als trivial zu erkennen, dass dies eine Verletzung darstellen könnte. Lesen Sie Details dazu in einem unserer früheren Blogbeiträge hier.

Speicher- und Zeitbeschränkungen

Die meisten großen Sprachmodelle von angemessener Größe (13B+ Parameter) passen aufgrund von Speicherbeschränkungen nicht auf gängige GPUs oder können darauf nicht feineingestellt werden. Wenn Sie sich entscheiden, den Speicher zu optimieren – was keineswegs trivial ist –, leidet Ihre Trainingszeit. Es gibt viele Techniken rund um Gradientenmanagement, Low-Rank-Approximation, Mix-Precision-Serving, beschleunigtes Training & Deployment sowie modellspezifische Optimierungen mit verschiedenen Bibliotheken – all das ist schwer schnell zu erlernen und umzusetzen. Das führt dazu, dass Teams Hardware auf das Problem werfen und die GPUs bei jedem erfolgreichen Durchlauf manuell überwachen müssen.

GPU-Verfügbarkeit & Management

Cloud-Anbieter verlangen GPU-Kontingente, die häufig eingeschränkt und teuer sind und oft in Blöcken von 8 GPU-Karten bereitgestellt werden, was aus Kostenperspektive suboptimal sein kann. Die meisten Teams sind nicht damit vertraut, wie man ein Modell über mehrere GPUs verteilt und optimal ausführt, wenn es nicht auf eine einzelne GPU passt.

Andererseits besteht immer der Druck, Dinge schnell zu erledigen, da Unternehmen besorgt sind, dass die Konkurrenz sich den First-Mover-Vorteil sichern und ihre Kunden begeistern könnte, wenn sie nicht bald ihre eigene LLM-Ankündigung machen. Nebenbei bemerkt ist diese Sorge nicht unbegründet, da wir dies bei einer Reihe von Kunden erlebt haben, mit denen wir sprechen.

Was tut TrueFoundry dagegen?

Bei TrueFoundry gehören genau diese Probleme zum Kern dessen, was wir lösen. Unsere Plattform ist darauf ausgelegt, auf Ihrer Infrastruktur zu laufen. Sie gewährleistet vollständige Datensicherheit und schafft sinnvolle Abstraktionen, bei denen wir die irrelevante Komplexität der Infrastruktur verbergen, während die Kontrolle in den Händen des Entwicklers bleibt. Als sich schnell entwickelnder Bereich erfordern KI und LLMs ständiges Lernen und Anpassen. Das Team von TrueFoundry setzt sich dafür ein, Ihnen durch unser Produkt, unsere Beratung, Vorschläge und maßgeschneiderte Lösungen bei der Orientierung in dieser Landschaft zu helfen.

Die Investition in Open-Source-LLMs und deren interne Nutzung ist ein strategischer Schritt, der Ihrem Unternehmen hilft, der Konkurrenz einen Schritt voraus zu sein. TrueFoundry kann Ihnen dabei helfen, Ihre KI-Initiativen zu beschleunigen und in einer sich ständig verändernden Landschaft einen Wettbewerbsvorteil zu wahren. Fallen Sie nicht zurück – setzen Sie auf Open-Source-LLMs und sichern Sie sich Ihren Platz an der Spitze der KI-Innovation.