True ML Talks #18 - Generative AI-Diskussion mit Tushar Kant

Wir sind zurück mit einer weiteren Episode von True ML Talks. In dieser Episode tauchen wir tief in die ML-Plattform ein und sprechen mit Tushar.

Tushar ist eine erfahrene MLOps-Führungskraft mit über 20 Jahren Erfahrung bei führenden Technologieunternehmen und verfügt über ein breites Spektrum an Fähigkeiten in den Bereichen Produkt, Business, Engineering und Investment Banking. Er ist außerdem Mitbegründer des weltweiten IIT-Forums für künstliche Intelligenz und maschinelles Lernen und betreibt dafür auch eine sehr aktive Slack-Community.

Sehen Sie sich die vollständige Episode unten an:

IIT Forum für Künstliche Intelligenz und Maschinelles Lernen

Vision des Forums

Das IIT AI/ML Forum wurde mit der Vision gegründet, eine Community zu schaffen, in der IITianer, die im Bereich AI/ML arbeiten, ihr Wissen teilen, zusammenarbeiten und sich gegenseitig helfen können. Sie waren überzeugt, dass IITianer durch Zusammenarbeit jedes andere Ingenieurinstitut der Welt übertreffen könnten.

Das Forum war ein riesiger Erfolg mit über 1.800 Mitgliedern aus der ganzen Welt. Das Forum hat Veranstaltungen organisiert, andere Organisationen unterstützt und sich zu einer eigenständigen, florierenden Community entwickelt.

Erfolge des Forums

Tushar ist besonders stolz auf drei Dinge, die das Forum erreicht hat:

1. Organisation des eintägigen AI-Tracks bei Icon.: Dies ist eine bedeutende Konferenz im Silicon Valley, und die Tatsache, dass das Forum den AI-Track organisieren konnte, ist ein Beweis für seine Reputation und seinen Einfluss.
2. Aufbau starker Verbindungen zwischen den Mitgliedern: Das Forum hat dazu beigetragen, lebenslange Freundschaften und Geschäftspartnerschaften unter seinen Mitgliedern zu schaffen.
3. Bereitstellung eines Unterstützungssystems während der COVID-19-Pandemie: Als die Welt stillstand, traf sich das Forum weiterhin alle zwei Wochen und bot seinen Mitgliedern eine Quelle des Wissens und der Unterstützung.

Wichtige Meilensteine im Wachstum von AI und MLOps

Die Kombination aus Cloud-Computing, Transformern und Pre-training wird in den kommenden Jahren ein wesentlicher Treiber für Innovationen in AI und MLOps sein. Insbesondere das Potenzial von multimodaler AI, die Natural Language Processing und Computer Vision kombiniert, um komplexe Probleme zu lösen.

Cloud-Computing hat AI für alle zugänglicher und erschwinglicher gemacht. Dies hat zu einem Innovationsschub in diesem Bereich geführt, da Start-ups und Einzelpersonen nun in der Lage sind, AI-Anwendungen zu entwickeln und bereitzustellen, ohne in teure Infrastruktur investieren zu müssen.

Transformer haben Natural Language Processing und Computer Vision revolutioniert. Transformer sind eine Art von neuronaler Netzwerkarchitektur, die in der Lage ist, weitreichende Abhängigkeiten in Daten zu erlernen. Dadurch eignen sie sich hervorragend für Aufgaben wie maschinelle Übersetzung und Bilderkennung.

Pre-training ist eine Technik, bei der ein großes Sprachmodell auf einem riesigen Datensatz aus Text und Code trainiert wird. Dieses vorab trainierte Modell kann dann für spezifische Aufgaben wie Übersetzung oder Beantwortung von Fragen feinabstimmend angepasst (fine-tuned) werden. Pre-training hat die Leistung von AI-Modellen bei einer Vielzahl von Aufgaben erheblich verbessert.

ChatGPT und Generative AI: Potenzielle Anwendungen in verschiedenen Branchen

ChatGPT und Generative AI haben das Potenzial, viele Branchen zu revolutionieren. Er interessiert sich besonders für das Potenzial dieser Technologien zur Verbesserung des Kundenservice, zur Betrugsreduzierung, zur Personalisierung von Produkten und Dienstleistungen sowie zur Verbesserung des Gesundheitswesens.

Beispiele für spezifische Anwendungen von ChatGPT und Generativer AI in verschiedenen Branchen:

1. Kundenservice und Customer Experience: ChatGPT und Generative AI können genutzt werden, um Kundenservice-Aufgaben wie das Beantworten von Anfragen und das Erstellen von Berichten zu automatisieren. Dies entlastet die Kundendienstmitarbeiter, sodass sie sich auf komplexere Aufgaben konzentrieren können.
2. Risikobewertung und Betrugserkennung: ChatGPT und Generative AI können eingesetzt werden, um Risiken im Bank- und Finanzwesen zu identifizieren und zu minimieren. Beispielsweise können sie verwendet werden, um betrügerische Transaktionen zu erkennen und das Risiko von Kreditnehmern einzuschätzen.
3. Personalisierung: ChatGPT und Generative AI können genutzt werden, um Produkte und Dienstleistungen für Kunden im Einzelhandel zu personalisieren. Beispielsweise können sie verwendet werden, um Kunden Produkte auf der Grundlage ihrer bisherigen Einkäufe und ihres Browserverlaufs zu empfehlen.
4. Prämienbestimmung und Risikobewertung: ChatGPT und Generative AI können in der Versicherungsbranche verwendet werden, um Versicherungsprämien zu bestimmen und das Risiko von Versicherten einzuschätzen.
5. Patientenvertretung und Krankheitsdiagnose: ChatGPT und Generative AI können im Gesundheitswesen eingesetzt werden, um Tools für die Patientenvertretung zu entwickeln und Krankheiten schneller und genauer zu diagnostizieren.

LLMs und Risikobewertung

LLMs befinden sich noch in einem frühen Entwicklungsstadium, haben aber das Potenzial, die Risikobewertung in der Finanzdienstleistungsbranche zu revolutionieren:

LLMs können mehr Daten schneller verarbeiten. Traditionelle Risikobewertungsmodelle stützen sich auf eine begrenzte Datenmenge wie Kredit-Scores und Einkommen. LLMs können wesentlich mehr Daten verarbeiten, etwa Ausgabenmuster, Kaufverhalten und Online-Verhalten. Dies ermöglicht ihnen genauere Risikobewertungen.

LLMs können assoziative Faktoren berücksichtigen. Neben individuellen Faktoren wie dem Kredit-Score können LLMs auch assoziative Faktoren berücksichtigen, wie z. B. das Unternehmen, für das eine Person arbeitet, und die Branche, in der sie tätig ist. Dies hilft ihnen, umfassendere Risikobewertungen zu erstellen.

Zukunft von LLMs

Arten von Akteuren im Ökosystem

Er glaubt, dass es drei Arten von Akteuren im Ökosystem geben wird:

1. Ersteller von Foundation Models: Unternehmen wie OpenAI, Google und Meta, die die großen Sprachmodelle selbst entwickeln.
2. LLM-Ops-Plattformen: Unternehmen wie AWS und Google, die Plattformen für Entwickler bereitstellen, um LLM-Anwendungen zu erstellen und bereitzustellen.
3. LLM-Distributoren: Unternehmen, die LLM-gestützte Produkte und Dienstleistungen entwickeln und an Endnutzer verkaufen.

📌

Stromwirtschaft:
In der Elektrizitätswirtschaft gibt es Erzeuger, Übertragungsleitungen und Verteiler. In der LLM-Branche sieht Tushar die Ersteller von Foundation Models als Erzeuger, Cloud-Computing-Anbieter als Übertragungsleitungen und Start-up-Unternehmen als Verteiler.

Closed vs. Open Source:

Es wird einen Platz sowohl für Closed-Source- als auch für Open-Source-LLMs geben.
Closed-Source-Modelle werden von großen Unternehmen bevorzugt, die produktionsreife Lösungen mit Support benötigen. Open-Source-Modelle werden von kleineren Unternehmen und Forschern bevorzugt, die mehr Flexibilität und Anpassungsmöglichkeiten benötigen.

Rolle der Middleware:

Es wird ein Bedarf an Middleware bestehen, die Entwicklern hilft, LLMs einfacher und effizienter zu nutzen. Middleware kann Funktionen wie Modellverwaltung, Fine-Tuning und Überwachung bereitstellen.

Vorteile und Risiken von LLMs:

Es ist unerlässlich, LLMs als Werkzeuge zu betrachten, die je nach Anwendung entweder menschliche Fähigkeiten verstärken oder Risiken bergen können. Wie jedes Werkzeug wird die Nutzung von LLMs durch menschliche Entscheidungen und Absichten geprägt. Sie besitzen das Potenzial, medizinische Behandlungen voranzubringen, innovative Bildungsprogramme zu fördern und Aufgaben zu automatisieren, die derzeit von Menschen ausgeführt werden. Allerdings können sie auch Deepfakes erzeugen, Fehlinformationen verbreiten und Einzelpersonen manipulieren.

Menschliche Rolle bei der Entwicklung und Nutzung von LLMs:

Selbst wenn LLMs an Komplexität gewinnen, werden sie die Nuancen menschlicher Werte nie vollständig erfassen können. Folglich behalten Menschen eine entscheidende Rolle bei der Sicherstellung, dass LLMs mit unseren Werten übereinstimmen. Dazu gehören das Festlegen ethischer Richtlinien für die Entwicklung und Nutzung von LLMs, die Aufklärung der Öffentlichkeit über die Vorteile und Risiken von LLMs und das Erkennen, dass Menschen die einzigartige Fähigkeit besitzen, kreativ zu denken und innovative Lösungen zu finden, während LLMs durch ihre Trainingsdaten eingeschränkt sind.

Aufbau generischer RAG-Systeme: AWS vs. Start-ups

Beim Aufbau generischer RAG-Systeme bringen AWS und Start-ups jeweils ihre eigenen spezifischen Vorteile und Herausforderungen mit.

Stärken von AWS: AWS ist aufgrund seines großen Kundenstamms und seines breiten Spektrums an Diensten, die RAG unterstützen können, gut aufgestellt, um generische RAG-Systeme zu entwickeln. Beispielsweise bietet AWS SageMaker an, eine Machine-Learning-Plattform zum Trainieren und Bereitstellen von RAG-Modellen. Zudem bietet AWS verschiedene Datenspeicher- und -verarbeitungsdienste, die ideal für RAG-Workflows sind.

Schwächen von AWS: AWS erreicht möglicherweise nicht die Agilität von Start-ups, wenn es darum geht, neue Produkte schnell zu entwickeln und auf den Markt zu bringen. Darüber hinaus ist der Fokus von AWS möglicherweise nicht so spezifisch wie der von Start-ups, insbesondere bei Anwendungsfällen wie RAG für das Gesundheitswesen.

Vorteile von Start-ups: Start-ups zeichnen sich durch Agilität aus, die es ihnen ermöglicht, sich auf spezifische Anwendungsfälle zu konzentrieren und im RAG-Bereich schnell zu innovieren. Ihr Nischenfokus kann zu einzigartigen RAG-Lösungen und Innovationen führen, die von größeren Akteuren oft übersehen werden.

Herausforderungen für Start-ups: Start-ups haben oft mit Ressourcenbeschränkungen zu kämpfen und verfügen nicht über den umfangreichen Kundenstamm und das Serviceportfolio von AWS. Der Preiswettbewerb mit AWS kann aufgrund der Skalierung und der Ressourcen des Technologiegiganten eine große Herausforderung darstellen.

Ratschläge für Start-ups, die RAG-Systeme entwickeln:

1. Fokussieren Sie sich auf spezifische Anwendungsfälle: Start-ups sollten sich darauf konzentrieren, RAG-Lösungen für spezifische Anwendungsfälle zu entwickeln. Dies wird ihnen helfen, sich von AWS und anderen großen Unternehmen abzuheben.
2. Handeln Sie schnell: Start-ups müssen schnell handeln, um ihre RAG-Lösungen zu entwickeln und auf den Markt zu bringen. Der Grund dafür ist, dass AWS und andere große Unternehmen ihre Produkte leicht kopieren können.
3. Seien Sie ein attraktiver M&A-Kandidat: Start-ups sollten sich darauf konzentrieren, RAG-Lösungen zu entwickeln, die für M&A-Kandidaten attraktiv sind. Dies gibt ihnen eine Ausstiegsoption für ihr Geschäft, falls sie nicht mit AWS und anderen großen Unternehmen konkurrieren können.

Orientierung in der schnelllebigen Welt der Generativen AI

Ratschläge für Führungskräfte

1. Seien Sie beweglich und agil. Der Bereich der Generativen AI entwickelt sich ständig weiter. Daher ist es wichtig, eine Denkweise und ein Team zu haben, die sich schnell an neue Entwicklungen anpassen können.
2. Fokussieren Sie sich auf die Lösung realer Probleme. Lassen Sie sich nicht vom Hype um Generative AI mitreißen. Konzentrieren Sie sich stattdessen darauf, reale geschäftliche Herausforderungen zu identifizieren, die mit dieser Technologie gelöst werden können.
3. Haben Sie keine Angst davor, später am Markt zu sein. Es ist in Ordnung, wenn jemand anderes Sie mit einer neuen generativen AI-Lösung am Markt schlägt. Das Wichtigste ist, aus deren Fehlern zu lernen und ein besseres Produkt zu bauen.
4. Erzwingen Sie es nicht. Nicht jedes Problem benötigt eine generative AI-Lösung. Nutzen Sie Ihren Verstand für Geschäftsfragen, um die richtigen Probleme zu identifizieren, die mit dieser Technologie gelöst werden können.

Ratschläge für Data-Science- und Engineering-Leiter

1. Beginnen Sie nicht mit dem Hammer. Suchen Sie nicht einfach nach Möglichkeiten, Generative AI einzusetzen. Beginnen Sie stattdessen damit, Ihre geschäftlichen Herausforderungen zu identifizieren, und prüfen Sie erst dann, ob Generative AI das richtige Werkzeug zu deren Lösung ist.
2. Arbeiten Sie vom Kunden ausgehend rückwärts. Was sind die Bedürfnisse des Kunden? Was sind seine Schwachstellen? Sobald Sie den Kunden verstehen, können Sie darüber nachdenken, wie Generative AI eingesetzt werden kann, um ihm zu helfen.
3. Geben Sie Top-down-Vorgaben nicht einfach nach. Wenn Ihre Führungsebene vorschreibt, dass jedes Team Anwendungsfälle für Generative AI entwickeln muss, spulen Sie nicht einfach das Programm ab. Haken Sie nach und fragen Sie, warum man glaubt, dass Generative AI die richtige Lösung für diese Probleme ist.

Lesen Sie unsere bisherigen Blogs in der Serie True ML Talks:

‍

‍True ML Talks #17 - ML Platforms @ Slack, LLMs und SlackGPT

In diesem Blog tauchen wir tief in die Recommend API von Slack ein. Verstehen Sie deren ML-Architektur und die LLM-Anwendungsfälle in Slack. Wir gehen im Detail auf SlackGPT ein.

TrueFoundry Blog TrueFoundry

‍

Verfolgen Sie weiterhin die TrueML YouTube-Serie und lesen Sie die TrueML Blog-Serie.

TrueFoundry ist eine ML-Deployment-PaaS auf Kubernetes, die Entwickler-Workflows beschleunigt und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen bietet, bei vollständiger Sicherheit und Kontrolle für das Infrastruktur-Team. Über unsere Plattform ermöglichen wir Machine-Learning-Teams, Modelle in 15 Minuten mit 100 % Zuverlässigkeit, Skalierbarkeit und der Möglichkeit zu Rollbacks in Sekundenschnelle zu deployen und zu überwachen – so sparen sie Kosten, bringen Modelle schneller in Produktion und erzielen echten Mehrwert für das Unternehmen.