True ML Talks #18 — Generative KI-Diskussion mit Tushar Kant

Wir sind zurück mit einer weiteren Folge von True ML Talks. In dieser Ausgabe tauchen wir tief in die ML Platform ein und sprechen mit Tushar

Tushar ist ein erfahrener MLOps-Leiter mit über 20 Jahren Erfahrung in führenden Technologieunternehmen und einem breiten Spektrum an Fähigkeiten in den Bereichen Produkt, Wirtschaft, Technik und Investmentbanking. Er ist auch Mitbegründer des weltweiten Forums für IIT, künstliche Intelligenz und maschinelles Lernen und leitet auch dafür eine sehr aktive Slack-Community.

Sehen Sie sich die ganze Folge unten an:

IIT-Forum für künstliche Intelligenz und maschinelles Lernen

Die Vision des Forums

Das IIT AI/ML Forum wurde mit der Vision gegründet, eine Community zu schaffen, in der IITIaner, die im Bereich KI/ML arbeiten, ihr Wissen austauschen, zusammenarbeiten und sich gegenseitig helfen können. Sie glaubten, dass die IITIaner durch ihre Zusammenarbeit jedes andere Ingenieurinstitut der Welt übertreffen könnten.

Das Forum war mit über 1800 Mitgliedern aus der ganzen Welt ein großer Erfolg. Das Forum hat Veranstaltungen organisiert, andere Organisationen unterstützt und ist zu einer eigenständigen, blühenden Gemeinschaft herangewachsen.

Die Leistung des Forums

Tushar ist besonders stolz auf drei Dinge, die das Forum erreicht hat:

1. Organisation des eintägigen Tracks für KI bei Icon. :Dies ist eine wichtige Konferenz im Silicon Valley, und die Tatsache, dass das Forum den KI-Track organisieren konnte, ist ein Beweis für seinen Ruf und Einfluss.
2. Aufbau starker Verbindungen zwischen den Mitgliedern: Das Forum hat dazu beigetragen, lebenslange Freundschaften und Geschäftspartnerschaften zwischen seinen Mitgliedern aufzubauen.
3. Bereitstellung eines Unterstützungssystems während der COVID-19-Pandemie: Als die Welt geschlossen wurde, tagte das Forum weiterhin alle zwei Wochen und bot seinen Mitgliedern eine Wissensquelle und Unterstützung.

Schlüsselmomente für das Wachstum von KI und MLOps

Die Kombination der Cloud-Computing, Transformatoren, Vortraining wird in den kommenden Jahren ein wichtiger Innovationstreiber in den Bereichen KI und MLOps sein. Vor allem die Potenzial multimodaler KI, das natürliche Sprachverarbeitung und Computer Vision kombiniert, um komplexe Probleme zu lösen.

Cloud-Computing hat KI für alle zugänglicher und erschwinglicher gemacht. Dies hat zu einem Innovationsschub in diesem Bereich geführt, da Startups und Einzelpersonen nun in der Lage sind, KI-Anwendungen zu entwickeln und bereitzustellen, ohne in eine teure Infrastruktur investieren zu müssen.

Transformatoren haben die Verarbeitung natürlicher Sprache und Computer Vision revolutioniert. Transformatoren sind eine Art neuronaler Netzwerkarchitektur, die in der Lage ist, weitreichende Abhängigkeiten in Daten zu erlernen. Dadurch eignen sie sich gut für Aufgaben wie maschinelle Übersetzung und Bilderkennung.

Vortraining ist eine Technik, bei der ein großes Sprachmodell auf einem riesigen Datensatz aus Text und Code trainiert wird. Dieses vortrainierte Modell kann dann für bestimmte Aufgaben wie Übersetzung oder Beantwortung von Fragen optimiert werden. Durch das Vortraining wurde die Leistung von KI-Modellen bei einer Vielzahl von Aufgaben erheblich verbessert.

ChatGPT und Generative KI: Potenzielle Anwendungen in allen Branchen

ChatGPT und generative KI haben das Potenzial, viele Branchen zu revolutionieren. Er interessiert sich besonders für das Potenzial dieser Technologien, den Kundenservice zu verbessern, Betrug zu reduzieren, Produkte und Dienstleistungen zu personalisieren und das Gesundheitswesen zu verbessern.

Beispiele für spezifische Anwendungen von ChatGPT und generativer KI in verschiedenen Branchen:

1. Kundenservice und Erfahrung: ChatGPT und generative KI können verwendet werden, um Kundendienstaufgaben zu automatisieren, z. B. das Beantworten von Anfragen und das Generieren von Berichten. Dadurch können sich Kundendienstmitarbeiter auf komplexere Aufgaben konzentrieren.
2. Risikobewertung und Betrugserkennung: ChatGPT und generative KI können verwendet werden, um Risiken in der Banken- und Finanzbranche zu identifizieren und zu mindern. Sie können beispielsweise verwendet werden, um betrügerische Transaktionen zu erkennen und das Risiko von Kreditnehmern einzuschätzen.
3. Personalisierung: ChatGPT und generative KI können verwendet werden, um Produkte und Dienstleistungen für Kunden im Einzelhandel zu personalisieren. Sie können beispielsweise verwendet werden, um Kunden Produkte auf der Grundlage ihrer vergangenen Einkäufe und ihres Browserverlaufs zu empfehlen.
4. Prämienfestsetzung und Risikobewertung: ChatGPT und generative KI können verwendet werden, um Versicherungsprämien zu ermitteln und das Risiko von Versicherungsnehmern in der Versicherungsbranche zu bewerten.
5. Patientenvertretung und Krankheitsdiagnose: ChatGPT und generative KI können verwendet werden, um Tools zur Patientenvertretung zu entwickeln und Krankheiten im Gesundheitswesen schneller und genauer zu diagnostizieren.

LLMs und Risikobewertung

LLMs befinden sich noch in einem frühen Entwicklungsstadium, aber sie haben das Potenzial, die Risikobewertung in der Finanzdienstleistungsbranche zu revolutionieren:

LLMs können mehr Daten schneller verarbeiten. Modelle zur Risikobewertung stützen sich traditionell auf eine begrenzte Menge an Daten wie Kreditwürdigkeit und Einkommen. LLMs können viel mehr Daten verarbeiten, z. B. Ausgabenmuster, Kaufverhalten und Online-Verhalten. Dadurch können sie genauere Risikoeinschätzungen erstellen.

LLMs können assoziative Faktoren berücksichtigen. Neben individuellen Faktoren wie der Kreditwürdigkeit können LLMs auch assoziative Faktoren berücksichtigen, z. B. das Unternehmen, für das eine Person arbeitet, und die Branche, in der sie arbeitet. Dies kann ihnen helfen, umfassendere Risikobewertungen zu erstellen.

Die Zukunft von LLMs

Arten von Akteuren im Ökosystem

Er glaubt, dass es im Ökosystem drei Arten von Akteuren geben wird:

1. Fundamentmodellbauer: Unternehmen wie OpenAI, Google und Meta, die die großen Sprachmodelle selbst entwickeln.
2. LLM Ops-Plattformen: Unternehmen wie AWS und Google, die Plattformen für Entwickler bereitstellen, um LLM-Anwendungen zu erstellen und bereitzustellen.
3. LLM-Vertriebspartner: Unternehmen, die LLM-gestützte Produkte und Dienstleistungen entwickeln und an Endverbraucher verkaufen.

📌

Elektroindustrie:
In der Elektrizitätsbranche gibt es Generatoren, Übertragungsleitungen und Verteiler. In der LLM-Branche betrachtet Tushar die Generatoren von Fundamentmodellen als Generatoren, Cloud-Computing-Anbieter als Übertragungsleitungen und Start-up-Unternehmen als Vertriebspartner.

Geschlossenes vs. Open Source:

Es wird einen Raum für geschlossene und Open-Source-LLMs geben.
Closed-Source-Modelle wird von großen Unternehmen bevorzugt, die serienreife Lösungen mit Support benötigen. Open-Source-Modelle wird von kleineren Unternehmen und Forschern bevorzugt, die mehr Flexibilität und Anpassung benötigen.

Die Rolle von Middleware:

Middleware wird benötigt, um Entwicklern zu helfen, LLMs einfacher und effizienter zu nutzen. Middleware kann Funktionen wie Modellverwaltung, Feinabstimmung und Überwachung bereitstellen.

Vorteile und Risiken von LLMs:

Es ist unerlässlich, LLMs als Werkzeuge zu betrachten, die je nach Anwendung entweder die menschlichen Fähigkeiten erweitern oder Risiken bergen können. Wie jedes Tool ist auch der Einsatz von LLMs von menschlichen Entscheidungen und Absichten geprägt. Sie bergen das Potenzial, medizinische Behandlungen voranzutreiben, innovative Bildungsprogramme zu fördern und Aufgaben zu automatisieren, die derzeit von Menschen ausgeführt werden. Sie können aber auch Deepfakes generieren, Fehlinformationen verbreiten und Personen manipulieren.

Die Rolle des Menschen bei der Entwicklung und Verwendung von LLMs:

Auch wenn LLMs immer raffinierter werden, werden sie immer nicht in der Lage sein, die Nuancen menschlicher Werte vollständig zu erfassen. Folglich spielen Menschen nach wie vor eine zentrale Rolle dabei, sicherzustellen, dass LLMs unseren Werten entsprechen. Dies beinhaltet Etablierung ethischer Richtlinien für die LLM-Entwicklung und -Nutzung, Aufklärung der Öffentlichkeit über die Vorteile und Risiken von LLM und In der Erkenntnis, dass Menschen die einzigartige Fähigkeit besitzen, kreativ zu denken und innovative Lösungen zu finden, während LLMs durch ihre Trainingsdaten eingeschränkt sind.

Generische RAG-Systeme erstellen: AWS im Vergleich zu Startups

Wenn es um den Aufbau generischer RAG-Systeme geht, bringen AWS und Startups jeweils ihre eigenen Vorteile und Herausforderungen mit.

AWS-Stärken: AWS ist aufgrund seines großen Kundenstamms und einer breiten Palette von Diensten, die RAG unterstützen können, gut positioniert, um generische RAG-Systeme zu entwickeln. AWS bietet beispielsweise SageMaker an, eine Plattform für maschinelles Lernen zum Trainieren und Bereitstellen von RAG-Modellen. Darüber hinaus bietet AWS verschiedene Datenspeicher- und Verarbeitungsdienste, die sich ideal für RAG-Workflows eignen.

AWS-Schwächen: AWS kann in Bezug auf die schnelle Entwicklung und Markteinführung neuer Produkte möglicherweise nicht mit der Agilität von Startups mithalten. Darüber hinaus ist der Fokus von AWS möglicherweise nicht so spezifisch wie bei Startups, insbesondere in Anwendungsfällen wie RAG im Gesundheitswesen.

Vorteile eines Startups: Startups zeichnen sich durch Agilität aus, sodass sie sich auf bestimmte Anwendungsfälle konzentrieren und im RAG-Bereich schnell innovieren können. Ihr Nischenfokus kann zu einzigartigen RAG-Lösungen und Innovationen führen, die von größeren Unternehmen oft übersehen werden.

Herausforderungen für Startups: Startups haben oft mit Ressourcenbeschränkungen zu kämpfen, da ihnen der umfangreiche Kundenstamm und das Serviceportfolio von AWS fehlen. Der Preiswettbewerb mit AWS kann aufgrund des Umfangs und der Ressourcen des Technologieriesen entmutigend sein.

Tipps für Startups, die RAG-Systeme entwickeln:

1. Konzentrieren Sie sich auf bestimmte Anwendungsfälle: Startups sollten sich auf die Entwicklung von RAG-Lösungen für bestimmte Anwendungsfälle konzentrieren. Dies wird ihnen helfen, sich von AWS und anderen großen Unternehmen abzuheben.
2. Bewege dich schnell: Startups müssen schnell handeln, um ihre RAG-Lösungen zu entwickeln und auf den Markt zu bringen. Dies liegt daran, dass AWS und andere große Unternehmen ihre Produkte problemlos kopieren können.
3. Seien Sie ein attraktiver M&A-Kandidat: Startups sollten sich auf die Entwicklung von RAG-Lösungen konzentrieren, die für M&A-Kandidaten attraktiv sind. Dies wird ihnen die Möglichkeit geben, ihr Geschäft zu verlassen, wenn sie nicht in der Lage sind, mit AWS und anderen großen Unternehmen zu konkurrieren.

Navigieren in der schnelllebigen Welt der generativen KI

Ratschläge für Führungskräfte

1. Sei flink und agil. Der Bereich der generativen KI entwickelt sich ständig weiter, daher ist es wichtig, eine Denkweise und ein Team zu haben, das sich schnell an neue Entwicklungen anpassen kann.
2. Konzentrieren Sie sich darauf, echte Probleme zu lösen. Lassen Sie sich nicht vom Hype der generativen KI mitreißen. Konzentrieren Sie sich stattdessen darauf, echte geschäftliche Herausforderungen zu identifizieren, die mit dieser Technologie gelöst werden können.
3. Hab keine Angst, zu spät zu kommen. Es ist in Ordnung, wenn jemand anderes Sie mit einer neuen generativen KI-Lösung auf den Markt bringt. Das Wichtigste ist, aus ihren Fehlern zu lernen und ein besseres Produkt zu entwickeln.
4. Erzwingen Sie es nicht. Nicht jedes Problem benötigt eine generative KI-Lösung. Nutzen Sie Ihren Geschäftssinn, um die richtigen Probleme zu identifizieren, die Sie mit dieser Technologie lösen können.

Beratung für Führungskräfte aus den Bereichen Datenwissenschaft und Technik

1. Fang nicht mit dem Hammer an. Suchen Sie nicht nur nach Möglichkeiten, generative KI zu nutzen. Identifizieren Sie stattdessen zunächst Ihre geschäftlichen Herausforderungen und prüfen Sie dann, ob generative KI das richtige Tool ist, um diese zu lösen.
2. Arbeiten Sie vom Kunden aus rückwärts. Was sind die Bedürfnisse des Kunden? Was sind ihre Schmerzpunkte? Sobald Sie den Kunden verstanden haben, können Sie darüber nachdenken, wie generative KI eingesetzt werden kann, um ihm zu helfen.
3. Geben Sie nicht den Mandaten von oben nach unten nach. Wenn Ihr Führungsteam vorschreibt, dass jedes Team generative KI-Anwendungsfälle entwickelt, gehen Sie nicht einfach die Anweisungen durch. Lehnen Sie sich zurück und fragen Sie, warum sie denken, dass generative KI die richtige Lösung für diese Probleme ist.

Lesen Sie unsere vorherigen Blogs in der True ML Talks-Reihe:

‍

‍True ML Talks #17 - ML Platforms @ Slack, LLMs and SlackGPT

In this blog, we dive deep into Slack’s Recommend API. Understand their ML architecture, and the LLM use cases in Slack. We go into SlackGPT.

TrueFoundry Blog TrueFoundry

‍

Schaue weiter TrueML YouTube-Serie und das TrueML lesen Blog-Serie.

Wahre Gießerei ist ein ML Deployment PaaS über Kubernetes, um die Workflows von Entwicklern zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten und gleichzeitig die volle Sicherheit und Kontrolle für das Infra-Team zu gewährleisten. Über unsere Plattform ermöglichen wir Teams für maschinelles Lernen bereitstellen und überwachen Modelle innerhalb von 15 Minuten mit 100% iger Zuverlässigkeit, Skalierbarkeit und der Möglichkeit, innerhalb von Sekunden rückgängig zu machen. So können sie Kosten sparen und Modelle schneller für die Produktion freigeben, wodurch ein echter Geschäftswert erzielt wird.