TrueML #22 - Machine Learning Platform und LLMs @ Voiceflow

Wir sind zurück mit einer weiteren Episode von  True ML Talks. In dieser tauchen wir tief in die ML Platform sowie LLMs von Voiceflow ein und sprechen mit Denys Linkov.

Denys leitet das Machine Learning Team hier bei Voiceflow. Er kam als Gründungs-ML-Engineer zum Unternehmen. Zuvor arbeitete er als Senior Cloud Architect für eine globale Bank an Datensystemen, MLOps und Kerninfrastruktur. 

📌

Unsere Gespräche mit Adhitihya werden die folgenden Aspekte abdecken:
- Machine Learning bei Voiceflow
- Voiceflows MLOps-Reise
- Automatisierung von Modell-Deployment und Observability zur Reduzierung von Kontextwechseln und Erhöhung der Effizienz
- Real-time-Inferencing-Pipeline: Vorteile und Herausforderungen
- Voiceflows Ansatz für generative AI

Sehen Sie sich die vollständige Episode unten an:

Machine Learning @ Voiceflow

Voiceflow ist eine No-Code-Plattform, die es Unternehmen ermöglicht, Conversational AI-Anwendungen zu erstellen und zu deployen. Sie kann zur Erstellung von Chatbots, virtuellen Assistenten und anderen konversationellen Schnittstellen für eine Vielzahl von Branchen verwendet werden, darunter:

1. E-Commerce
2. Immobilien
3. Banken
4. Automobilindustrie
5. Versorgungsunternehmen
6. Öffentlicher Sektor

Das NLU-Modell von Voiceflow ist in der Lage, eine breite Palette von Branchen abzudecken, da es auf einem riesigen Datensatz aus Text und Code aus verschiedenen Quellen trainiert wird. Dies ermöglicht es Voiceflow, eine breite Palette von Anfragen in natürlicher Sprache zu verstehen und zu beantworten, unabhängig von der Branche.

Zum Beispiel: Ein Voiceflow-Chatbot könnte von einem E-Commerce-Unternehmen eingesetzt werden, um Kunden beim Finden von Produkten zu helfen, Fragen zu Produkten zu beantworten und Bestellungen aufzugeben. Ein Voiceflow-Chatbot könnte auch von einem Immobilienunternehmen genutzt werden, um potenziellen Käufern beim Finden von Häusern zu helfen, Termine mit Maklern zu vereinbaren und Informationen über den Hauskaufprozess bereitzustellen.

Eine der Herausforderungen beim Aufbau eines NLU-Modells, das all diese Branchen abdecken kann, besteht darin, dass jede Branche ihre eigene einzigartige Sprache und ihren eigenen Fachjargon hat. Das NLU-Modell von Voiceflow ist jedoch in der Lage, diese Unterschiede im Laufe der Zeit zu erlernen, da es mehr Daten aus verschiedenen Branchen ausgesetzt ist.

Voiceflows MLOps-Reise: Aufbau und Deployment von Machine Learning-Modellen für Conversational AI

Eine der ersten Herausforderungen, vor denen Voiceflow stand, war die Entscheidung, ob eigene Modelle gebaut oder externe Modelle verwendet werden sollten. Voiceflow beschloss, beide Optionen zu untersuchen, und erstellte ein paar Proofs of Concept. Die erste Funktion, die Voiceflow entwickelte, war die Utterance-Generierung, die Machine Learning nutzt, um Beispiele zu generieren, die ein Benutzer hinzufügen muss, um sein eigenes Datenmodell anzureichern.

Um das Utterance-Generierungsmodell in Produktion zu deployen, baute Voiceflow seine MLOps-Plattform aus. Das Ziel der Plattform war es, mehrere Experimente sehr schnell in Produktion deployen zu können sowie die Umgebungen zu verwalten.

Das Utterance-Generierungsmodell war das erste, das durch den Release von ChatGPT, einem fortgeschritteneren generativen Modell, eingestellt wurde. Dies lehrte Voiceflow, wie wichtig es ist, flexibel zu sein und bei Bedarf eigene Entwicklungen aufzugeben, um sich auf das zu konzentrieren, was für die Customer Experience am besten ist.

Voiceflow diskutiert auch den massiven Wandel, der im Bereich der Conversational AI seit dem Start von Instruction-tuned GPT-basierten Modellen stattgefunden hat. Voiceflow gibt zu, dass es ein strategischer Fehler war, zu dieser Zeit nicht über die Nutzung von GPT-3 nachzudenken, lernte aber auch, dass es wichtig ist, anpassungsfähig und bereit zu sein, den eigenen Ansatz zu ändern, wenn sich das Feld weiterentwickelt.

Hier ist ein Blog, den Sie bezüglich der Erstellung des Voiceflow NLU lesen können:

‍

Einblick in Voiceflow | Voiceflow

Erlauben Sie uns, Sie mit Produktankündigungen, einem exklusiven Blick hinter die Kulissen von Voiceflow sowie Produkt-Tipps und -Tricks aus unserer Community zu unterhalten.

Voiceflow

‍

Automatisierung von Modell-Deployment und Observability zur Reduzierung von Kontextwechseln und Erhöhung der Effizienz

Im traditionellen Machine Learning-Entwicklungsprozess trainieren Data Scientists Modelle in Jupyter Notebooks und übergeben sie dann an Machine Learning Engineers oder Backend-Engineers, um sie in Produktion zu deployen. Dies kann zu Kontextwechseln und Verzögerungen führen, da die Engineers das Modell und die Daten verstehen müssen, um es erfolgreich zu deployen.

Modell-Deployment und Observability automatisieren

Eine Möglichkeit, diese Herausforderung anzugehen, besteht darin, das Modell-Deployment und die Observability zu automatisieren. Dies kann durch die Erstellung eines Sets von Tools und Prozessen erreicht werden, die es Data Scientists ermöglichen, ihre Modelle in Produktion zu deployen und zu überwachen, ohne andere Engineers einbeziehen zu müssen.

Ein Beispiel hierfür ist die Nutzung einer cloudbasierten Plattform, die verwaltete Dienste für Modell-Deployment und Observability bietet. Diese Plattformen können eine Vielzahl von Funktionen bereitstellen, wie zum Beispiel:

1. Automatisches Modell-Deployment und Scaling
2. Real-time-Modellüberwachung
3. Drift-Erkennung und Alerting
4. Modellversionierung und Rollback

Entwickeln Sie Ihre eigenen benutzerdefinierten Tools und Prozesse

Ein anderer Ansatz zur Automatisierung von Modell-Deployment und Observability besteht darin, eigene benutzerdefinierte Tools und Prozesse zu entwickeln. Dies kann Ihnen mehr Flexibilität und Kontrolle geben, erfordert aber auch mehr Investitionen.

Hier ist ein konkretes Beispiel dafür, wie ein Unternehmen das Modell-Deployment und die Observability mit diesem Ansatz automatisiert hat:

1. Erstellung eines Sets automatisierter Skripte, die eine Cloud-Umgebung mit allen erforderlichen Diensten für das Deployment und die Überwachung ihrer Modelle bereitstellen.
2. Entwicklung eines CLI-Tools, das das Deployment neuer Modelle in die Cloud-Umgebung vereinfacht.
3. Das CLI-Tool erstellte automatisch alle erforderlichen Ordner und Terraform-Dateien zum Deployen des Modells.
4. Das CLI-Tool gab auch die Umgebung an, in der das Modell deployt werden sollte.

Diese Automatisierung ermöglichte es den Data Scientists des Unternehmens, ihre Modelle in Produktion zu deployen und zu überwachen, ohne andere Engineers einbeziehen zu müssen.

Herausforderungen bei der Entwicklung eigener benutzerdefinierter Tools und Prozesse

Es gibt auch einige Herausforderungen, die bei der Entwicklung eigener benutzerdefinierter Tools und Prozesse für Modell-Deployment und Observability berücksichtigt werden müssen:

1. Komplexität: Die Entwicklung eigener benutzerdefinierter Tools und Prozesse kann komplex und zeitaufwendig sein.
2. Debugging: Es kann schwierig sein, Fehler zu beheben, wenn Probleme auftreten, insbesondere wenn Data Scientists keine vollständige Sichtbarkeit in die erstellten Pipelines haben.
3. Wartung: Benutzerdefinierte Tools und Prozesse erfordern kontinuierliche Wartung und Support.

Wie man die Herausforderungen abfedert

Es gibt einige Dinge, die getan werden können, um die Herausforderungen bei der Entwicklung eigener benutzerdefinierter Tools und Prozesse für Modell-Deployment und Observability zu mildern:

1. Klein anfangen: Beginnen Sie mit der Entwicklung eines grundlegenden Sets von Tools und Prozessen, die Ihren unmittelbaren Anforderungen entsprechen. Sie können dann im Laufe der Zeit weitere Funktionen und Funktionalitäten hinzufügen.
2. Open-Source-Tools und -Bibliotheken nutzen: Es gibt eine Reihe von Open-Source-Tools und -Bibliotheken, die Ihnen bei der Entwicklung Ihrer eigenen benutzerdefinierten Tools und Prozesse helfen können. Die Nutzung dieser Tools und Bibliotheken kann den Entwicklungsaufwand reduzieren.
3. Dokumentieren Sie Ihre Tools und Prozesse: Dokumentieren Sie Ihre Tools und Prozesse gründlich, damit Data Scientists und andere Engineers sie leicht verstehen und nutzen können.
4. Schulung und Support anbieten: Bieten Sie Data Scientists und anderen Engineers Schulungen und Support zur Nutzung Ihrer benutzerdefinierten Tools und Prozesse an.

Real-time-Inferencing-Pipeline: Vorteile und Herausforderungen

Real-time-Inferencing-Pipelines bieten eine Reihe von Vorteilen, darunter:

1. Geringere Latenz: Real-time-Inferencing-Pipelines können Vorhersagen für Benutzer mit minimaler Verzögerung bereitstellen.
2. Erhöhte Skalierbarkeit: Real-time-Inferencing-Pipelines können nach oben oder unten skaliert werden, um der Nachfrage gerecht zu werden, was sie ideal für hochvolumige Anwendungen macht.
3. Verbesserte Flexibilität: Real-time-Inferencing-Pipelines können zur Implementierung einer Vielzahl von Machine Learning-Modellen verwendet werden, einschließlich Klassifikation, Regression und Objekterkennung.

Allerdings bringen Real-time-Inferencing-Pipelines auch einige Herausforderungen mit sich, wie zum Beispiel:

1. Erhöhte Komplexität: Real-time-Inferencing-Pipelines können in Design und Implementierung komplex sein und Fachwissen in Machine Learning, verteilten Systemen und Infrastruktur erfordern.
2. Erhöhte Kosten: Real-time-Inferencing-Pipelines können im Betrieb teurer sein als Batch-Inferencing-Pipelines, da leistungsfähigere Hardware und Infrastruktur erforderlich sind.
3. Erhöhtes Fehlerrisiko: Real-time-Inferencing-Pipelines können anfälliger für Fehler sein als Batch-Inferencing-Pipelines, da Daten verarbeitet und Vorhersagen in Echtzeit generiert werden müssen.

Autoscaling in einer Real-time Machine Learning-Pipeline

Eine der Herausforderungen beim Aufbau und Deployment einer Real-time Machine Learning-Pipeline besteht darin, wie das System automatisch skaliert werden kann, um Traffic-Änderungen zu bewältigen. Es gibt eine Reihe von Faktoren zu berücksichtigen, wie die Vorhersehbarkeit der Traffic-Muster, die Latenzanforderungen der Modelle und die Komplexität des Autoscaling-Algorithmus.

Ein Ansatz zum Autoscaling einer Real-time Machine Learning-Pipeline besteht in der Nutzung eines Queuing-Systems. Dies ermöglicht es Ihnen, die Produzenten (die die Inference-Requests generieren) von den Konsumenten (die die Inference-Requests verarbeiten) zu entkoppeln. Dies gibt Ihnen mehr Flexibilität bei der Skalierung des Systems.

Um ein Queuing-basiertes System automatisch zu skalieren, können Sie eine Vielzahl von Metriken verwenden, z. B. die Anzahl der Nachrichten in der Queue, die durchschnittliche Latenz der Anfragen oder die CPU-Auslastung der Worker. Sie können auch eine Kombination dieser Metriken verwenden.

Es ist wichtig, den Autoscaling-Algorithmus sorgfältig abzustimmen, um ein Over-Scaling oder Under-Scaling des Systems zu vermeiden. Over-Scaling kann zu Ressourcenverschwendung führen, während Under-Scaling zu Performance-Problemen führen kann.

Hier sind einige zusätzliche Überlegungen zum Autoscaling eines Queuing-basierten Systems für Real-time-Inference:

1. Nutzen Sie eine cloudbasierte Plattform: Cloudbasierte Plattformen können das automatische Skalieren Ihres Systems erleichtern, wenn sich Ihre Traffic-Muster ändern. Beispielsweise können Sie einen cloudbasierten Load Balancer verwenden, um den Traffic auf Ihre Pods zu verteilen und die Anzahl der Pods je nach Bedarf nach oben oder unten zu skalieren.
2. Nutzen Sie ein Queuing-System, das Autoscaling unterstützt: Einige Queuing-Systeme unterstützen Autoscaling, was bedeutet, dass sie die Anzahl der Worker basierend auf der Anzahl der Nachrichten in der Queue automatisch nach oben oder unten skalieren können. Dies kann Ihnen helfen sicherzustellen, dass Ihr System Traffic-Spitzen ohne manuelles Eingreifen bewältigen kann.
3. Überwachen Sie Ihr System: Es ist wichtig, Ihr System genau zu überwachen, um Probleme mit dem Autoscaling zu identifizieren. Beispielsweise müssen Sie möglicherweise die Schwellenwerte anpassen, die das Scaling nach oben oder unten auslösen, oder Sie müssen spezifische Engpässe in Ihrem System identifizieren und beheben.

Modell-Server für latenzsensitive Real-time-Systeme

Die Auswahl eines Modell-Servers für latenzsensitive Anwendungen kann aus mehreren Gründen herausfordernd sein. Erstens gibt es viele verschiedene Modell-Server, jeder mit seinen eigenen Stärken und Schwächen. Zweitens können die Anforderungen an latenzsensitive Anwendungen je nach spezifischer Anwendung und den verwendeten Modelltypen stark variieren. Schließlich ist es oft schwierig vorherzusagen, wie sich ein Modell-Server in einer Produktionsumgebung verhalten wird.

Zu berücksichtigende Faktoren

Bei der Auswahl eines Modell-Servers für eine latenzsensitive Anwendung ist es wichtig, die folgenden Faktoren zu berücksichtigen:

1. Modell-Latenz: Die Latenz des Modell-Servers sollte niedrig genug sein, um den Anforderungen der Anwendung zu entsprechen.
2. Skalierbarkeit: Der Modell-Server sollte in der Lage sein zu skalieren, um den Traffic-Anforderungen der Anwendung gerecht zu werden.
3. Flexibilität: Der Modell-Server sollte flexibel genug sein, um die spezifischen Anforderungen der Anwendung zu unterstützen, z. B. verschiedene Frameworks und Hardware-Plattformen.
4. Benutzerfreundlichkeit: Der Modell-Server sollte einfach zu bedienen und zu verwalten sein.
5. Benchmarks: Es ist wichtig, verschiedene Modell-Server zu benchmarken, um zu sehen, welcher für Ihre spezifischen Anforderungen am besten abschneidet.
6. Support: Berücksichtigen Sie das Maß an Support, das für den Modell-Server verfügbar ist.
7. Community: Berücksichtigen Sie die Größe und Aktivität der Community rund um den Modell-Server.

💡

Weitere Einblicke in die ML-Plattform bei Voiceflow:
Voiceflow nutzt eine Kombination aus AWS und GCP, da verschiedene Unternehmenskunden unterschiedliche Anforderungen haben. Sie haben die Nutzung von Karpenter oder Autopilot noch nicht untersucht, da sie bereits ihre Infrastruktur aufbauten, als diese Funktionen veröffentlicht wurden. Außerdem müssen sie für viele ihrer Workloads T4 GPUs verwenden, die für Autopilot nicht optimal sind. Insgesamt priorisieren sie vorerst Ingenieurzeit und werden schließlich zu fortgeschritteneren Infrastrukturlösungen migrieren, wenn sie weiter skalieren.

Voiceflows Ansatz für generative AI

Voiceflow verfolgt einen vorsichtigen Ansatz gegenüber Open-Source generativer AI. Sie sind sich der potenziellen Vorteile dieser Modelle bewusst, kennen aber auch die damit verbundenen Herausforderungen. Sie sind bestrebt, ihren Benutzern das bestmögliche Erlebnis zu bieten, und werden zu Open-Source-Modellen wechseln, wenn der richtige Zeitpunkt für ihr Geschäft gekommen ist.

Herausforderungen von Open-Source generativer AI

Es gibt einige Herausforderungen im Zusammenhang mit Open-Source generativer AI:

1. Rasche Entwicklung: Open-Source generative AI-Modelle entwickeln sich rasant weiter, was es schwierig machen kann, mit den neuesten Optimierungen Schritt zu halten.
2. Kosten: Open-Source generative AI-Modelle können in Training und Deployment rechenintensiv und teuer sein.
3. Support: Open-Source generative AI-Modelle verfügen möglicherweise nicht über das gleiche Maß an Support wie proprietäre Modelle.

Vorteile von Open-Source generativer AI

Trotz der Herausforderungen bieten Open-Source generative AI-Modelle auch eine Reihe von Vorteilen:

1. Transparenz: Open-Source generative AI-Modelle sind transparenter als proprietäre Modelle, was bedeutet, dass Benutzer besser verstehen können, wie sie funktionieren, und den Ergebnissen vertrauen können.
2. Reproduzierbarkeit: Open-Source generative AI-Modelle sind reproduzierbarer als proprietäre Modelle, was bedeutet, dass Benutzer die Ergebnisse von Experimenten replizieren und ihre Arbeit mit anderen teilen können.
3. Anpassung: Open-Source generative AI-Modelle können angepasst und erweitert werden, um spezifischen Anforderungen gerecht zu werden.

Umgang mit Latenz

Latenz ist ein kritischer Faktor, der bei der Auswahl eines Modells für ein Retrieval Augmented Generation-System berücksichtigt werden muss. Der beste Ansatz besteht darin, Benutzern eine Auswahl an Modellen zur Verfügung zu stellen und Aufklärung darüber zu bieten, was für welche Aufgaben verwendet werden sollte.

Wenn beispielsweise Latenz der wichtigste Faktor ist, wird die Verwendung eines NLU-basierten Ansatzes mit intensiven Utterances und statischen Antworten empfohlen. NLU-Modelle sind typischerweise viel schneller als generative Modelle, und statische Antworten können mit sehr geringer Latenz geliefert werden.

Wenn der Benutzer eine höhere Präzision oder eine bessere Formatierung benötigt, wird die Verwendung eines generativen Modells wie GPT-4 empfohlen. Generative Modelle sind leistungsfähiger als NLU-Modelle und können Text generieren, der natürlicher und ansprechender ist. Es ist jedoch wichtig zu beachten, dass generative Modelle auch viel langsamer als NLU-Modelle sind.

Eine weitere Möglichkeit zur Reduzierung der Latenz ist die Verwendung einer verteilten Architektur. In einer verteilten Architektur werden die Retrieval- und Generierungsaufgaben auf separaten Servern ausgeführt. Dies ermöglicht es dem System zu skalieren, um selbst den Anforderungen anspruchsvollster Anwendungen gerecht zu werden.

Aufbau eines hochleistungsfähigen Retrieval Augmented Generation-Systems

Retrieval augmented generation (RAG)-Systeme sind ein leistungsfähiger neuer Ansatz zur Textgenerierung, der die Stärken von Retrieval- und generativen Modellen kombiniert. RAG-Systeme funktionieren, indem sie zuerst relevante Passagen aus einer Wissensdatenbank abrufen und dann ein generatives Modell verwenden, um Text basierend auf den abgerufenen Passagen zu generieren.

RAG-Systeme können für eine Vielzahl von Aufgaben verwendet werden, darunter Beantwortung von Fragen, Zusammenfassung und kreatives Schreiben. Der Aufbau eines hochleistungsfähigen RAG-Systems kann jedoch herausfordernd sein.

In diesem Blogbeitrag diskutieren wir einige der Schlüsselfaktoren, die beim Aufbau eines RAG-Systems zu berücksichtigen sind, darunter:

1. Modellauswahl: Es steht eine Vielzahl verschiedener Retrieval- und generativer Modelle zur Verfügung. Es ist wichtig, Modelle zu wählen, die für Ihre spezifischen Anforderungen geeignet sind. Wenn Sie beispielsweise Text in einer bestimmten Sprache generieren müssen, müssen Sie ein Modell wählen, das auf Text in dieser Sprache trainiert ist.
2. Datenauswahl: Die Qualität der Daten, die Sie zum Trainieren Ihres Systems verwenden, hat einen erheblichen Einfluss auf dessen Performance. Es ist wichtig, Daten zu wählen, die für Ihre Zielaufgaben relevant und fehlerfrei sind.
3. Hardwareauswahl: Die verwendete Hardware hat ebenfalls einen erheblichen Einfluss auf die Performance Ihres Systems. Beispielsweise kann die Verwendung von GPUs die Retrieval- und Generierungsaufgaben erheblich beschleunigen.
4. Systemarchitektur: RAG-Systeme können auf vielfältige Weise implementiert werden. Es ist wichtig, eine Systemarchitektur zu wählen, die für Ihre spezifischen Anforderungen geeignet ist. Wenn Sie Ihr System beispielsweise in Produktion deployen müssen, müssen Sie eine Architektur wählen, die skalierbar und zuverlässig ist.

Zusätzlich zu den oben genannten Faktoren ist auch zu bedenken, dass RAG-Systeme komplex sind und sich schwer verallgemeinern lassen. Die Domäne und der Anwendungsfall jedes Benutzers sind unterschiedlich. Daher ist es wichtig, Benutzern die Möglichkeit zu geben, ihre eigenen Prompts, Verarbeitungs- und Chunking-Strategien zu testen. Dies ermöglicht es Benutzern, das System an ihre spezifischen Anforderungen anzupassen.

Hier können Sie mehr darüber lesen, wie Sie eine RAG-Architektur auf TrueFoundry deployen:

‍

LLM-gestützter QA-Chatbot für Ihre Daten in Ihrer Cloud

Überführen Sie einen Frage-Antwort-Bot für Ihre Daten in Ihrer Cloud-Umgebung mit Open-Source-LLMs unter Verwendung von RAG (Retrieval-Augmented Generation) in die Produktion.

TrueFoundry Blog TrueFoundry

‍

Übergang zu generativer AI: Herausforderungen und Chancen

Unternehmen, die NLP-basierte Lösungen mit traditionellen Methoden entwickelt haben, stehen nun vor der Herausforderung, zu generativer AI überzugehen. Generative AI-Modelle wie GPT-4 und LaMDA bieten eine Reihe von Vorteilen gegenüber traditionellen Methoden, einschließlich der Fähigkeit, Text zu generieren, Sprachen zu übersetzen und Fragen umfassend und informativ zu beantworten. Es gibt jedoch auch eine Reihe von Herausforderungen im Zusammenhang mit dem Übergang zu generativer AI.

Eine Herausforderung besteht darin, dass sich generative AI-Modelle noch in der Entwicklung befinden und in der Nutzung teuer sein können. Darüber hinaus ist das Konzept des Promptings immer noch recht vage und anspruchsvoll. Unternehmen müssen in der Lage sein, effektive Prompting-Techniken zu entwickeln, um das Beste aus generativen AI-Modellen herauszuholen.

Eine weitere Herausforderung ist die Integration generativer AI-Modelle in bestehende Infrastrukturen. Unternehmen müssen sicherstellen, dass ihre Systeme die erhöhte Last und Komplexität generativer AI-Modelle bewältigen können.

Trotz der Herausforderungen gibt es auch eine Reihe von Chancen im Zusammenhang mit dem Übergang zu generativer AI. Generative AI-Modelle können Unternehmen dabei helfen, die Qualität ihrer Produkte und Dienstleistungen zu verbessern, Aufgaben zu automatisieren und neue Produkte und Dienstleistungen zu entwickeln.

Hier sind einige Tipps für Unternehmen, die zu generativer AI übergehen:

1. Beginnen Sie mit der Bewertung Ihrer Anforderungen. Welche spezifischen Aufgaben sollen die generativen AI-Modelle ausführen? Welche Budgetbeschränkungen haben Sie? Sobald Sie ein gutes Verständnis für Ihre Anforderungen haben, können Sie damit beginnen, die richtigen generativen AI-Modelle für Ihren Anwendungsfall zu identifizieren.
2. Experimentieren Sie mit verschiedenen Modellen und Techniken. Es gibt keinen Einheitsansatz für den Übergang zu generativer AI. Unternehmen müssen mit verschiedenen Modellen und Techniken experimentieren, um herauszufinden, was für sie am besten funktioniert.
3. Integrieren Sie generative AI-Modelle in Ihre bestehende Infrastruktur. Unternehmen müssen sicherstellen, dass ihre Systeme die erhöhte Last und Komplexität generativer AI-Modelle bewältigen können. Dies erfordert möglicherweise die Skalierung ihrer Infrastruktur oder Änderungen an ihrer Software.
4. Schulen Sie Ihr Personal. Generative AI-Modelle sind leistungsfähige Werkzeuge, aber sie können auch komplex in der Nutzung sein. Unternehmen müssen ihr Personal in der effektiven Nutzung generativer AI-Modelle schulen.

Der Übergang zu generativer AI kann eine Herausforderung sein, bietet Unternehmen aber auch die Chance, ihre Produkte und Dienstleistungen zu verbessern und neue Produkte und Dienstleistungen zu schaffen. Indem Unternehmen die obigen Tipps befolgen, können sie den Übergang zu generativer AI so reibungslos und erfolgreich wie möglich gestalten.

Lesen Sie unsere vorherigen Blogs in der TrueML-Serie

‍

True ML Talks #20 - Transformers, Embedding, LLMs @ Turnitin

Deep Dive in eine neue Denkweise über Transformers und LLMs über Embeddings. Wir sprechen mit Sumeet, Distinguished ML Scientist @ Turnitin.

TrueFoundry Blog TrueFoundry

‍

Schauen Sie weiterhin die TrueML YouTube-Serie und lesen Sie alle Beiträge der TrueML Blog-Serie.

TrueFoundry ist ein ML-Deployment-PaaS auf Kubernetes, um Entwickler-Workflows zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Deployen von Modellen zu bieten, während volle Sicherheit und Kontrolle für das Infrastruktur-Team gewährleistet werden. Über unsere Plattform ermöglichen wir Machine Learning-Teams, Modelle in 15 Minuten mit 100% Zuverlässigkeit, Skalierbarkeit und der Möglichkeit zum Rollback in Sekunden zu deployen und zu überwachen – so sparen sie Kosten, bringen Modelle schneller in Produktion und realisieren echten Geschäftswert.