Fügen Sie dem Tech-Stack von Aviso AI einen Generative-AI-fähigen Core hinzu

Add a generatives KI-fähiges Core to Tech-Stack of Aviso AI

About Aviso AI

Aviso AI is an sales operating system, the sales teams supports, sales better forecast and to increase, the performance of the staff to optimize and go-to-market strategies (GTM) to priority. Es kombiniert Conversationsintelligenz with sales apps, to create precise forecast, more forecast future pipelines and win business.

Es hat Teams von Unternehmen wie Seagate, Honeywell, GitHub usw. dabei geholfen, 20% mehr Geschäfte zu tätigen und eine Umsatzsteigerung von 15-35% zu erzielen.

Ziele, die das Team erreichen wollte

The ML team of Aviso AI would to strengthen the KI-first stack of the company further and improve the effect by following measures:

1. Mach den Stack robust für neue Modelle wie LLMs: The team would have support for the latest models in his cloud and the stack for all new, that can come in the future.
2. Sie vereinfachen den Umgang mit der Infrastruktur für ML-Entwickler: Das Team wollte, dass ML/DS-Entwickler nur wenig Zeit mit der Verwaltung der Infrastruktur verbringen, sodass sie mit ihren Modellen experimentieren, testen und bereitstellen konnten.
3. Reduziere the cloud costs: Das Team wollte den Nutzungsgrad der bereitgestellten Infrastruktur erhöhen und mehrere Dienste/Modelle in derselben Rechenleistung bündeln.

What we have together with the Aviso AI Team

Durch die Partnerschaft konnten die Teams gemeinsam Folgendes erreichen:

1. Spare more as 100 hours an Developer time per month: Das Team für maschinelles Lernen ging zu einer Docker-basierten Umgebung über, wodurch die Erstellungszeiten reduziert wurden und einfachere lokale Tests ermöglicht wurden.
2. Cost savings in the Cloud: The team has in the position, using Docker more software/models for the provided data processing. This could also use Spot-Instances, without they need to make ideas about the reliability. Insgesamt erwirtschaftete das Team Einsparungen bei den Cloud-Kosten von ~ 30-40%.
3. LLM provide in big measure: The Team can provides any LLM model of HuggingFace or other sources with optimated reference on the TrueFoundry platform provided infrastructure, using the catalog pre-configurated open-source LLM models.

Aviso AI nutzt KI, um Revenue Ops zu revolutionieren

Aviso AI is an integrated platform, the various KI-gestützte sales tools combine to optimize the sales processing. Einige ihrer Hauptprodukte umfassen:

1. Verkaufsprognosen: Prognose von Verkaufsergebnissen, sodass sie ihre Teams auf wichtige Geschäfte konzentrieren können.
2. Leistungsoptimierung: Support by the optimization of distribution strategy and provide improvement feedback to the team.
3. Einblicke in Echtzeit: Hilft Führungskräften, Störungen oder Marktveränderungen zu beobachten und zu diagnostizieren
4. Umsetzbare Empfehlungen: Sie schlagen Vertriebs-Mitarbeiter mithilfe der KI-gestützten Analyse die nächstbeste Aktion vor.

Zu ihren weiteren Angeboten gehören KI-gestützte Deal-Forecasting, Pipeline- und Deal-Management, Conversational Intelligence, Coaching und Enablement, NLP Analytics und Reporting, Sales Engagement, Lead Intelligence und Customer Success Intelligence.

MIKI: Der weltweit erste LLM-Stabschef

Das AI-Team von Aviso hat auch mit generativer KI innovativ gearbeitet. MIKI, the world's first stableader for generative AI for Revenue Intelligence, is provided to increase the productivity of the GTM-teams and employees to a 15 to 20 hours per week. It helps by:

1. Antwort auf die Frage: Beantwortung von Kundenanfragen zur Unterstützung von Verkäufern in Echtzeit
2. Probiert die nächstbesten Maßnahmen: Proposal optimaler schritte, to increase the probability, that a sale gespräch is completed.
3. Coaching by Vertriebsmitarbeitern: Analyse und Feedback an Verkäufer
4. Automation all täglicher Tasks, die von Account Executives erledigt werden: Wie Recherchen, E-Mails schreiben

Das Team wollte, dass LLM-Models skalierbar als unabhängiger Service eingesetzt werden.

The KI-team by Aviso has provided his software and ML services on AMIs (Amazon Machine Images). AMIs are pre-configurated machines, which include the operating system, the application server and the application /the model, that you want provide.

Das Team wollte einen einfacheren und effizienteren Tech-Stack für Training, Testen und Bereitstellung seiner Modelle entwickeln, da es die Anwendungsfälle auf neuere und anspruchsvollere Modelle wie LLMs (Large Language Models) und Generative KI ausweitete.

Wollte die Amis schlank halten

Da die Software und die ML-Dienste gebündelt und in AMIs gebündelt wurden, konnte dies zu Herausforderungen führen, da die Modelle immer größer wurden, insbesondere im Fall von LLMs.

Simple Testing and Failor Diagnostics

The challenge of problems by the publication or behebung of problems could be a challenge because the dependencies between ML and non-ML services. The team would keep the both provides and their tests separated.

Simple Environment Management and efficient scaling

Für die Ausführung der LLM- und Softwaredienste sind möglicherweise verschiedene Umgebungen erforderlich. Your resources requirements are also very different. Also hielt es das Team für sinnvoll, die Umwelt und den Umgang mit Ressourcen für beide getrennt zu verwalten.

With an actuated infrastructure stack spart das Team mehr als 100 Entwicklungsstunden pro Monat ein

The team wechselte zu einem skalierbaren Infrastructure Stack in einer Docker-Umgebung. Wir haben gemeinsam entschieden, dass das Team langfristig auf Erfolgskurs bringt und gleichzeitig Zeit sparen und

The new dockerized environment helps the team, costs to save and agiler to be

1. Leicht: Docker-Images are much lighter and capsules only the application and their dependencies. This are much less and faster to create.
2. Microservices-Architecture: Docker-Images sind Bausteine, die eine monolithische Anwendung in kleineren Microservices aufteilen. Microservices machen die Anwendung sehr zuverlässiger und transparenter.
3. kostengünstig: Container share the kernel of the host operating system, because they are resources efficient as virtual machines. Mehrere Container können auf einer gemeinsam genutzten Infrastruktur ausgeführt werden, was zu einer hohen Ressourcenauslastung führt.

Der neue Workflow von ML Team with TrueFoundry

TrueFoundry the team, continuous from his existing setup to a new Docker-based setup, the following secure:

1. Simple administration for DS-teams: Ey mal, if a service/model provided or tested, can be perform before location.
2. Die Best Practices von SRE wurden automatisch durchgesetzt: Autoscaling, Versionsmanagement, Daten- und Modellherkunft, Kostentransparenz usw.
3. Einsparungen bei den Cloud-Kosten von ~ 40%: Durch die zuverlässige Nutzung von Spot-Instances wird eine höhere Ressourcenauslastung erzielt

Das Aviso AI-Team kann LLMs vom ersten Tag an mit TrueFoundry versenden

When the new and modular stack was installed, the team in the location, modern and schwerere models as LLMs as continuous and use to support MIKI and future application cases.

Angesichts des Umfangs und der Aktualität dieser Modelle sind Training, Feinabstimmung und Einsatz dieser Modelle in einem großen Maßstab komplexer technischer Probleme. Dazu gehören:

1. Hochskalierung der GPU-Infrastruktur: Zur Unterstützung riesiger Modelle wie LLama 2 70 Bn usw.
2. Find the relevant model server configuration from: New Models are published all pair weeks, and the teams must defined the correct parameters to provide on model servers like vLLM, TGI usw.. The search after this configuration on the basis of available resources and services requirements can continue weeks.
3. Feinabstimmung und Vortraining: The feinabstimmung and the vortraining require orchestriering of multi-gpu-Clusters, Checkpoints and the continuous monitoring of training applications.

The team can easy provided his models and they leave as a most most reliable and optimum costs.

TrueFoundry half dem Team by:

1. 1 Click on Provisioning jedes Open-Source-LLM von Hugging Face Hub oder anderen Quellen
2. Autoscaling mit der besten Leistung via Modellserver, to receive the performance fähigsten Models
3. Spare Costs by using Spot-Instances, that is allow, the model to specific days times, and only provide Kubernetes.

TrueFoundry wurde zur zentralen Anlaufstelle für Administratoren und ML-Teams

TrueFoundry was implementation on the single dashboard, through the various projects within the company, their ML models. This allows a simple exchange of contexts between the teams, as all, especially the administrators, could see that provides and model positions by the various teams are performed.