TrueML Talks #25 - GenAI en LLMOps voor GTM (Go-To-Market) @ Twilio

We zijn terug met een nieuwe aflevering van  True ML Talks. In deze aflevering duiken we opnieuw diep in MLOps en LLM-toepassingen bij GitLab en spreken we met Pruthvi Shetty.

 Pruthvi is Staff Data Scientist bij Twilio. Daarvoor leidde hij ML bij SAP en bij de startup ZapLabs, die is overgenomen door Anywhere RE. Bij Twilio leidt Pruthvi de Gen AI-initiatieven, en daar gaan we vandaag dieper op in. 

📌

Onze gesprekken met Pruthvi behandelen de volgende aspecten:
- ML- en GenAI-toepassingen en use cases rondom GTM
- XGPT: Twilio's krachtpatser voor Go-to-Market-teams
- Het gevecht tegen OpenAI Rate Limits
- Experimenteren met Open-Source LLM's
- RFP Genie: Het automatiseren van RFP-antwoorden
- Workflow voor traditionele ML-modellen

Bekijk de volledige aflevering hieronder:

AI inzetten voor Go-To-Market-teams

Twilio heeft een lange geschiedenis in het inzetten van machine learning (ML) en data science om de producten en diensten te optimaliseren. De recente ontwikkelingen in Generatieve AI (GenAI) hebben echter nieuwe mogelijkheden geopend om de werkwijze van GTM-teams verder te verbeteren.

Traditionele ML voor GTM

Hoewel GenAI een krachtige tool is, heeft Twilio de traditionele ML-basis niet losgelaten. Het bedrijf blijft ML gebruiken voor verschillende GTM-taken, zoals:

1. Propensity-modellen: Voorspellen van de waarschijnlijkheid dat een klant converteert naar een betalende gebruiker.
2. Cross-sell-modellen: Aanbevelen van aanvullende producten aan bestaande klanten op basis van hun gebruiksgegevens.
3. Upsell-modellen: Aanbevelen van upgrades naar hogere serviceniveaus aan bestaande klanten op basis van hun gebruiksgegevens.
4. Lead generation-modellen: Identificeren van potentiële nieuwe klanten die waarschijnlijk geïnteresseerd zijn in de producten van Twilio.

GenAI voor GTM

Twilio zag al vroeg het potentieel van GenAI in en stelde een toegewijd team aan om de toepassingen te verkennen. Dit team heeft een reeks GenAI-gestuurde tools gebouwd, specifiek voor GTM-teams, waaronder:

1. XGPT: Deze veelzijdige tool stelt GTM-teams in staat om gepersonaliseerde outreach-content zoals e-mails te genereren, wat aanzienlijk veel tijd en moeite bespaart. Het verwerkt ook klantvragen, met een indrukwekkend aantal van 15.000 vragen per maand, wat aantoont dat het grote volumes aan interacties kan verwerken.
2. FlexGPT en SegGPT: Afgestemd op specifieke producten, genereren deze AI-modellen uitgebreide en nauwkeurige documentatie voor zowel Flex als Segment, zodat gebruikers snel over de juiste informatie beschikken.
3. RFP Genie: Deze transformationele tool pakt de tijdrovende taak op van het beantwoorden van RFP-vragen. Door vragen te verwerken met 90% nauwkeurigheid, verkort het de doorlooptijd van weken naar minuten, waardoor waardevolle capaciteit vrijkomt voor GTM-teams.

XGPT: Twilio's krachtpatser voor Go-to-Market-teams

Twilio zag al vroeg het potentieel van Generatieve AI (GenAI) in en heeft een dedicated team opgezet om de toepassingen te verkennen. Dit team, geleid door Pruthvi, heeft een suite van GenAI-gestuurde tools ontwikkeld specifiek voor GTM-teams. Een van de belangrijkste tools die ze hebben gebouwd is XGPT.

XGPT werd ontwikkeld als antwoord op twee problemen bij het gebruik van publiek beschikbare GenAI-modellen zoals ChatGPT:

1. Beveiliging en privacy: Publieke modellen worden getraind op openbaar gedeelde data, wat zorgt voor beveiligings- en privacyzorgen rondom de interne informatie van Twilio.
2. Beperkte aanpasbaarheid: Publieke modellen kunnen geen specifieke interne kennis van Twilio bevatten, zoals informatie over productreleases, sales plays en concurrentiepositionering.

XGPT loste deze problemen op door:

1. Gebruik te maken van Twilio's data: Getraind op interne informatie zoals productreleases, sales plays en concurrentieanalyses, biedt XGPT inzichten die relevant zijn voor specifieke rollen en situaties.
2. Dataprivacy te garanderen: XGPT maakt gebruik van Twilio's private API, waardoor data veilig blijft en niet beschikbaar is voor externe training.

We gebruiken het nu ongeveer 4-5 maanden. Momenteel beantwoorden we zo'n 15.000 vragen per maand en we zien een enorm goede stijging in de 'power users' van onze toepassingen. Dat is XGPT tot nu toe. 
- Pruthvi

XGPT's functionaliteit en impact

XGPT is een veilig en aanpasbaar platform dat:

1. Vragen beantwoordt: Het biedt antwoorden op gebruikersvragen op basis van een uitgebreide kennisbank van interne en externe documenten van Twilio.
2. Content genereert: Het helpt gebruikers bij het maken van gepersonaliseerde outreach-content en e-mails op basis van klantgesprekken.
3. GTM-efficiëntie verbetert: Het voorziet GTM-teams van direct beschikbare informatie over de producten, concurrenten en verkoopstrategieën van Twilio, wat leidt tot een hogere productiviteit en een betere klantervaring.

Technische architectuur van XGPT

XGPT is niet slechts één model, maar een suite van producten, elk afgestemd op specifieke GTM-rollen en -behoeften. Deze producten omvatten FlexGPT voor medewerkers van de klantenservice en SegGPT voor segmentatietaken.

Een aangepaste pipeline van RAG-flow verzamelt alle relevante informatie voor XGPT, inclusief publieke en private data. Deze informatie is afkomstig uit verschillende bronnen, zoals contentmanagementsystemen, interne documenten, gesprekstranscripties, Salesforce-notities en productdocumentatie.

Offline embeddings worden gebruikt voor FlexGPT en andere toepassingen, gemaakt met tools zoals Space en Chroma. Aangepaste aanpassingen zorgen voor schaalbaarheid en controle. Naast tekst begrijpt XGPT ook audio- en visuele data via multimodale embeddings. Whisper transcribeert productdemo's, terwijl een vision-model informatie haalt uit grafieken en diagrammen. Deze embeddings worden vervolgens geconverteerd naar Face-embeddings, waardoor XGPT ze in de antwoorden kan koppelen aan relevante bronnen.

De primaire LLM-verwerking wordt afgehandeld door de OpenAI API. In specifieke gevallen, zoals bij RFP's, wordt Llama gebruikt voor interpretatie. Parallelisatie- en batching-strategieën optimaliseren de verwerking en voorkomen rate limits. Een interpretatielaag filtert en contextualiseert vragen voordat ze naar de LLM worden gestuurd. XGPT biedt bij elk antwoord links naar de relevante documentatie, zodat u dieper in de materie kunt duiken.

Heroku host de applicaties, wat zorgt voor stabiliteit en prestaties. Docker-containers maken eenvoudige deployment en schaalbaarheid mogelijk. Data wordt veilig opgeslagen in Postgres. Airtable houdt vragen en feedback bij, waarmee de functionaliteit van XGPT continu wordt verbeterd. CloudWatch monitort de statistieken voor optimale prestaties.

De toekomst van XGPT en RAG-flow

Het team werkt voortdurend aan de verbetering van XGPT en de RAG-flow. Hun toekomstvisie omvat:

1. Verbeterde RAG-flow: Dit omvat het vereenvoudigen van het proces voor het maken en onderhouden van embeddings voor alle documentatie van Twilio.
2. Geautomatiseerde detectie van documentatiehiaten: XGPT kan helpen bij het identificeren van gebieden waar documentatie ontbreekt en aanvullende content voorstellen om de hiaten op te vullen.
3. Hallucinatiebeperking: Het team onderzoekt nieuwe technieken om het optreden van hallucinaties in de antwoorden van XGPT verder te verminderen.

Het gevecht tegen OpenAI Rate Limits: Engineeringtricks voor een parallelle XGPT

Twilio's XGPT, een krachtpatser voor go-to-market-teams, stuitte op een groot obstakel: de rate limits van OpenAI. Omdat vragen iteratief werden beantwoord, bereikte de initiële versie deze limieten al snel. Het roteren van API-sleutels bood een tijdelijke oplossing, maar de organisatorische rate limit van OpenAI bleek uitdagender.

Om dit probleem op te lossen, begon het team met het toepassen van OpenAI's best practices voor het vermijden van rate limits en het paralleliseren van calls. Dit bood een solide basis, maar verdere optimalisatie was nodig. Twilio's engineers bedachten ook een slimme oplossing: het strategisch batchen van API-calls om onder de radar van OpenAI te blijven. Dit omvatte het zorgvuldig groeperen van vragen met behoud van de gebruikerservaring van de toepassing. Om de efficiëntie verder te verhogen, kenden engineers strategische gewichten toe aan verschillende taken. Dit zorgde ervoor dat kritieke vragen prioriteit kregen, terwijl minder dringende verzoeken toch konden worden verwerkt.

Experimenteren met Open-Source LLM's

Hoewel zowel ChatGPT als Llama krachtige taalmodellen zijn, koos Twilio om een paar belangrijke redenen voor Llama voor hun XGPT-toepassing:

1. Kostenefficiëntie: Llama werkt tegen aanzienlijk lagere kosten dan ChatGPT, wat het een economischere keuze maakt voor een taak zoals interpretatie, die minder complexe redenering en nuance vereist.
2. Geschiktheid voor de taak: De eerste fase van XGPT omvat het interpreteren van gebruikersvragen. Llama is zeer geschikt voor deze taak, omdat het uitblinkt in het begrijpen en vertalen van de betekenis van tekst.
3. Voorkomen van Vendor Lock-in: Twilio wil voorkomen dat ze uitsluitend afhankelijk zijn van één leverancier voor hun LLM-behoeften. Door Llama naast ChatGPT te gebruiken, hebben ze een back-upoptie in geval van storingen of beleidswijzigingen bij OpenAI.

Door Llama te kiezen voor de eerste interpretatielaag, realiseerde Twilio een kosteneffectieve oplossing die voldeed aan de taakvereisten, terwijl ze hun LLM-gebruik diversifieerden en hun betrokkenheid bij de open-source community toonden.

RFP Genie: Het automatiseren van RFP-antwoorden

RFP Genie is een andere generatieve AI-tool die is ontwikkeld door het interne team van Twilio. Het automatiseert het proces van het beantwoorden van RFP's, wat een tijdrovende en saaie taak kan zijn voor GTM-teams. RFP Genie kan:

1. Belangrijke informatie extraheren: Automatisch kerninformatie en vereisten extraheren uit RFP-documenten.
2. Antwoorden genereren: Uitgebreide en nauwkeurige antwoorden genereren op elke RFP-vraag, wat GTM-teams talloze uren werk bespaart.
3. Consistentie behouden: Borgen dat alle antwoorden consistent zijn met de branding en communicatie van Twilio.

Workflow voor traditionele ML-modellen

In de inleiding hebben we kort gesproken over de traditionele ML-modellen die nog steeds worden gebruikt voor GTM bij Twilio, zoals Propensity- en Lead Generation-modellen.De workflow voor traditionele ML-modellen maakt gebruik van een krachtige combinatie van tools en technologieën:

1. Data-opslag: Klantdata wordt opgeslagen in verschillende databases, waaronder Postgres en Airtable, afhankelijk van het specifieke model.
2. Model-training: SageMaker-pipelines worden gebruikt om de ML-modellen te trainen, wat schaalbaarheid en efficiëntie garandeert.
3. Data-pipelines en notebookbeheer: Abacus biedt een gebruiksvriendelijk platform voor het beheren van data-pipelines en notebooks, wat het ontwikkelproces van modellen vereenvoudigt.
4. Deployment: Buildkite zorgt ervoor dat aan alle regelgevings- en compliancevereisten wordt voldaan voordat modellen naar productie worden uitgerold.

Lees onze eerdere blogs in de True ML Talks-serie:

^‍

MLOps en LLM-toepassingen bij Gitlab

Duik diep in MLOps-praktijken bij Gitlab, en hoe ML en LLM's verschillende use cases oplossen bij GitLab, zowel intern als voor end-to-end klanten.

TrueFoundry Blog TrueFoundry

Blijf kijken naar de TrueML YouTube-serie en lees de TrueML-blogserie.

TrueFoundry is een ML Deployment PaaS over Kubernetes om workflows van ontwikkelaars te versnellen, terwijl ze volledige flexibiliteit behouden bij het testen en deployen van modellen met gegarandeerde beveiliging en controle voor het infrateam. Via ons platform stellen we machine learning-teams in staat om modellen binnen 15 minuten te deployen en monitoren met 100% betrouwbaarheid, schaalbaarheid en de mogelijkheid om binnen enkele seconden te roll-backen - waardoor ze kosten besparen, modellen sneller naar productie brengen en echte bedrijfswaarde realiseren.