Open Source LLMs: Omarm ze of ga ten onder

We spreken met veel bedrijven en zakelijke leiders die hun strategie proberen te bepalen voor het gebruik van LLMs in dit tijdperk van AI - moeten we kiezen voor OpenAI of OpenSource LLMs? Er zijn veel goede blogs die de voor- en nadelen van verschillende benaderingen met een neutrale blik laten zien. Wij hebben hier een duidelijke mening over-

1. Als u denkt dat LLMs cruciaal gaan zijn voor uw bedrijf, moet u investeren in het gebruik van Open Source LLMs, op uw eigen infra- en wel gisteren!!!
2. Als u denkt dat LLMs niet cruciaal gaan zijn voor uw bedrijf, denk dan nog eens goed na. Als u nog steeds hetzelfde antwoord krijgt- denk dan nog één keer na. Daarna heeft u misschien gelijk en kunt u gewoon OpenAI of andere commerciële LLMs gebruiken voor enkele snelle use-cases die u wilt oplossen.

Uiteraard, als uw bedrijf, technologische DNA & schaal het pre-trainen van LLMs vanaf nul vereisen, investeer daar dan in. Maar de meeste bedrijven vallen niet in deze categorie- en daarom hebben we één duidelijk advies-

Uw laatste kans om in de AI Game te blijven is om nu Open Source LLMs te omarmen en ze op uw eigen infrastructuur te draaien!

Het belang van Open Source LLMs

Wij geloven dat bedrijven die investeren in open source LLMs en deze intern benutten, gaan profiteren van verbeterde databeveiliging, grotere controle over hun technologie en snellere iteratietijden. Maar degenen die deze trend negeren, lopen het risico achter te blijven en te verliezen van concurrenten die al zijn begonnen met het opbouwen van hun AI-kracht met behulp van kleinere, efficiëntere modellen. Laten we hier dieper op ingaan-

Databeveiliging & Concurrentievoordeel

De meeste bedrijven zitten vast in interne discussies over het opstellen van beleid voor databeveiliging- welke data mag naar commerciële LLM-providers worden gestuurd? Waar overschrijd ik een compliance-grens versus waar verlies ik mijn concurrentievoordeel? Ja, u kunt voorkomen dat OpenAI uw chatdata rechtstreeks gebruikt voor fine-tuning, maar op een dag zal een ontwikkelaar deze fout maken.

Terwijl dit op grote schaal gebeurt, boeken wendbare concurrenten al vooruitgang met Open Source LLMs en winnen ze het vertrouwen van hun klanten. Ze lanceren snel functies, leren snel en bouwen tegelijkertijd aan een duurzaam concurrentievoordeel voor de lange termijn met behulp van Open source LLMs.

Itereren om te verbeteren

Velen, waaronder Google, verwachten dat kleinere, fine-tuned open source-modellen het gaan winnen van grote, generieke, statische zeer grote modellen. Dit is intuïtief omdat het bijna onmogelijk is om te itereren op zeer grote taalmodellen. U krijgt één kans, anders vermenigvuldigen uw kosten en iteratietijd zich.

De teams die zijn begonnen met het opbouwen van deze vaardigheid hebben een enorm strategisch voordeel, omdat dit hen in staat stelt snel te itereren en te verbeteren met behulp van kleine modellen tegen een fractie van de kosten van grote modellen! Als deze voorsprong eenmaal is opgebouwd, is die heel moeilijk in te halen, omdat een small language model snellere en kostenefficiëntere iteraties ondersteunt.

Uw eigen toekomst bepalen

Het aanroepen van OpenAI API's is eenvoudig, maar er zijn zorgen over latency & uptime. Dit zal in de loop van de tijd waarschijnlijk verbeteren, maar wat als ze besluiten veel meer te vragen voor garanties op de latency? Wat als het hosten van fine-tuned modellen niet past in hun bedrijfsmodel voor de lange termijn en ze besluiten er helemaal mee te stoppen?

Bijdragen van de community

Zeker zeer grote taalmodellen ontwikkelen zich op de snelheid waarmee de tientallen of honderden mensen bij OpenAI / Google bijdragen kunnen leveren, terwijl ze de behoeften van miljoenen prioriteren. Aan de andere kant bouwt de gehele community van open source-ontwikkelaars in hoog tempo aan vele versies van kleinere modellen — sommige met low-rank optimalisaties, sommige die op mobiele apparaten draaien, sommige die gepersonaliseerd kunnen worden, sommige die groter en instruction-tuned zijn. Er is letterlijk geen grens aan deze innovatie en personalisatie. U kunt kiezen welk model het beste werkt voor welke use-case van u.

Daarnaast is er het inherente voordeel dat u snel en goedkoop kunt handelen als u meerdere kleinere modellen gebruikt die specifiek zijn voor een bepaalde taak. In productie vereist dit vaak een LLM router die elke aanvraag naar het meest geschikte model kan sturen op basis van kosten, latency of taakcomplexiteit. Dit is ook de architectonische richting achter moderne LLM agents, waarbij kleinere gespecialiseerde modellen samenwerken over taken heen in plaats van te vertrouwen op één enkel model voor algemeen gebruik.

Waarom gebruikt niet iedereen Open Source LLMs?

Zo'n sterk advies roept de vraag op: als het zo belangrijk is, waarom doet niet iedereen het dan? Om te beginnen investeert een toenemend aantal mensen al steeds meer tijd en middelen in het begrijpen van het landschap en het bouwen op basis van open source LLMs. Dus het axioma dat niet iedereen het doet, wordt met de dag onjuister :) Maar er zijn enkele inherente uitdagingen verbonden aan het gebruik van Open Source LLMs en het draaien ervan op uw eigen infra, vergeleken met het gebruik van hun commerciële tegenhangers-

Gebrek aan technische expertise

De meeste teams beschikken vandaag de dag niet over de veelzijdige expertise om large language models intern te fine-tunen en te hosten. Slimme mensen kunnen het uiteindelijk altijd wel uitvogelen, maar het gelijktijdig doorgronden van deze ingewikkelde modellering & infra, terwijl er elke dag nieuwe tools en modellen worden uitgebracht, is gewoon moeilijk en tijdrovend.

Gebruiksvoorwaarden

Veel technische en zakelijke leiders zijn in de war over welke LLM, dataset of library commercieel gebruikt mag worden en welke niet. Dit is precies waarom het begrijpen van LLM licenses cruciaal is geworden, omdat licentievoorwaarden vaak bepalen of een model legaal van de experimenteerfase naar productie kan overstappen. Bijvoorbeeld Vicuna, dat onder een Apache 2.0-licentie lijkt te vallen, is getraind op Llama dat niet commercieel beschikbaar is. Dit maakt het onmogelijk om te gebruiken en het is verre van triviaal om te beseffen dat dit een schending zou kunnen zijn. Bekijk de details die we hierover schreven in een eerdere blog hier.

Geheugen- en tijdsbeperkingen

De meeste large language models van redelijke omvang (13B+ parameters) passen niet of kunnen niet worden fine-tuned op algemeen beschikbare GPU's vanwege geheugenbeperkingen. Als u besluit het geheugen te optimaliseren, wat niet eenvoudig is, gaat dit ten koste van uw trainingstijd. Er zijn veel technieken rond gradient management, low-rank approximation, mix-precision serving, geaccelereerde training & deployment, en modelspecifieke optimalisaties met behulp van verschillende libraries- dit alles is moeilijk snel te leren & te implementeren. Hierdoor gooien teams maar hardware naar het probleem en moeten ze de GPU's bij elke succesvolle run handmatig in de gaten houden.

GPU-beschikbaarheid & -beheer

Cloudproviders vereisen GPU-quota die vaak beperkt en duur zijn en vaak worden geleverd in batches van 8 GPU-kaarten, wat vanuit een kostenoogpunt suboptimaal kan zijn. De meeste teams zijn niet vertrouwd met het verdelen van een model over meerdere GPU's omdat ze niet op één GPU passen, en met het optimaal laten draaien daarvan.

Bovendien is er altijd de druk om dingen snel te doen, omdat bedrijven bezorgd zijn dat als ze niet snel genoeg hun eigen LLM-aankondiging doen, hun concurrentie het voordeel van de eerste mover kan behalen en hun klanten kan impresseren. Als kanttekening: deze zorg is niet ongegrond, want we hebben het zien gebeuren bij een reeks klanten waarmee we spreken.

Wat doet TrueFoundry hieraan?

Bij TrueFoundry vormen sommige van deze problemen de kern van wat we oplossen. Ons platform is ontworpen om op uw eigen infra te draaien, wat zorgt voor een volledige databeveiliging. We bouwen waardevolle abstracties waarmee we onnodige complexiteit van de infrastructuur verbergen, terwijl de controle in handen van de ontwikkelaar blijft. Als een snel veranderend domein vereisen AI en LLMs voortdurend leren en aanpassen. Het team van TrueFoundry zet zich in om u door dit landschap te navigeren via ons product, begeleiding, suggesties en oplossingen op maat.

Investeren in open source LLMs en deze intern gebruiken is een strategische zet die uw bedrijf helpt voorop te blijven lopen. TrueFoundry kan helpen uw AI-initiatieven te versnellen en een concurrentievoordeel te behouden in een voortdurend veranderend landschap. Blijf niet achter — omarm open source LLMs en stel uw plaats in de voorhoede van AI-innovatie veilig.