Innovationen freisetzen: Highlights aus dem internen Hackathon von TrueFoundry

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport

Bei TrueFoundry widmen wir uns der Entwicklung einer integrierten Plattformlösung, die Data Scientists in die Lage versetzt, ihre ML/LLM-Modelle mühelos zu experimentieren, zu versionieren, zu feintunen und zu deployen. Neben unseren kundenorientierten Bestrebungen glauben wir fest daran, eine Kultur der Innovation zu fördern und unserem Team die Möglichkeit zu geben, ihre Ideen über ihre regulären Rollen hinaus zu erkunden. Deshalb nehmen unsere internen Hackathons einen ganz besonderen Platz in unseren Herzen ein.
Essenz eines internen Hackathons
Ein interner Hackathon ist nicht nur ein Event; es ist eine einzigartige Gelegenheit, sich von den Zwängen der alltäglichen Routinen zu befreien und kopfüber in eine kreative Reise einzutauchen. Er bringt unsere Remote-Teammitglieder physisch zusammen und fördert die Zusammenarbeit, den Teamgeist und teambübergreifende Verbindungen, die in unserer virtuellen Arbeitsumgebung nicht immer möglich sind.
Unser Weg mit Generativer AI
Am 23. Juni haben wir uns auf unseren zweiten internen Hackathon begeben, und es war ein wirklich unvergessliches Erlebnis. Als Veranstaltungsort haben wir sorgfältig eine atemberaubende Villa in Bangalore ausgewählt, Indiens lebendiger Startup-Hauptstadt. Drei aufregende Tage lang sind wir in eine Umgebung eingetaucht, die von Begeisterung, Zusammenarbeit und dem gemeinsamen Streben nach Innovation geprägt war. Der Hackathon bot die perfekte Mischung aus Arbeit und Vergnügen, sodass wir uns mit Kollegen austauschen und neue Wege der Zusammenarbeit erkunden konnten.
Der Ablauf des Hackathons
Der Hackathon startete an einem Freitagmorgen nach einem köstlichen südindischen Frühstück. In den ersten zwei Stunden widmeteten wir uns Brainstorming-Sessions und bildeten Teams von zwei oder drei Mitgliedern, bestehend aus Personen mit technischer und nicht-technischer Expertise. Nachdem unsere Teams und Problemstellungen feststanden, begann die Uhr für einen 24-stündigen Hackathon zu ticken. Während die Stunden verflogen, tauchten unsere Teams tief in ihre Projekte ein, brainstormten, codeten und arbeiteten unermüdlich zusammen. Es war eine Achterbahn der Gefühle, voller aufregender Durchbrüche, intensiver Coding-Sessions und gemeinsamer Problemlösung. Trotz der Intensität bot der Hackathon auch reichlich Gelegenheiten zur Entspannung und Stärkung des Teamgeists – mit köstlichen Mahlzeiten, spontanen Team-Huddles und lebhaften Diskussionen, die über den Rahmen der Arbeit hinausgingen.

Präsentation der Projekte
Am Ende des Hackathons präsentierten die Teams ihre Projekte live, und alle teilnehmenden Mitglieder hatten die Möglichkeit, zuzuschauen und für das beste Projekt abzustimmen. Die Präsentationen waren inspirierend und demonstrierten das immense Talent und die Hingabe unserer Teammitglieder. Wir staunten über den Einfallsreichtum hinter jedem Projekt und feierten die Vielfalt der Ideen und Ansätze. Die Feier nach dem Hackathon verlieh dem Ganzen eine wunderbare Note: Partys und Teamaktivitäten machten es zu einem wirklich unvergesslichen Erlebnis.

Projekte, die Grenzen verschoben haben
Der Hackathon erwies sich als Nährboden für bemerkenswerte Projekte, die das Potenzial haben, die Zukunft von TrueFoundry zu gestalten. Lassen Sie uns einige der Highlights erkunden:
Echtzeit-Entwicklung einfach machen
Das TFExecutor-Team lieferte einen POC, der Shell-Zugriff auf Kubernetes Pods einführte und es Data Scientists ermöglichte, Echtzeit-Änderungen an deployed ML/LLM-Code vorzunehmen. Darüber hinaus entwickelten sie ein Codespace-Feature für eine verbesserte Zusammenarbeit und Entwicklung. Nach der erfolgreichen Demo haben wir beschlossen, Codespace für unsere Nutzer freizugeben und das Projekt für den Kubernetes-Pod-Shell-Zugriff weiterzuentwickeln.

Lesen Sie mehr über Kubernetes für Data Scientists
Verbesserung der Interaktionsmetriken der Website
Um das Problem niedriger Inbound-Leads trotz eines 800%igen Anstiegs des Website-Traffics anzugehen, analysierte unser Product-Design-Team Klickraten und Screen-Time. Ihre Erkenntnisse führten zu einem überarbeiteten Website-Design, das auf dem Prinzip von AIDA basiert. Wir haben beschlossen, diese Änderungen umzusetzen, um unsere Inbound-Leads zu verbessern.

Optimierung des Platform-Onboardings
Seit dem Start unserer Public-Cloud-Version Anfang Juni haben sich über 30 Organisationen registriert. Viele Teams standen jedoch vor Herausforderungen, wenn es darum ging, Kubernetes-Cluster für die Verbindung mit TrueFoundry zu starten. Das Team TrueMakkhan entwickelte einen POC unter Verwendung von CIVO, einem automatisch bereitgestellten Test-Cluster, um den Onboarding-Prozess zu optimieren. Die Demo stieß auf Begeisterung, und wir arbeiten nun an einer produktionsreifen Lösung für ein problemloses Onboarding-Erlebnis.

Vereinfachung von Modelltests mit der LLM Playground
LLM-Technologien (Large Language Model) haben stark an Popularität gewonnen, und TrueFoundry macht es Unternehmen leichter, diese zu nutzen. Das Team Underdogs hat eine MVP-LLM-Playground entwickelt, die verschiedene Modelle umfasst, darunter solche von OpenAI, Replicate, Hugging Face sowie intern feingetunte Modelle. Das Dashboard, das mit dem OAuth von TrueFoundry geschützt ist, ermöglicht es Organisations-Admins, die Verfügbarkeit von Modellen zu steuern und zentrale API-Keys für kostenpflichtige LLM-Anbieter festzulegen. Diese Integration wurde veröffentlicht und bietet unseren Nutzern ein nahtloses Erlebnis.

Testen Sie die LLM Playground
Eintritt in die LLMOps-Community
Bei Hackathons geht es nicht nur um technische Innovationen; sie bieten auch Gelegenheiten, die Community zu fördern und eine starke Unternehmenskultur aufzubauen. Das Team Sleep Deprived führte eine umfassende Analyse der Präsenz von TrueFoundry auf verschiedenen Plattformen durch und arbeitete einen detaillierten Plan aus, um unsere Reichweite als ML-Plattform zu vergrößern. Zu ihren Initiativen gehören SEO-Optimierung, Einträge in beliebten GitHub-Repositories und ML-Tool-Plattformen, der Austausch mit Fachexperten für unseren Podcast TrueMLTalks sowie die Erstellung fundierter Blogs und E-Books. Diese Bemühungen stellen sicher, dass TrueFoundry innerhalb der ML-Community anerkannt und geschätzt wird.
Sehen Sie auch, wie TrueFoundry Ihnen LLMOps erleichtert: Die 360.000-Dollar-Frage zur Ökonomie von Large Language Models, TrueFoundry deployt und feintunt Open-Source-LLMs jetzt mit wenigen Klicks!
Automatisierte Web-Scraping-Lösungen
Unser Vertriebsteam verbrachte früher wertvolle Zeit damit, auf LinkedIn, GitHub und Slack-Kanälen nach relevanten Leads zu suchen. Das Team SkyScrapper nahm die Herausforderung an, diesen Prozess zu automatisieren, und entwickelte Web-Scraping-Skripte, die Daten basierend auf zielgerichteten Keywords von verschiedenen Plattformen extrahierten. Ihre Lösung sparte nicht nur Zeit, sondern stellte auch einen konsistenten und effizienten Lead-Generierungsprozess für unser Vertriebsteam sicher.

Kostenoptimierung mit CostGPT
Um Organisationen dabei zu helfen, Infrastrukturkosten durch die Einhaltung von Best Practices zu senken, hat das Team CostGPT ein prägnantes Google-Formular erstellt, das Einblicke und Empfehlungen liefert. Durch die Befragung mehrerer Unternehmen generierten sie wertvolle Leads und trugen zu Kostensenkungsmaßnahmen bei.

Erfahren Sie, wie Neurobit 60 % seiner Infrastrukturkosten spart
Der Test ist live und Sie können ihn hier absolvieren.
Automatisierte Tests für Plattformstabilität
Tests sind entscheidend, um die beste Produktwerterfahrung zu liefern. Das Team End2End entwickelte Skripte zur Automatisierung von End-to-End-Tests unserer Plattform über verschiedene Cloud-Anbieter und On-Premises-Installationen hinweg. Durch die Automatisierung dieses komplexen und zeitaufwendigen Prozesses können wir die Arbeitsbelastung unseres Engineering-Teams reduzieren und das Risiko von Setup-Problemen minimieren.

Interaktives Infrastruktur-Setup
Das Team InfraRanger entwickelte eine interaktive Streamlit-App, um das Infrastruktur-Setup und den gesamten Onboarding-Prozess zu vereinfachen. Die Anwendung generiert die erforderlichen Terraform-Konfigurationen basierend auf Benutzereingaben und ermöglicht so die Bereitstellung der kompletten Infrastruktur mit nur einem Klick. Dieses intuitive Tool macht die Installation mehrerer CLI-Tools wie kubectl, AWS, GCP, Azure und Terragrunt überflüssig.

Kultivierung der Kultur von TrueFoundry
Bei TrueFoundry sind unsere Mitarbeiter und unsere Kultur das Herzstück unseres Unternehmens. Das Team TrueCulture erkannte die Bedeutung der Pflege einer starken und zusammenhaltenden Kultur innerhalb unserer Organisation. Sie entwickelten einen umfassenden Dreimonatsplan mit verschiedenen Aktivitäten, um eine positive Arbeitskultur zu gestalten und unser Team der Welt zu präsentieren. Zu diesen Aktivitäten gehören der Aufbau ansprechender LinkedIn-Profile, das Teilen informeller Beiträge über Teamaktivitäten und die Teilnahme an Konferenzen. Indem wir in unsere Kultur investieren, stärken wir unsere Marke und schaffen ein Umfeld, das Top-Talente anzieht.

Fazit
Der interne Hackathon war ein Beweis für das unglaubliche Talent, die Hingabe und das Teamwork, die TrueFoundry auszeichnen. Wir haben gemeinsam Herausforderungen gemeistert, Lösungen erarbeitet und neue Bindungen geknüpft. Während einige Projekte bereits umgesetzt wurden, befinden sich andere noch in Arbeit und treiben uns auf unserer Mission voran, die beste ML-Plattform mit einer unvergleichlichen User Experience zu bauen. Über die beruflichen Erfolge hinaus war der Hackathon eine Gelegenheit, sich auf persönlicher Ebene zu verbinden und bleibende Erinnerungen zu schaffen. Von großartigen Hauspartys über Spiele, späte Jam-Sessions bis hin zu Filmabenden zeigte das Event den wahren Geist des Zusammenhalts.
Begleiten Sie uns auf unserer Reise
Während wir weiterhin die Zukunft von ML-Plattformen gestalten, laden wir Sie ein, sich unserer Reise anzuschließen. Egal, ob Sie daran interessiert sind, unser Produkt auszuprobieren oder Teil unseres Teams zu werden – wir heißen Sie bei TrueFoundry herzlich willkommen. Gemeinsam werden wir das volle Potenzial von ML freisetzen und die Art und Weise revolutionieren, wie Data Scientists ihre Modelle deployen.

Durch die Förderung einer Kultur der Innovation und das Gewähren von Freiräumen zur Erkundung bleibt TrueFoundry bestrebt, Grenzen zu verschieben, außergewöhnliche Lösungen zu liefern und einen bedeutenden Einfluss in der Welt des Machine Learnings zu nehmen.
Registrieren Sie sich noch heute oder werden Sie Teil unseres Teams, um an der TrueFoundry-Revolution teilzuhaben. Lassen Sie uns gemeinsam Innovationen freisetzen!
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.














%20(28).webp)



.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






