TrueFoundry: Jahresrückblick 2022

Auf Geschwindigkeit ausgelegt: ~ 10 ms Latenz, auch unter Last
Unglaublich schnelle Methode zum Erstellen, Verfolgen und Bereitstellen Ihrer Modelle!
- Verarbeitet mehr als 350 RPS auf nur 1 vCPU — kein Tuning erforderlich
- Produktionsbereit mit vollem Unternehmenssupport
31. Dezember 2022: Es ist unglaublich, wie introspektiv und aufgeregt ich mich heute fühle ❣ Vielleicht, weil Jahresende und Anfänge diese besondere Kraft haben, die unserem Leben einen Reset- und Refresh-Knopf verleiht. Doch je mehr ich darüber nachdenke, desto mehr denke ich darüber nach, dass es nichts Grundlegendes gibt, wenn ein Jahr beginnt und endet. Es ist nur ein willkürlicher, von Menschen verursachter Zyklus und im Idealfall liegt es in unserer Kontrolle, uns zu Beginn eines Monats, einer Woche, eines Tages oder einer Stunde — oder irgendwas dazwischen — erfrischt zu fühlen! Eine Erkenntnis, die ich 2023 versuchen werde umzusetzen!
Mit dem Set für 2023 möchte ich damit beginnen klatschend 👏 & bewundernd 2022 was für ein fantastisches Jahr war es für Machine Learning und MLOps! In den letzten zehn Jahren gab es einen beispiellosen Fortschritt in der KI, aber nichts hat für diese Art von Aufregung gesorgt unter gewöhnlichen Leuten wie ChatGPT hat- so sehr, dass Google erklärt hat Code rot! Außerdem hat 2022 gesehen Stabile Diffusion durch Stabilitäts-KI, Geoffrey Hintons Feedforward Training, KI-generierte Matrixmultiplikationsalgorithmen, 600 M potenzielle Proteinsynthese durch Meta AI, bnb-int8 für die meisten HuggingFace-Algorithmen, Ray-Training von 1M Modellen in Rekordzeit- so ein phänomenales Jahr!
Auf der anderen Seite hatte TrueFoundry im Jahr 2022 einen so wirkungsvollen Start — von Einstellung des ersten Ingenieurs im Team, zum Programmieren unserer Rudimentäre Streamlite-basierte Produktbenutzeroberfläche, zur Anstellung eines Weltklasse-Team, zum Bau eines Multi-Cloud-Bereitstellungsplattform für maschinelles Lernen, zur Arbeit mit mehrere Unternehmen im Wert von über 50 Mrd. USD Lösung ihrer Produktionsherausforderungen! Ich bin unglaublich stolz auf unser Team, dass es in nur einem Jahr eine so große Leistung vollbracht hat! Ich würde gerne einen Schritt zurücktreten und in Erinnerungen schwelgen ✍ an dieses wunderschöne erste Jahr für das TrueFoundry Team.
Mannschaft
Was gibt es Schöneres, als über unser Team zu sprechen. In einem Jahr sind wir gewachsen 15 Techniker und Geschäftsleute kommt aus verschiedenen Hintergründen wie Facebook, Amazon, Postman, Gojek & McKinsey. Unser Team ist verteilt auf Indien, San Francisco und Paris mit unserem ersten Büroräume in Bengaluru! Wir haben unser erstes gemacht Firmen-Retreat im November das war eine Woche Zusammensein, Ideendenken, Reflektieren und Spielen!

Adoption
Obwohl TrueFoundry befindet sich noch in einem sehr frühen Stadium seiner Reise, wir hatten das Glück Entwickeln Sie unsere Plattform gemeinsam mit großartigen Designpartnern die uns mit konkretem, umsetzbarem Feedback dazu helfen, wie verschiedene Teile unserer Plattform gestaltet werden sollten. Unsere Zusammenarbeit mit ihnen hat es uns ermöglicht, bezahlte Machbarkeitsstudien bei großen Unternehmen und Startups in der Wachstumsphase zu gewinnen. Ich bin noch nicht bereit, ihre Namen zu nennen, aber wir schätzen das Privileg, mit diesen Unternehmen zusammenzuarbeiten!
Außerdem danken wir den Startups und der Entwickler-Community, die uns mit großzügigen Beiträgen geholfen haben, indem sie unser Produkt frühzeitig angenommen haben!
Produkt
Nur eine Erinnerung für alle, Wahre Gießerei entwickelt ein PaaS, das es Entwicklern ermöglicht, ihre Machine-Learning-Modelle mit der Geschwindigkeit großer Technologieunternehmen bereitzustellen und zu überwachen und so ihre Produktionszeiten von Wochen auf Minuten zu verkürzen. In einem Jahr haben wir gebaut-
- ein Cloud-unabhängige Plattform oben auf Kubernetes das ermöglicht es den Leuten, ihre Modelle einzusetzen
- wir haben drei Benutzeroberflächen für Bereitstellungen erweitert- Python-APIs für die Produktion, YAML-Konfiguration für CI/CD, GUI zum Experimentieren
- intuitive Infrastrukturbereitstellung über eine Benutzeroberfläche, die die Entwickler unabhängig macht und es dem DevOps-Team ermöglicht, die Kosten besser zu optimieren
- wir haben gebaut Terraform-basierte Ein-Klick-Lösung um die gesamte Plattform auf allen bereitzustellen 3 große Cloud-Anbieter — AWS, GCP und Azure
- vollständig & automatische Protokollierung und Überwachung für Ihre Dienste
- Modellüberwachung, Datenüberwachung und Dashboards zur Driftverfolgung
- Komplett Verfolgen von Experimenten mit Artefaktmanagement

Finanzierung
TrueFoundry ist stolz und glücklich, die Unterstützung und das Vertrauen von namhaften Investoren wie Sequoia, Eniac und Naval Ravikant. Lesen Sie ein Techcrunch-Artikel deckt unsere Ankündigung der Startfinanzierung. Außerdem haben wir das Glück, die Unterstützung von Engeln und Beratern zu erhalten wie-
- Gründer @ Kaggle (verkauft an Google — Tony Goldbloom),
- Gründer @ Rubrik (Soham Mazumdar)
- Fonds für Bauherren (Entwickler der ML-Plattform bei Salesforce),
- CTO bei Greenhouse (Michael Boufford)
- Chefarchitekt der FBlearner-Plattform (Aditya Kalro)
- CTO/Gründer bei Productiv (Ashish Aggarwal)
- Gründer @ Whatfix (Khadim Bhatti & Vara Kumar)
- CIO @ Deutsche Bank (Dilip Khandelwal)
- CTO/Gründer @ Clear Co (Satwik Seshasai)
- CTO @ AlphaSense (Raj Neervannan)
- Herr ML Architekt @ Schneeflocke (Tal Shakhed) und
- Leiter von ML beim Link senden, Migo, Upwork
Integrationen
Bei TrueFoundry bauen wir für die Benutzer und das Ziel ist es, die Benutzer dort zu treffen, wo sie sind. Aus diesem Grund haben wir verschiedene Tools, Bibliotheken, Frameworks und Plattformen analysiert, die intensiv genutzt werden, und Integrationen mit vielen der beliebtesten entwickelt.
- Bibliotheken für maschinelles Lernen- tensorflow, pytorch, sklearn, xgboost, huggingface, lightgbm, mlflow usw.
- Frameworks für die Modellbereitstellung: TFServe, TorchServe
- Cloud-Anbieter: AWS, GCP, Azure
- Codeversionierung: GitHub, BitBucket
- CI/CD: Github-Aktionen
- Docker-Register: DockerHub, AWS-Container-Registrierung, Google-Container-Registrierung
- Geheime Verwaltung: AWS-Parameterspeicher, Google Secrets Manager
- Tools für das Dashboarding: Gradio, StreamLit
- Kubernetes
Veranstaltungen und Gemeinschaft
Wir haben zwar gerade erst damit angefangen, aber einige wunderbare Updates hier beinhalten-
- Abhishek sprach in der 1729. Welt Veranstaltung von Fractal und Analytics Vidhya zusammen mit Rednern wie Rajat Monga (Gründer von TensorFlow), Serenivas (Gründer von Fractal). Hier ist der Link zur Präsentation.
- Nikunj präsentiert bei TechCrunch Disrupt 2022 — Startup Battlefieldd
- Außerdem haben wir einen aktiven Slack-Community. Bitte mach mit!
- Dutzende von Menschen aus der Community haben zu TrueFoundry beigetragen und die wichtigsten Projekte sind hier erhältlich.
- Zu unseren beliebtesten Inhalten gehören- Die Zeit hat mein ML-Modell getötet, Ein wirkungsvolles ML-Modell — wie schwierig kann es sein?, Kubernetes für Datenwissenschaftler — Prognosen hosten
Reflexionen
Während wir uns an dieses großartige Jahr erinnern, sind wir als Gründer auch einen Schritt zurückgetreten, um darüber nachzudenken und darüber nachzudenken, was gut gelaufen ist und was nicht so gut gelaufen ist. Wir teilen unsere Erkenntnisse, Fehlschläge und Erfolge mit Ihnen allen-
Erkenntnisse
- Der traditionelle Ansatz von Zusammenarbeit mit Designpartnern bevor das Produkt gebaut ist, funktioniert es nicht gut, wenn Sie Entwicklung eines Devtools, das sich mit der Produktionsinfrastruktur befasst. Wir haben die ersten 3—4 Monate damit verbracht.
- Wenn ein Die Herstellung eines Infrastrukturprodukts nimmt X Zeit in Anspruch, das Testen und die Veröffentlichung dauert doppelt so lange. Die Komplexität zu unterschätzen war ein Fehler unsererseits, der die Zeitpläne für die Produktveröffentlichung zum Scheitern brachte.
- Arbeiten Sie nicht mit Unternehmen zusammen, die weit von Ihrem Zielmarkt entfernt sind, um die Einführung zu erleichtern. Wir haben einige Monate mit kleineren Unternehmen zusammengearbeitet, während unser Produkt für gehobene Unternehmen und Unternehmen bestimmt ist. Im Nachhinein betrachtet war das ein Anfängerfehler.
Fehlschläge
Wir haben bei unserer Ausführung ein paar Fehler gemacht, die wir korrigieren müssen:
- Wir haben viel Zeit damit verbracht, mit Entscheidungsträgern in Unternehmen zu sprechen und ihr Feedback zum Produkt einzuholen, aber letztendlich sind die Nutzer unserer Plattform Entwickler. Wir Sie müssen einen stärkeren Kanal aufbauen, um mit Entwicklern in Kontakt zu bleiben!
- Als Unternehmen sind wir hat nicht genug Zeit damit verbracht, unsere Plattform zu evangelisieren, Teilnahme an Konferenzen, Vorträge halten und Teilnahme an Gemeinschaftsveranstaltungen.
- Es versteht sich, dass unsere Produktreise lang ist. Wir haben es nicht großartig gemacht Aufgabe bei der Aufschlüsselung in veröffentlichbare Meilensteine. Auf diese Weise bleiben unsere Benutzer besser mit dem Produkt in Verbindung.
Erfolge
- Wir haben ein sehr hochwertiges Team mit großer Geschwindigkeit aufgebaut. Im wahrsten Sinne des Wortes glaubt jedes Mitglied unseres Teams, einschließlich der Gründer, dass dies das Team mit der höchsten Talentdichte ist, mit dem sie je zusammengearbeitet haben, obwohl sie mit sehr leistungsstarken Teams zusammengearbeitet haben.
- Wir sind stolz auf die Qualität des Produkts und die Geschwindigkeit der Ausführung. Wir sprechen darüber auf der Grundlage unserer persönlichen Erfahrungen und der Informationen, die wir von unseren Kunden hören.
- Exzellenter Kundensupport und Reaktionszeit- fast jede Nachricht unserer Kunden wurde innerhalb weniger Minuten beantwortet!
Das kommende Jahr 2023
Obwohl 2022 ein unterhaltsames Gründungsjahr für die TrueFoundry-Plattform war, wird 2023 noch aufregender — da die Plattform an mehr Benutzer ausgeliefert wird und wir uns darauf vorbereiten, die private Betaversion zu beenden. Wir begrüßen 2023 mit der Begeisterung eines Kindes, das ein neues Schuljahr begrüßt. Wir freuen uns, auch im Jahr 2023 innovativ zu sein, zu bauen, zu lernen und zu wachsen und einen positiven Einfluss auf die Welt auszuüben, indem wir KI für alle zugänglich machen.
Ich wünsche euch allen ein frohes neues Jahr! Von Nikunj, Anuraag, Abhishek und dem gesamten TrueFoundry-Team.
Wahre Gießerei ist ein ML Deployment PaaS über Kubernetes, um die Workflows von Entwicklern zu beschleunigen und ihnen gleichzeitig volle Flexibilität beim Testen und Bereitstellen von Modellen zu bieten und gleichzeitig die volle Sicherheit und Kontrolle für das Infra-Team zu gewährleisten. Über unsere Plattform ermöglichen wir Teams für maschinelles Lernen bereitstellen und überwachen Modelle innerhalb von 15 Minuten mit 100% iger Zuverlässigkeit, Skalierbarkeit und der Möglichkeit, innerhalb von Sekunden rückgängig zu machen. So können sie Kosten sparen und Modelle schneller für die Produktion freigeben, wodurch ein echter Geschäftswert erzielt wird.
TrueFoundry AI Gateway bietet eine Latenz von ~3—4 ms, verarbeitet mehr als 350 RPS auf einer vCPU, skaliert problemlos horizontal und ist produktionsbereit, während LiteLM unter einer hohen Latenz leidet, mit moderaten RPS zu kämpfen hat, keine integrierte Skalierung hat und sich am besten für leichte Workloads oder Prototyp-Workloads eignet.
Der schnellste Weg, deine KI zu entwickeln, zu steuern und zu skalieren











.png)




.png)






.webp)

.webp)



