TrueFoundry: 2022年 年末レビュー

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
2022年12月31日「今日は、こんなにも内省的で、そしてワクワクした気持ちになっていることに驚いています❣ おそらく、年の終わりと始まりには、私たちの人生にリセットとリフレッシュのボタンを与えてくれる特別な力があるからでしょう。しかし、よく考えてみると、年の始まりと終わりに根本的な意味があるわけではないと気づきます。それは単なる人間が作った恣意的なサイクルであり、理想的には、私たちは月の始まり、週の始まり、日の始まり、時間の始まり、あるいはその間のどんな瞬間でも、リフレッシュした気持ちになることができるはずです!これは2023年に持ち越したい学びの一つです!
2023年に向けてそう決めたところで、まずは 拍手を送り 👏 そして2022年を称えたいと思います。 機械学習とMLOpsにとって、なんと素晴らしい一年だったことでしょう!過去10年間でAIは前例のない進歩を遂げましたが、これほどまでの興奮を生み出したものはありませんでした。 一般の人々の間でChatGPTほど がそうであったように。その結果、Googleは コードレッドを宣言しました!さらに、2022年には Stability AIのStable Diffusion、 Geoffrey Hintonのフィードフォワード学習、 AIが生成した行列乗算アルゴリズム、 Meta AIによる6億の潜在的なタンパク質合成、 ほとんどのHuggingFaceアルゴリズム向けbnb-int8、 Rayによる100万モデルの記録的な速さでの学習- 素晴らしい一年でした!
一方、2022年のTrueFoundryは、非常に大きな影響力のあるスタートを切りました。 最初のエンジニアの採用 チームへの参加、そして私たちの 初歩的なStreamlitベースのプロダクトUIのコーディング、そして 世界レベルのチームの採用、そして マルチクラウド機械学習デプロイメントプラットフォームの構築、そして 複数の500億ドル以上の企業との協業 彼らの本番環境での課題を解決するまで!わずか1年でこれほど大きな偉業を達成したチームを心から誇りに思います!少し立ち止まって、TrueFoundryチームにとってこの素晴らしい最初の1年を振り返りたいと思います✍。
チーム
まずはチームについて語ることから始めましょう。1年間で、私たちは 15人の技術者とビジネス担当者 など、さまざまなバックグラウンドを持つ人々からなるチームに成長しました。 Facebook, Amazon, Postman, Gojek & McKinsey。当社のチームは、 インド、サンフランシスコ、パリ に分散しており、初の バンガロールにオフィスを構えました!今年の11月には、初めての 社員旅行を行いました 。1週間にわたり、皆で寝食を共にし、アイデアを出し合い、振り返り、そして遊びました!

導入状況
TrueFoundryはまだ始まったばかりですが、 TrueFoundryはまだ始まったばかりですが、幸運にも 素晴らしいデザインパートナーの皆様とプラットフォームを共同開発する機会に恵まれました 彼らは、プラットフォームの各部分をどのように設計すべきかについて、具体的で実用的なフィードバックを提供してくださっています。彼らとの協業により、大企業や成長段階のスタートアップ企業との有償PoC(概念実証)を獲得することができました。現時点ではまだ社名を公表できませんが、これらの企業とご一緒できることを大変光栄に思っています!
さらに、当社の製品を早期に導入してくださり、惜しみないご意見をいただいたスタートアップ企業や開発者コミュニティの皆様にも感謝申し上げます!
プロダクト
皆様に改めてお知らせしますと、 TrueFoundry は、開発者が大手テクノロジー企業並みのスピードで機械学習モデルをデプロイ・監視できるようにするPaaSを開発しており、本番環境への導入期間を数週間から数分に短縮します。この1年間で、私たちは以下のものを構築しました。
- クラウドに依存しないプラットフォーム を基盤とした Kubernetes モデルをデプロイできる
- デプロイ用に3つのユーザーインターフェースを提供しています。 Python API 本番環境向け、 CI/CD用のYAML設定 [SEG 10] 、GUI [SEG 12] 実験用 直感的なインフラプロビジョニング 単一のUIから、開発者が独立して作業でき、DevOpsチームがコストをより最適化できるようにします。
- 構築しました Terraformベースのワンクリックソリューション
- プラットフォーム全体をすべての 主要な3つのクラウドプロバイダー(AWS、GCP、Azure)にデプロイするための 完全な 自動化されたロギングとモニタリング
- サービス
- モデル監視、 データ監視 および ドリフト追跡ダッシュボード
- 包括的な 実験追跡 アーティファクト管理機能付き

資金調達
TrueFoundryは、セコイア、エニアック、ナヴァル・ラヴィカントといった著名な投資家の方々からご支援と信頼をいただき、大変光栄に思っております。 セコイア、エニアック、ナヴァル・ラヴィカント。弊社の TechCrunchの記事 では、弊社の シード資金調達の発表について報じられています。さらに、以下のようなエンジェル投資家やアドバイザーの方々からもご支援をいただいております。
- 創業者 @ Kaggle (〜に売却) Google — Anthony Goldbloom),
- 創業者 @ Rubrik (Soham Mazumdar)
- Builders Fund (SalesforceのMLプラットフォーム開発者),
- GreenhouseのCTO (Mike Boufford)
- FBLearnerプラットフォームのチーフアーキテクト (Aditya Kalro)
- ProductivのCTO兼創業者 (アシーシュ・アグラワル)
- Whatfix 共同創業者 (カディム・バッティ と ヴァラ・クマール)
- ドイツ銀行 CIO ドイツ銀行 (ディリップ・カンデルワル)
- ClearCo CTO兼創業者 ClearCo (サトウィック・セシャサイ)
- CTOの AlphaSense (Raj Neervannan)
- シニアMLアーキテクトの SnowFlake (Tal Shakhed)と
- ML責任者 の SentiLink、 Migo、 Upwork
連携
TrueFoundryでは、ユーザーのために開発を進め、ユーザーが今いる場所で彼らに寄り添うことを目標としています。このため、広く利用されている様々なツール、ライブラリ、フレームワーク、プラットフォームを分析し、その多くと連携機能を構築しました。
- 機械学習ライブラリ- tensorflow、pytorch、sklearn、xgboost、huggingface、lightgbm、mlflowなど
- モデルサービングフレームワーク: TFServe、TorchServe
- クラウドプロバイダー: AWS、GCP、Azure
- コードバージョン管理: GitHub、BitBucket
- CI/CD: Github Actions
- Dockerレジストリ: DockerHub、AWS Container Registry、Google Container Registry
- シークレット管理: AWS Parameter Store、Google Secrets Manager
- ダッシュボードツール: Gradio、StreamLit
- Kubernetes
イベントとコミュニティ
この分野ではまだ始まったばかりですが、いくつかの素晴らしい最新情報をご紹介します。
- Abhishek は、 1729.world イベント(FractalとAnalytics Vidhya共催)で、Rajat Monga氏のような講演者とともに登壇しました。 (TensorFlowの創設者)、Sreenivas氏 (Fractalの創設者)。こちらが プレゼンテーションへのリンクです。
- Nikunj は、 TechCrunch Disrupt 2022- startup BattleField
- で発表しました。また、活発な Slackコミュニティがあります。. ぜひご参加ください!
- コミュニティから数十人もの方々がTrueFoundryに貢献してくださり、主要なプロジェクトは こちらでご覧いただけます。
- 特に人気のコンテンツには、以下のようなものがあります。 時間とともにMLモデルが使えなくなった、 影響力のあるMLモデル — どれほど難しいことだろうか?、 データサイエンティストのためのKubernetes — 予測のホスティング
振り返り
この素晴らしい一年を振り返る中で、私たち創業者一同は、何がうまくいき、何がうまくいかなかったのかを考え、反省しました。私たちの学び、失敗、そして達成したことを皆さんと共有します。
学び
- 従来の デザインパートナーとの協業というアプローチは、 製品が完成する前ではうまくいきません。特に、 本番環境のインフラストラクチャを扱う開発ツールを構築している場合は。最初の3〜4ヶ月間をこれに費やしました。
- もし インフラ製品の構築にXの時間がかかるなら、テストとリリースにはその2倍の時間がかかります。. 複雑さを見誤ったのは我々のミスであり、それが製品リリーススケジュールを狂わせました。
- 導入のしやすさだけを理由に、ターゲット市場からかけ離れた企業とデザインパートナーシップを結ぶべきではありません. 当社の製品は上位市場や大企業向けであるにもかかわらず、数ヶ月間、中小企業と協力して作業しました。振り返ってみると、これは初歩的なミスでした。
反省点
実行においていくつかのミスを犯したため、軌道修正が必要です。
- 企業内の意思決定者と多くの時間を費やし、製品に関するフィードバックを得ましたが、最終的に当社のプラットフォームのユーザーは開発者です。当社は 開発者とのつながりを維持するための、より強力なチャネルを構築する必要があります!
- 企業として、当社は プラットフォームの普及活動、 カンファレンスへの参加、 講演活動 、そして コミュニティイベントへの参加に十分な時間を費やしませんでした。
- 当社の製品開発の道のりが長いことは理解しています。しかし、 リリース可能なマイルストーンへの細分化がうまくできませんでした。. これを行うことで、ユーザーは製品とのつながりをより強く感じられるようになるでしょう。
実績
- 私たちは非常に質の高いチームを迅速に構築しました。文字通り、創業者を含むチームの全メンバーは、これまで非常に優秀なチームと仕事をしてきたにもかかわらず、このチームが最も才能が凝縮されたチームだと信じています。
- 私たちは 製品の品質と実行の速さに誇りを持っています。これは、私たち自身の経験とお客様から伺う声に基づいています。
- 優れたカスタマーサポートと応答時間— お客様からのメッセージのほとんどすべてに、数分以内に返信しています!
2023年の展望
2022年はTrueFoundryプラットフォームにとって楽しく充実した基礎固めの年でしたが、2023年はさらにエキサイティングな年となるでしょう。プラットフォームがより多くのユーザーに届けられ、プライベートベータ版から脱却する準備を進めているからです。私たちは、新学期を迎える子供のようなワクワクした気持ちで2023年を歓迎します。2023年も再び、イノベーションを起こし、構築し、学び、成長し、AIをすべての人に利用可能にすることで、世界に良い影響を与えることに胸を躍らせています。
皆様に 素晴らしい新年を!Nikunj、Anuraag、Abhishek、そしてTrueFoundryチーム一同より。
TrueFoundry は、Kubernetes上で動作するMLデプロイメントPaaSであり、開発者のワークフローを高速化しつつ、モデルのテストとデプロイにおいて完全な柔軟性を提供し、インフラチームには完全なセキュリティと制御を保証します。当社のプラットフォームを通じて、機械学習チームは デプロイと監視を 15分で、100%の信頼性、スケーラビリティ、そして数秒でのロールバック機能を実現します。これにより、コストを削減し、モデルをより迅速に本番環境にリリースできるようになり、真のビジネス価値の実現を可能にします。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
The fastest way to build, govern and scale your AI












.webp)




.png)








.webp)
.webp)








