TrueFoundry:2022年を振り返って

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
2022年12月31日今日は、自分自身を見つめ直し、ワクワクした気持ちでいっぱいです!年の終わりや始まりには、人生をリセットしてリフレッシュさせてくれる特別な力があるからかもしれません。しかし、よく考えてみると、年の始まりや終わりに本質的な意味などないようにも思えます。それは単なる人間が作った恣意的なサイクルに過ぎず、本来であれば、月や週、日、あるいは時間単位であっても、いつでも好きな時にリフレッシュした気分になることは自分次第でコントロールできるはずです!これは2023年に向けて大切にしたい学びの一つです。
2023年に向けてそう決意したところで、まずは 称賛を送り、 👏 2022年を振り返りたいと思います。 機械学習とMLOpsにとって、なんと素晴らしい一年だったことでしょう!過去10年間でAIはかつてないほどの進歩を遂げてきましたが、これほどまでに 一般の人々の間で興奮を巻き起こしたものは、ChatGPT以外にありません。 Googleが「コードレッド」を宣言するほどの影響力でした。さらに2022年は、 コードレッドだけでなく、以下のような出来事もありました。 Stability AIによるStable Diffusionの登場、ジェフリー・ヒントン氏によるフィードフォワード学習、AIが生成した行列乗算アルゴリズム、Meta AIによる6億もの潜在的なタンパク質合成の予測、HuggingFaceの主要アルゴリズムに対応したbnb-int8、Rayによる100万モデルの記録的な短時間学習本当に驚異的な一年でした!
一方、2022年のTrueFoundryは、非常にインパクトのあるスタートを切りました。 最初のエンジニアの採用から、 チームの構築、 Streamlitベースの初期段階の製品UIのコーディング、そして、 世界トップクラスのチームの採用、 マルチクラウド対応の機械学習デプロイメントプラットフォームの構築、さらには、 時価総額500億ドルを超える複数の大企業 のプロダクション環境における課題解決まで、わずか1年でこれほど大きな成果を成し遂げたチームを心から誇りに思います。このTrueFoundryにとって素晴らしい最初の1年を、少し立ち止まって振り返ってみたいと思います✍。
チーム
まずは私たちのチームについてお話ししましょう。この1年で、私たちは 15名の技術・ビジネスの専門家 からなる組織へと成長しました。メンバーは Facebook、Amazon、Postman、Gojek、McKinseyといった多様なバックグラウンドを持っています。チームは インド、サンフランシスコ、パリ に分散しており、ベンガルールには 初のオフィス初めての </SEGMENT 1] 社内リトリートを11月に実施しました</SEGMENT 2] 1週間にわたり、寝食を共にしながらアイデアを出し合い、振り返りを行い、そして楽しみました!</SEGMENT 3]

導入実績</SEGMENT 5]
TrueFoundryは </SEGMENT 6] まだ歩み始めたばかりですが</SEGMENT 7]、幸運なことに</SEGMENT 8] 素晴らしいデザインパートナーと共にプラットフォームを構築できています</SEGMENT 9] 彼らは、プラットフォームの各機能をどのように設計すべきか、具体的かつ実践的なフィードバックで私たちを支えてくれています。彼らとの協業を通じて、大手企業や成長段階にあるスタートアップとの有料PoC(概念実証)契約を獲得することができました。現時点では社名を公表することはできませんが、こうした企業と協力できることを光栄に思っています!</SEGMENT 10]
また、私たちの製品を早期に導入し、貴重なご意見をくださったスタートアップ企業の皆様や開発者コミュニティの皆様にも心から感謝いたします!</SEGMENT 11]
プロダクト</SEGMENT 12]
改めてお伝えしますと、</SEGMENT 13] TrueFoundry は、開発者が機械学習モデルをビッグテック企業並みのスピードでデプロイおよび監視できるPaaSを構築しています。これにより、本番環境へのリリースにかかる時間を数週間から数分へと短縮します。この1年間で私たちが構築したのは、</SEGMENT 14]
- </SEGMENT 15] クラウド非依存型のプラットフォーム</SEGMENT 16] であり、</SEGMENT 17] Kubernetes</SEGMENT 18] 上で動作し、誰もがモデルをデプロイできるようにします。</SEGMENT 19]
- デプロイメントのために3つのユーザーインターフェースを拡張しました- </SEGMENT 20] Python API 本番環境向け、 CI/CD用YAML設定、GUI 実験環境向け
- 直感的なインフラプロビジョニング 開発者が自律的に操作でき、DevOpsチームがコストを最適化できる単一のUI
- 当社が構築した Terraformベースのワンクリックソリューション を使用して、あらゆる 主要3大クラウドプロバイダー(AWS、GCP、Azure)上にプラットフォーム全体をデプロイ
- 包括的かつ 自動化されたログ管理とモニタリング サービス向け
- モデルモニタリング、データモニタリングおよびドリフト追跡ダッシュボード
- 包括的な 実験追跡 (アーティファクト管理機能付き)

資金調達
TrueFoundryは、以下のような著名な投資家からご支援と信頼をいただいていることを誇りに思い、大変幸運に感じています。 Sequoia、Eniac、Naval Ravikant。詳細は、 TechCrunchの記事 で、当社の シードラウンドの資金調達に関する発表をご覧ください。また、以下のようなエンジェル投資家やアドバイザーからも多大なるご支援をいただいております。
- 創業者 @ Kaggle (売却先: Google — Anthony Goldbloom)、
- 創業者 @ Rubrik (Soham Mazumdar)
- Builders Fund (SalesforceのMLプラットフォーム構築者)、
- CTO @ Greenhouse (Mike Boufford)
- FBLearnerプラットフォームのチーフアーキテクト (Aditya Kalro)
- CTO/創業者 @ Productiv (Ashish Aggarwal)
- 創業者 @ Whatfix (Khadim Bhatti & ヴァラ・クマール)
- CIO @ ドイツ銀行 (ディリップ・カンデルワル)
- CTO兼創業者 @ ClearCo (サトウィック・シェシャサイ)
- CTO @ AlphaSense (ラージ・ニールヴァナン)
- シニアMLアーキテクト @ Snowflake (タル・シャケド)および
- 機械学習部門責任者 (所属: SentiLink、Migo、Upwork
統合機能
TrueFoundryでは、ユーザーの皆様が現在利用している環境に寄り添うことを目標に開発を行っています。そのため、広く利用されているさまざまなツール、ライブラリ、フレームワーク、プラットフォームを分析し、人気の高い多くのツールとの統合を実現しました。
- 機械学習ライブラリ- tensorflow、pytorch、sklearn、xgboost、huggingface、lightgbm、mlflowなど
- モデルサービングフレームワーク: TFServe、TorchServe
- クラウドプロバイダー: AWS、GCP、Azure
- コードバージョン管理: GitHub、BitBucket
- CI/CD: Github Actions
- Dockerレジストリ: DockerHub、AWS Container Registry、Google Container Registry
- シークレット管理: AWS Parameter Store、Google Secrets Manager
- ダッシュボードツール: Gradio、StreamLit
- Kubernetes
イベントとコミュニティ
この分野での取り組みはまだ始まったばかりですが、いくつかの素晴らしいアップデートをご紹介します。
- アビシェークは で開催された 1729.world イベントにて、FractalおよびAnalytics Vidhyaの主催のもと、ラジャット・モンガ( (TensorFlow創設者)やスリーニヴァス( (Fractal創設者)らと共に登壇しました。プレゼンテーションの リンクはこちらです。を追加します。
- ニクンジは にて登壇しました。 TechCrunch Disrupt 2022 - スタートアップ・バトルフィールド
- さらに、活発な Slackコミュニティぜひご参加ください!
- コミュニティの多くのメンバーがTrueFoundryに貢献しており、トッププロジェクトは こちらからご覧いただけますを追加します。
- 特に人気の高いコンテンツをいくつかご紹介します: Time killed my ML model(時間が私のMLモデルをダメにした)、インパクトのあるMLモデルの構築 - どれほど難しいのか?、データサイエンティストのためのKubernetes - 予測のホスティング
振り返り
この素晴らしい1年を振り返り、私たち創業者も一歩立ち止まって、何がうまくいき、何がうまくいかなかったのかを考えました。私たちが得た学び、失敗、そして成果を皆さんと共有します。
学び
- 従来の デザインパートナーと連携する というアプローチは、製品が完成する前に実施しても、 本番インフラを扱う開発ツールを構築する場合にはうまく機能しません。私たちは最初の3〜4ヶ月をこれに費やしてしまいました。
- もし インフラ製品の構築にXの時間がかかるなら、テストとリリースにはその2倍の時間がかかるということを過小評価していたのは私たちのミスであり、製品リリースのスケジュールを狂わせる原因となりました。
- 導入のしやすさを求めて、ターゲット市場からかけ離れた企業とデザインパートナーシップを結んではいけません。私たちは、製品がアップマーケットやエンタープライズ向けであるにもかかわらず、数ヶ月間、小規模な企業と連携していました。今振り返れば、これは初心者のミスでした。
反省点
実行面でいくつか誤りがあり、軌道修正が必要です。
- 私たちは企業の意思決定者と多くの時間をかけて対話し、製品へのフィードバックを得てきましたが、最終的にプラットフォームのユーザーとなるのは開発者です。私たちは 開発者とのつながりを維持するための、より強力なチャネルを構築する必要があります!
- 企業として、私たちは プラットフォームの普及活動に十分な時間を割いてきませんでした、カンファレンスへの参加、講演活動およびコミュニティイベントへの出席を追加します。
- 私たちの製品開発の道のりが長いことは理解しています。しかし、それを リリース可能なマイルストーンに細分化する取り組みが不十分でした。これを実行していれば、ユーザーはより製品に愛着を持ち続けてくれたはずです。
成果
- 私たちは非常に短期間で、質の高いチームを構築しました。創業者を含むチームのメンバー全員が、これまで高いパフォーマンスを誇るチームで働いてきた経験があるにもかかわらず、ここが最も優秀な人材が集まっていると確信しています。
- 私たちは 製品の品質と実行スピードを誇りに思っています。これは、私たち自身の経験と、お客様から寄せられる声に基づいた実感です。
- 優れたカスタマーサポートと迅速な対応お客様からのお問い合わせのほとんどに、数分以内に返信できています!
2023年の展望
2022年はTrueFoundryプラットフォームにとって、基盤を固める充実した1年となりました。2023年は、より多くのユーザーの皆様にプラットフォームをお届けし、プライベートベータ版から正式リリースへと移行する、さらにエキサイティングな年になるでしょう。私たちは、新学期を迎える子供のようなワクワクした気持ちで2023年をスタートします。2023年も再び、革新、構築、学習、成長を続け、AIを誰もが利用できるようにすることで世界にポジティブな影響を与えていけることを心から楽しみにしています。
皆様の 素晴らしい新年をお祈り申し上げます!Nikunj、Anuraag、Abhishek、そしてTrueFoundryチーム一同より。
TrueFoundry は、Kubernetes上で動作するMLデプロイメントPaaSです。開発者のワークフローを加速させると同時に、モデルのテストやデプロイにおける完全な柔軟性を提供し、インフラチームには万全のセキュリティと管理体制を保証します。私たちのプラットフォームを通じて、機械学習チームは モデルのデプロイと監視を 15分で完了させることができます。100%の信頼性と拡張性を備え、数秒でロールバックも可能なため、コストを削減しながらモデルを迅速に本番環境へリリースし、真のビジネス価値を実現します。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






