Kubernetes を活用したアプリケーション開発

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Kubernetes は、高可用性とオートスケーリングが求められる中規模・大規模組織のチームにとって、理想的なプラットフォームとして広く認識されています。しかし、同時に既存の開発者ワークフローに摩擦を生じさせる要因にもなっています。この変化は、マイクロサービスパラダイムの採用拡大や、ソフトウェアの実行環境における複雑化という、より広範な潮流の一環として捉えることができます。本記事では、このパラダイムシフトによってソフトウェア開発の課題がどのように進化してきたかを解説します。
開発ループ
まず、開発ループの概念と、開発ワークフローにおけるその役割について考えてみましょう。あらゆるソフトウェアプロジェクトの開発ループは、Git を介して交差する2つの独立したループで構成されています。

これらは以下の通りです:
- インナー開発ループ(Inner dev loop) - 開発者自身のワークステーション上でコードを記述、コンパイル、テストするプロセスです。満足のいくコードが Git にコミットされるまで、このループが繰り返されます。
- アウター開発ループ(Outer dev loop) - コードが開発者のワークステーションから Git に移された後にトリガーされるループです。テストの実行と最終プロダクトのデプロイが含まれます。理想的には、このプロセスは、テストに合格したすべてのコードプッシュでデプロイが実行される継続的なループとして設定されるべきです。
これらのループはお互いにフィードバックし合い、完全なソフトウェア開発ライフサイクルを形成します。
マイクロサービスの台頭
マイクロサービスの登場により、小さく独立し、疎結合されたソフトウェアコンポーネントが実現し、優れた拡張性と信頼性がもたらされました。その利点についてはすでに広く知られているため、ここでは触れませんが、ここでの関心事は、その結果として生じる運用の複雑化です。

frontend が api を呼び出し、それがさらに identity および db という2つの他のサービスと通信するシンプルなセットアップを考えてみましょう。このシナリオでは、開発者は api レイヤーで作業しており、ここにはダウンストリーム(フロントエンド)とアップストリーム(identity, db)の両方の依存関係が存在します。2つの異なる開発ループにおいて、api サービスの開発プロセスがどのように変化するかを見てみましょう:
インナー開発ループ
- アップストリーム依存関係へのアクセス -
apiサービスを正常に実行するには、identity サービスと db サービスの両方と通信する必要があります。 - ダウンストリーム依存関係へのアクセス -
apiサービスで行われている変更がダウンストリームの依存関係と互換性があるかをテストするためには、ダウンストリームからのリクエストをこのサービスにリダイレクトすることも重要です。
アウター開発ループ
- アップストリームの依存関係 -
apiサービスの e2e テストを実行するには、稼働中のidentityおよびdbサービスのコピーへのアクセスが必要です。 - ダウンストリームの依存関係 - テスト目的で
frontendがこのサービスにアクセスできるようにする仕組みも必要になります。 - ホストされたエンドポイント - 上記の要件に加え、直接テストできるようにこの
apiサービスのコピーをホストする必要があります。
インナー開発ループの課題は、Ambassador Labs の Telepresence が解決した問題です。当社は、TrueFoundry プラットフォーム上で Intercepts を提供することにより、アウター開発ループの課題解決を図っています。
TrueFoundry Intercepts のご紹介

TrueFoundry Intercepts のコンセプトは、前のセクションで述べたアウター開発ループにおける3つの課題を解決することで機能します。これに取り組むため、当社は以下の戦略を採用しています:
- プレビュー URL - プラットフォーム自体を使用することで、特定のコミット SHA で既存サービスのコピーを簡単にデプロイできます。これにより、特定のコミットやプルリクエスト専用のプレビュー URL を作成できます。
- ヘッダーベースの Intercepts - Intercepts により、サービスは同じ URL を使い続けながら、プレビューコピーにリダイレクトする追加のヘッダーを付与することができます。例えば、
apiサービスに Intercept をアタッチし、送信されたヘッダーに基づいてプレビューコピーにリダイレクトできます。つまり、frontendはテスト中に追加のヘッダーを渡すだけで、同じ URL を使用し続けることができます。
💡TrueFoundry Intercepts の詳細については、ドキュメントをご覧ください - https://docs.truefoundry.com/docs/intercepts
まとめ
マイクロサービスの登場によってもたらされた開発フローの変化と、それらに当社がどのように対処しようとしているかについて説明しました。これは依然として開かれた問題であり、将来的にはこの分野でさらに革新的なソリューションが登場することが期待されます。
お問い合わせ
LLM プロジェクトからの投資対効果を最大化し、ビジネスで AI を正しく活用できるようにしたいとお考えでしたら、ぜひご意見をお聞かせください。
カジュアルにお話ししませんか
TrueFoundry を使って5分で LLM をデプロイする方法をご覧ください:
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.


















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






