Palo Alto NetworksにおけるビッグデータとMLの実践

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Palo Alto NetworksにおけるMachine Learning: イノベーションを通じたサイバーセキュリティの強化
急速に進化する今日のデジタル社会において、企業がデジタルフットプリントを拡大するにつれ、高度な脅威検知と修復の必要性が最優先課題となっています。Palo Alto Networksにおけるこのタスクの中心にあるのが、同社の最先端セキュリティソリューションを支える堅牢なmachine learning(ML)インフラストラクチャです。本ブログ記事では、MLとビッグデータの分野で活躍するSenior Staff Software EngineerのHarsh Verma氏との対話から得られたインサイトをもとに、Palo Alto Networksにおけるmachine learningの実践について探ります。
サイバーセキュリティにおけるMachine Learningの役割
Machine learningモデルは、潜在的なセキュリティ侵害の検知と緩和の両方において不可欠な存在です。これらのモデルは、ネットワークトラフィック、ソフトウェアの使用状況、その他のデジタルアクティビティによって生成される膨大なデータを分析し、悪意のある挙動を示すパターンを特定します。
Harsh氏が説明するように、サイバーセキュリティにおけるmachine learningの主なタスクは大きく2つあります。
- 検知(Detection): トラフィックログやネットワークデータを分析して、潜在的な脅威を特定する。
- 修復(Remediation): セキュリティポリシーの強化やユーザーへの実行可能なインサイトの提供など、検知された脅威を軽減するためのソリューションを提供する。
これらのタスクには大規模なデータセットの継続的な処理が必要であり、machine learningモデルはセキュリティ侵害の予兆となる異常やパターンを特定することができます。脅威は異常なトラフィックパターンから疑わしいソフトウェアアクティビティまでさまざまな形で現れるため、大規模なデータを処理および分析する能力が極めて重要となります。
ソフトウェアエンジニアリングからMachine Learningへの歩み
Harsh氏のmachine learningの世界への歩みは、ソフトウェアエンジニアリングにおける強固な基礎から始まりました。コンピュータサイエンスの修士号を取得するために渡米した後、彼はartificial intelligence(AI)とmachine learningに焦点を当てました。
彼はリサーチアシスタントとして、natural language processingやcomputer visionなどの分野で研究を行いました。この学術的背景が、業界内でのmachine learningの役割へと移行するための下地となりました。
Palo Alto Networksに入社後、Harsh氏はmachine learningを活用してネットワークセキュリティを強化するソフトウェアの構築に携わりました。ソフトウェアエンジニアリングからmachine learningへの転身は、より複雑で進化し続ける課題に取り組みたいという想いからでした。Harsh氏が指摘するように、machine learningの分野は厳密であるだけでなく動的であり、継続的な学習とイノベーションの機会を提供してくれます。
日々の運用:サイバーセキュリティの課題への取り組み
Palo Alto NetworksにおけるHarsh氏の役割は、machine learningを通じて多様なサイバーセキュリティの課題に対処することです。週ごとの運用は、ネットワークアクティビティの継続的な監視、潜在的な脅威の特定、およびこれらの脅威を予測して防止できるモデルの開発を中心に構成されています。
Harsh氏は、これらの運用におけるリアルタイム処理とバッチ処理の両方の重要性を強調しています。即座の脅威検知にはリアルタイム処理が不可欠ですが、バッチ処理によって長期的なデータトレンドの分析が可能になり、モデルの精緻化と将来の脅威検知能力の向上に役立ちます。
リアルタイム処理 vs. バッチ処理:バランスの取れたアプローチ
サイバーセキュリティにおけるmachine learningの有効性は、データの処理方法に大きく依存します。Palo Alto Networksでは、データを管理しインサイトを導き出すために、リアルタイム処理とバッチ処理を組み合わせたアプローチが採用されています。
- リアルタイム処理: 即座の脅威検知に不可欠です。例えば、ユーザーが潜在的に悪意のあるウェブサイトにアクセスした場合、システムはセキュリティ侵害を防ぐために即座に反応する必要があります。リアルタイム処理により、machine learningモデルが受信データストリームを継続的に分析し、疑わしいアクティビティにフラグを立てることが保証されます。
- バッチ処理: 過去30日間のトラフィックログに基づいて潜在的な脅威を特定するなど、長期間にわたるデータの分析に使用されます。このアプローチにより、システムはリアルタイム分析では即座に明らかにならない可能性のあるパターンを検知できます。例えば、特定の種類のトラフィックが継続的にアラートを引き起こしている場合、バッチ処理を行うことで、それが新しい脅威なのか誤検知(false positive)なのかを把握するのに役立ちます。
これら2つの処理方法を組み合わせることで、Palo Alto Networksのセキュリティソリューションは応答性と徹底性の両方を備え、即座の脅威に対応しながら過去のデータからも学習できるようになっています。
Machine Learningモデルの構築とデプロイ
Palo Alto Networksにおけるmachine learningモデルの開発は、データの取り込みからモデルのデプロイおよびサービングまで、適切に構造化されたパイプラインに従って行われます。Harsh氏は、このプロセスの主要なステップを次のように説明しています。
- データの取り込みと前処理: 最初のステップはデータの収集とクレンジングです。データの品質がmachine learningモデルのパフォーマンスに直接影響するため、これは極めて重要な段階です。データの取り込みには、ネットワークログやソフトウェア使用状況記録などのさまざまなソースからのストリーミングデータが含まれる場合があります。
- 特徴量エンジニアリング(Feature Engineering): データが取り込まれたら、次のステップはモデルのトレーニングに使用できる意味のある特徴量を構築することです。これには、ログデータを数値データに変換するなど、生のデータをモデルが解釈しやすい形式に変換することが含まれます。
- モデルのトレーニング: 特徴量が準備できたら、大規模なデータセットを使用してmachine learningモデルをトレーニングします。トレーニングには、従来のmachine learningアルゴリズムと、特定のタスク向けのlarge language models(LLM)などのより新しい技術の組み合わせが使用される場合があります。
- モデルのデプロイ: トレーニング後、モデルは本番環境にデプロイされ、ライブデータを分析できるようになります。デプロイには、さまざまなシステムからリアルタイムでモデルにアクセスできるように設定することが含まれます。
- モデルサービング: 最後に、デプロイされたモデルが顧客に提供され、堅牢なサイバーセキュリティを維持するために必要なインサイトやアラートが提供されます。これには、既存のセキュリティプラットフォームとのモデルの統合や、モデルの予測を活用する新しいツールの作成が含まれる場合があります。
技術スタック:ツールとプラットフォーム
Palo Alto Networksは、machine learningの取り組みを支援するために多様な技術スタックを採用しています。これには、データ処理、モデルのトレーニング、デプロイのためのツールが含まれます。
- データ処理: 大規模データセットの処理にはApache Sparkを使用しています。ビッグデータワークロードを処理するSparkの機能は、トラフィックログの処理や脅威パターンのための過去データの分析など、Palo Alto Networksが実行するバッチジョブの種類に最適です。
- ストリーミングプラットフォーム: リアルタイムのデータ取り込みには、Apache KafkaやGoogle Pub/Subなどのプラットフォームが使用されます。これらのツールにより、さまざまなソースからのデータの継続的なフローが可能になり、machine learningモデルが常に最新情報を維持できるようになります。
- クラウドサービス: Palo Alto Networksのmachine learningモデルは、Google Cloud Platform(GCP)やAmazon Web Services(AWS)などのクラウドプラットフォームを使用してトレーニングおよびデプロイされることがよくあります。これらのプラットフォームは、Sparkジョブを実行するためのGoogle DataProcや、モデルのトレーニングとデプロイのためのAmazon SageMaker、Google Vertex AIなどのマネージドサービスを提供しています。
- ストレージソリューション: データのストレージは、プロジェクトの要件に応じて複数のサービスを組み合わせて管理されています。生データのストレージにはS3またはGCSバケット、アナリティクスにはBigQuery、構築された特徴量の格納には専用のFeature Storeが使用されます。
- Machine Learningプラットフォーム: モデルの管理とデプロイには、SageMakerやVertex AIなどのプラットフォームが採用されています。これらのプラットフォームは、大規模なmachine learningモデルの構築、トレーニング、デプロイのための統合環境を提供します。
Generative AIの統合
Machine learningの分野が進化するにつれ、Palo Alto NetworksはサイバーセキュリティソリューションへのGenerative AIの統合を開始しました。Generative AI、特にLarge Language Modelsは、脅威の検知と対応に新たな可能性をもたらします。これらのモデルを使用して予測を生成したり、潜在的な脅威シナリオをシミュレートしたりすることで、セキュリティ侵害を防止する方法についてより深いインサイトを得ることができます。
Harsh氏は、従来のmachine learningモデルが依然としてPalo Alto Networksのセキュリティソリューションの骨組みである一方で、Generative AIの統合はエキサイティングな発展であると述べています。クラシックなMLモデルとモダンなGenerative AIの両方を活用することで、同社は脅威検知能力を強化し、顧客により包括的なセキュリティソリューションを提供することができています。
課題と今後の方向性
Machine learningのサイバーセキュリティへの統合には課題も存在します。主な難しさの1つは、脅威環境が進化する中でモデルの有効性を維持することです。サイバーセキュリティの脅威は絶えず変化しており、悪意のある挙動の新しいパターンを認識するために、machine learningモデルを継続的に更新する必要があります。
もう1つの課題は、リアルタイム処理とバッチ処理のバランスです。リアルタイム分析は即座の脅威検知に不可欠ですが、リソース消費が大きくなる可能性があります。逆に、バッチ処理は負荷が低いものの、リアルタイムの脅威を見落とす可能性があります。Palo Alto Networksは、両方の手法の強みを組み合わせたハイブリッドアプローチを使用することで、この課題に対処しています。
将来を見据えて、Palo Alto Networksはサイバーセキュリティ分野でのイノベーションを継続することを目指しています。これには、Generative AIの更なる統合や、さまざまなセキュリティプラットフォームにわたるmachine learningの活用の拡大が含まれます。テクノロジーの最前線にとどまり続けることで、同社は堅牢でスケーラブルなサイバーセキュリティソリューションを提供するリーダーであり続けたいと考えています。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






