Palo Alto NetworksにおけるビッグデータとMLの実践

Palo Alto Networksの機械学習：イノベーションによるサイバーセキュリティの強化

今日の急速に進化するデジタル環境において、企業がデジタルフットプリントを拡大するにつれて、高度な脅威検出と修復の必要性が優先事項となっています。Palo Alto Networksでは、このタスクの中心に、同社の最先端セキュリティソリューションを支える堅牢な機械学習（ML）インフラストラクチャがあります。このブログ記事では、MLとビッグデータの交差点で活躍するシニアスタッフソフトウェアエンジニア、Harsh Verma氏との対話から得られた洞察を基に、Palo Alto Networksにおける機械学習の取り組みについて探ります。

サイバーセキュリティにおける機械学習の役割

機械学習モデルは、潜在的なセキュリティ侵害の検出と軽減の両方において不可欠です。これらのモデルは、ネットワークトラフィック、ソフトウェアの使用状況、その他のデジタル活動によって生成される膨大な量のデータを分析し、悪意のある行動を示すパターンを特定します。

Harsh氏が説明するように、サイバーセキュリティにおける機械学習の主なタスクは以下の2つです。

• 検出： トラフィックログとネットワークデータを分析し、潜在的な脅威を特定します。
• 修復： セキュリティポリシーの強化や、ユーザーへの実用的な洞察の提供など、検出された脅威を軽減するためのソリューションを提供します。

これらのタスクには、膨大なデータセットの継続的な処理が必要です。これにより、機械学習モデルはセキュリティ侵害を示す可能性のある異常やパターンを特定できます。脅威は、異常なトラフィックパターンから不審なソフトウェア活動まで、さまざまな形で現れる可能性があるため、大規模なデータを処理・分析する能力は極めて重要です。

ソフトウェアエンジニアリングから機械学習への道のり

Harsh氏の機械学習の世界への道のりは、ソフトウェアエンジニアリングにおける強固な基盤から始まりました。コンピュータサイエンスの修士号取得のために米国に移住した後、彼は人工知能（AI）と機械学習に注力しました。 

彼は自然言語処理やコンピュータビジョンなどの分野で研究助手として働きました。この学術的背景が、彼が業界内で機械学習の役割に移行するための基礎を築きました。

Palo Alto Networksに入社後、Harsh氏は機械学習を通じてネットワークセキュリティを強化するソフトウェアの構築に携わりました。ソフトウェアエンジニアリングから機械学習への移行は、より複雑で進化する課題に取り組みたいという願望によって推進されたものです。Harsh氏が指摘するように、機械学習の分野は厳密であるだけでなく、ダイナミックであり、学習とイノベーションのための継続的な機会を提供しています。

日々の業務：サイバーセキュリティの課題への取り組み

Palo Alto NetworksにおけるHarsh氏の役割は、機械学習を通じて様々なサイバーセキュリティの課題に対処することです。日々の業務は、ネットワーク活動の継続的な監視、潜在的な脅威の特定、そしてこれらの脅威を予測・防止できるモデルの開発を中心に構成されています。

Harsh氏は、これらの業務におけるリアルタイム処理とバッチ処理の両方の重要性を強調しています。リアルタイム処理は即時の脅威検出に不可欠である一方、バッチ処理は長期的なデータトレンドの分析を可能にし、モデルの洗練と将来の脅威検出能力の向上に役立ちます。

リアルタイム処理 vs. バッチ処理：バランスの取れたアプローチ

サイバーセキュリティにおける機械学習の有効性は、データの処理方法に大きく依存します。Palo Alto Networksでは、リアルタイム処理とバッチ処理を組み合わせてデータを管理し、インサイトを導き出しています。

• リアルタイム処理： これは、即座の脅威検出に不可欠です。例えば、ユーザーが潜在的に悪意のあるウェブサイトにアクセスした場合、システムはセキュリティ侵害を防ぐために即座に対応する必要があります。リアルタイム処理により、機械学習モデルは継続的に受信データストリームを分析し、疑わしい活動を検出します。
• バッチ処理： バッチ処理は、過去30日間のトラフィックログに基づいて潜在的な脅威を特定するなど、長期間にわたるデータ分析に使用されます。このアプローチにより、リアルタイム分析ではすぐに明らかにならないパターンをシステムが検出できます。例えば、特定の種類のトラフィックが継続的にアラートをトリガーする場合、バッチ処理は、これが新しい脅威なのか、それとも誤検知なのかを理解するのに役立ちます。

これら2つの処理方法を組み合わせることで、Palo Alto Networksのセキュリティソリューションは、即座の脅威に対処できる応答性と徹底性を兼ね備え、履歴データから学習することも可能になります。

機械学習モデルの構築と展開

Palo Alto Networksにおける機械学習モデルの開発は、データ取り込みからモデルの展開、提供に至るまで、構造化されたパイプラインに沿って行われます。Harshがこのプロセスの主要なステップを概説します。

• データ取り込みと前処理： 最初のステップは、データの収集とクレンジングです。データの品質は機械学習モデルのパフォーマンスに直接影響するため、これは非常に重要な段階です。データ取り込みには、ネットワークログやソフトウェア使用記録など、さまざまなソースからのデータストリーミングが含まれる場合があります。
• 特徴量エンジニアリング： データが取り込まれたら、次のステップは、モデルのトレーニングに使用できる意味のある特徴量を設計することです。これには、生データをモデルが容易に解釈できる形式に変換すること（例えば、ログデータを数値特徴量に変換するなど）が含まれる場合があります。
• モデルトレーニング： 特徴量が準備されたら、機械学習モデルは大規模なデータセットを使用してトレーニングされます。トレーニングには、従来の機械学習アルゴリズムと、特定のタスクにおける大規模言語モデル（LLM）のような最近の進歩を組み合わせることが含まれる場合があります。
• モデル展開： トレーニング後、モデルは本番環境に展開され、そこでライブデータを分析します。展開には、さまざまなシステムからリアルタイムでアクセスできるようにモデルをセットアップすることが含まれます。
• モデル提供： 最後に、展開されたモデルは顧客に提供され、堅牢なサイバーセキュリティを維持するために必要なインサイトとアラートを提供します。これには、既存のセキュリティプラットフォームとモデルを統合したり、モデルの予測を活用する新しいツールを作成したりすることが含まれる場合があります。

テックスタック：ツールとプラットフォーム

Palo Alto Networksは、機械学習への取り組みをサポートするために多様なテックスタックを採用しています。これには、データ処理、モデルトレーニング、展開のためのツールが含まれます。

• データ処理： 同社は大規模なデータセットの処理にApache Sparkを使用しています。Sparkのビッグデータワークロードを処理する能力は、Palo Alto Networksが実行するトラフィックログの処理や脅威パターンの履歴データ分析といったバッチジョブに最適です。
• ストリーミングプラットフォーム： リアルタイムのデータ取り込みには、Apache KafkaやGoogle Pub/Subのようなプラットフォームが使用されています。これらのツールは、様々なソースからのデータの継続的な流れを可能にし、機械学習モデルが最新の情報を確実に持つようにします。
• クラウドサービス： Palo Alto Networksの機械学習モデルは、Google Cloud Platform (GCP) やAmazon Web Services (AWS) といったクラウドプラットフォームを使用してトレーニングおよびデプロイされることがよくあります。これらのプラットフォームは、Sparkジョブを実行するためのGoogle DataProcや、モデルのトレーニングとデプロイのためのAmazon SageMakerまたはGoogle Vertex AIのようなマネージドサービスを提供しています。
• ストレージソリューション： データストレージは、プロジェクトの要件に応じて様々なサービスを組み合わせて処理されます。これには、生データストレージ用のS3またはGCSバケット、分析用のBigQuery、そしてエンジニアリングされた特徴量を保存するための専用の特徴量ストアが含まれます。
• 機械学習プラットフォーム： モデルの管理とデプロイには、SageMakerやVertex AIのようなプラットフォームが採用されています。これらのプラットフォームは、機械学習モデルを大規模に構築、トレーニング、デプロイするための統合された環境を提供します。

生成AIの統合

機械学習の分野が進化するにつれて、Palo Alto Networksは生成AIをサイバーセキュリティソリューションに統合し始めています。生成AI、特に大規模言語モデルは、脅威の検出と対応に新たな可能性をもたらします。これらのモデルは、予測を生成したり、潜在的な脅威シナリオをシミュレートしたりするために使用でき、セキュリティ侵害を防止する方法についてより深い洞察を提供します。

Harsh氏は、従来の機械学習モデルがPalo Alto Networksのサイバーセキュリティソリューションの基盤である一方で、生成AIの統合は刺激的な進展であると述べています。同社は、従来のMLモデルと最新の生成AIの両方を活用することで、脅威検出能力を強化し、顧客により包括的なセキュリティソリューションを提供できるようになります。

課題と今後の方向性

機械学習をサイバーセキュリティに統合することには、課題がないわけではありません。主要な課題の1つは、脅威の状況が進化するにつれてモデルが効果的であり続けることを保証することです。サイバーセキュリティの脅威は常に変化しており、機械学習モデルは悪意のある行動の新しいパターンを認識するために継続的に更新される必要があります。

もう1つの課題は、リアルタイム処理とバッチ処理のバランスです。リアルタイム分析は即時の脅威検出に不可欠ですが、リソースを大量に消費する可能性があります。対照的に、バッチ処理は要求が少ないですが、リアルタイムの脅威を見逃す可能性があります。Palo Alto Networksは、両方の方法の長所を組み合わせたハイブリッドアプローチを使用することで、これに対処しています。

将来を見据え、Palo Alto Networksはサイバーセキュリティ分野での革新を継続することを目指しています。これには、生成AIのさらなる統合と、様々なセキュリティプラットフォームでの機械学習の利用拡大が含まれます。テクノロジーの最先端に留まることで、同社は堅牢でスケーラブルなサイバーセキュリティソリューションを提供するリーダーであり続けることを目指しています。