ログ分析

コンピュータログ管理およびインテリジェンスにおいて、ログ分析(またはシステムおよびネットワーク ログ分析) は、コンピュータによって生成されたレコード (ログ レコードまたは監査証跡レコードとも呼ばれる) の意味を解明しようとする芸術および科学です。このようなレコードを作成するプロセスは、データ ロギングと呼ばれます。

ログ分析を実行する一般的な理由は次のとおりです。

• セキュリティポリシーの遵守
• 監査または規制への準拠
• システムのトラブルシューティング
• 法医学（捜査中または召喚状への対応）
• セキュリティインシデント対応
• オンラインユーザーの行動を理解する

ログは、ネットワーク デバイス、オペレーティング システム、アプリケーション、およびあらゆる種類のインテリジェント デバイスやプログラム可能なデバイスによって出力されます。ログは、多くの場合、時系列のメッセージ ストリームで構成されます。ログはファイルに出力されてディスクに保存されるか、ネットワーク ストリームとしてログ コレクターに送信されます。

ログ メッセージは通常、そのソース (アプリケーションなど) の内部状態に基づいて解釈され、セキュリティ関連または操作関連のイベント (ユーザー ログインやシステム エラーなど) を通知する必要があります。

ログは、多くの場合、ソフトウェア開発者によって、アプリケーションの動作のデバッグや、検索エンジンなどのシステムとユーザーのやり取り方法の理解に役立てるために作成されます。ログ メッセージ内のデータの構文とセマンティクスは、通常、アプリケーションまたはベンダーに固有です。用語も異なる場合があります。たとえば、アプリケーションに対するユーザーの認証は、ログイン、ログオン、ユーザー接続、または認証イベントとして説明されることがあります。したがって、ログ分析では、アプリケーション、ベンダー、システム、または構成のコンテキスト内でメッセージを解釈し、さまざまなログ ソースからのメッセージと有効に比較する必要があります。

ログ メッセージの形式または内容は、必ずしも完全に文書化されているとは限りません。ログ アナリストのタスクは、システムがメッセージの全範囲を発行するように誘導し、メッセージを解釈する必要があるドメイン全体を理解できるようにすることです。

ログ アナリストは、さまざまなログ ソースからのさまざまな用語を統一された標準化された用語にマッピングして、異機種環境からレポートと統計を取得できるようにします。たとえば、Windows、Unix、ネットワーク ファイアウォール、およびデータベースからのログ メッセージは、監査人用の「標準化された」レポートに集約されます。システムによって、異なるボキャブラリ (「エラー」や「警告」と「err」、「warn」、「critical」など) を使用して、異なるメッセージの優先度を示す場合があります。

したがって、ログ分析の実践は、テキスト検索からソフトウェアのリバース エンジニアリングまで連続的に存在します。

パターン認識は、受信メッセージを選択し、パターンブックと比較して、さまざまな方法でフィルタリングまたは処理する機能です。

正規化は、メッセージ部分を同じ形式（共通の日付形式や正規化された IP アドレスなど）に変換する機能です。

分類とタグ付けとは、メッセージを異なるクラスに分類したり、後で使用するために (フィルタリングや表示など) 異なるキーワードでタグ付けしたりすることです。

相関分析は、さまざまなシステムからメッセージを収集し、1 つのイベントに属するすべてのメッセージ (たとえば、ネットワーク デバイス、ファイアウォール、サーバーなどのさまざまなシステムでの悪意のあるアクティビティによって生成されたメッセージ) を見つけるテクノロジです。通常は、アラート システムに接続されます。

人為的無視は機械学習の一種で、興味深くないとわかっているログエントリを破棄するプロセスです。人為的無視は、動作中のシステムで異常を検出する方法です。ログ分析では、これは、システムの通常の操作から生じる通常の一般的なログメッセージを認識して無視することを意味します。ただし、これまでログに表示されなかった新しいメッセージは重要なイベントを示している可能性があるため、調査する必要があります。^{[1] [2]}異常に加えて、アルゴリズムは発生しなかった一般的なイベントも識別します。たとえば、毎週実行されるシステム更新が実行されなかったなどです。

ログ分析は、アプリケーション パフォーマンス管理(APM) やエラー監視などの他の分析ツールと比較されることがよくあります。これらの機能の多くは明らかに重複していますが、違いはプロセスにあります。APM はパフォーマンスを重視しており、運用で最も多く利用されています。エラー監視は運用ではなく開発者によって行われ、例外処理ブロックのコードに統合されます。

• 監査証跡
• データロガー
• ログモニター
• サーバーログ
• システムモニター
• Webログ分析ソフトウェア
• ウェブ解析ソフトウェアの一覧