大数据信息安全日志分析法

大数据信息安全日志分析法

日志审计系统的基本组件

对于日志评审系统来说，它必须包括四个基本功能：收集信息、分析信息、存储信息和显示信息。

1） 日志功能：系统可以获取日志信息，需要通过一些技术手段进行验证。对于该函数，关键在于数据收集方法的类型、数据收集的范围以及数据收集的粒度（详细级别）。

2） 日志分析功能：对采集到的信息进行分析和验证，是协议审计系统的核心。审计的有效性直接体现在协议审计系统中。对于信息分析技术的实现，简单的技术可以与基于数据库的信息查询进行比较，而复杂的技术包括基于规则的审计。这包括使用实时相关性分析引擎技术，如统计审计、时间审计和基于人工智能的审计算法。

3） 日志存储功能：收集和验证的原始信息必须存储起来，以备将来参考，作为证据依据。该功能的核心是大量的信息存储技术和审计信息安全技术。

4） 信息显示功能：包括审计结果显示界面、统计分析报表功能、报警响应功能、设备链接功能等，这些功能直接反映审计的有效性。审计结果的可视化能力和报警响应方法是实现这一功能的关键。

大数据信息安全日志审计分析方法

1、海量数据采集：大数据采集过程的主要特点和挑战是高级并行性。因此，如果收集的数据量很大，分析平台的接收性能也将面临重大挑战。您可以使用恒定的压缩和加密算法来控制带宽，同时确保数据隐私和完整性。

2、数据预处理：为了有效地分析大数据环境中收集的大量数据，有必要对各种数据进行分类、标准化以及简单的组织和预处理。为了对大数据进行预处理，大数据审计平台是一个基于大数据集群的分布式计算平台。通过使用一个框架和一种新的技术架构，将基于大数据集群的复杂事件处理过程与实时规则分析引擎相结合。通过高效地并行运行多个规则，可以实时检测异常事件。

3、统计分析：根据数据分析的实时性，可分为实时数据分析和离线数据分析。大数据平台上用于数据预处理的分布式计算框架Storm适用于对大量数据进行实时统计计算，并能快速提供统计结果的反馈。Storm Framework采用严格高效的事件处理流程，确保计算过程中数据的准确性，并提供多个实时统计接口。

4、数据挖掘：数据挖掘是在没有明确假设的情况下获取信息和发现知识的过程，因此所获得的信息具有三个特点：未知性、有效性和实用性。与传统的统计和分析过程不同，大数据环境中的数据挖掘通常没有预定义的主题。它主要基于不同的算法计算现有数据，以实现预测结果，更好地满足高级数据分析的要求。