安全告警自动化分析降噪方法、装置及服务器

技术领域

本发明涉及态势感知的技术领域，尤其是涉及一种安全告警自动化分析降噪方法、装置及服务器。

背景技术

态势感知平台是一种安全监控系统，具有实时监测、预警、分析和响应等功能，态势感知平台在使用时会接入各种安全设备、业务系统的告警和日志数据，当部分威胁检测规则存在配置不当或业务行为不规范时，可能导致平台产生海量的错误或无效告警(即告警噪声)。目前，相关技术提出，可以通过人工分析确定态势感知平台中存在的告警问题，但人工分析过分依赖安全人员的经验水平，从而导致实际效果的差异性较大，且耗时较长。

发明内容

有鉴于此，本发明的目的在于提供一种安全告警自动化分析降噪方法、装置及服务器，可以自动化检测告警噪声，从而提升安全告警分析结果的稳定性，并显著提升降噪效率。

第一方面，本发明实施例提供了一种安全告警自动化分析降噪方法，方法应用于态势感知平台，方法包括：获取分析维度集合、待处理告警信息和目标检测项；根据目标检测项和待处理告警信息中的关键词信息，对待处理告警信息进行维度采集处理，确定目标分析维度集合和目标告警信息，其中，目标告警信息为包括目标检测项的待处理告警信息；将历史分析经验数据固化为逻辑代码，并利用逻辑代码分别对各项目标分析维度中的目标告警信息进行数据分析处理，确定告警噪声信息，其中，告警噪声信息为误报告警信息。

在一种实施方式中，根据目标检测项和待处理告警信息中的关键词信息，对待处理告警信息进行维度采集处理，确定目标分析维度集合和目标告警信息的步骤，包括：利用目标检测项在分析维度集合中确定目标分析维度集合；根据各项目标分析维度对应的维度采集逻辑，分别对待处理告警信息进行维度采集处理，确定目标告警信息，其中，维度采集逻辑包括：条件过滤和逐层聚合。

在一种实施方式中，根据各项目标分析维度对应的维度采集逻辑，分别对待处理告警信息进行维度采集处理，确定目标告警信息的步骤，包括：根据目标检测项对待处理告警信息进行条件过滤处理，得到初步筛选结果；利用待处理告警信息中的关键词信息，对初步筛选结果进行逐层聚合处理，确定目标告警信息。

在一种实施方式中，在确定目标告警信息的步骤之后，包括：通过预设配置优化分析模型对目标告警信息进行反推处理，确定态势感知平台的平台配置问题。

在一种实施方式中，在分析维度集合、待处理告警信息和目标检测项的步骤之前，包括：获取态势感知平台的平台信息，并利用平台信息对态势感知平台进行性能检测处理，确定性能检测结果，其中，平台信息包括：平台规则版本、已接入的安全设备、平台运行状态和告警白名单配置，当性能检测结果为通过时，允许态势感知平台进行安全告警自动化分析。

在一种实施方式中，在确定告警噪声信息的步骤之后，包括：根据预设标准格式信息对告警噪声信息的格式进行调整，确定标准告警噪声信息，其中，在标准告警噪声信息中，目标分析维度与目标告警信息为一一对应关系；对标准告警噪声信息进行模板匹配处理，确定目标告警噪声信息；将目标告警噪声信息存储至报告文件中。

在一种实施方式中，对标准告警噪声信息进行模板匹配处理，确定目标告警噪声信息的步骤，包括：对目标告警噪声信息进行数据类型分析，确定输入数据类型和数据集；将预设描述模板集合与输入数据类型和数据集进行匹配，确定目标描述模板；将标准告警噪声信息与目标描述模板结合，生成目标告警噪声信息。

第二方面，本发明实施例还提供一种安全告警自动化分析降噪装置，装置应用于态势感知平台，装置包括：数据获取模块，获取分析维度集合、待处理告警信息和目标检测项；维度采集模块，根据目标检测项和待处理告警信息中的关键词信息，对待处理告警信息进行维度采集处理，确定目标分析维度集合和目标告警信息，其中，目标告警信息为包括目标检测项的待处理告警信息；数据分析模块，将历史分析经验数据固化为逻辑代码，并利用逻辑代码分别对各项目标分析维度中的目标告警信息进行数据分析处理，确定告警噪声信息，其中，告警噪声信息为误报告警信息。

第三方面，本发明实施例还提供一种服务器，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现第一方面提供的任一项的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项的方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种安全告警自动化分析降噪方法、装置及服务器，在获取分析维度集合、待处理告警信息和目标检测项后，根据目标检测项和待处理告警信息中的关键词信息，对待处理告警信息进行维度采集处理，确定目标分析维度集合和目标告警信息，并将历史分析经验数据固化为逻辑代码，并利用逻辑代码分别对各项目标分析维度中的目标告警信息进行数据分析处理，确定告警噪声信息，本发明实施例可以自动化检测告警噪声，从而提升安全告警分析结果的稳定性，并显著提升降噪效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种安全告警自动化分析降噪方法的流程示意图；

图2为本发明实施例提供的一种安全告警自动化分析降噪方法的示意图；

图3为本发明实施例提供的一种安全告警自动化分析降噪装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，态势感知平台是一种安全监控系统，具有实时监测、预警、分析和响应等功能，该平台通过收集、处理和分析来自多种安全设备和系统的数据，以便帮助用户了解当前的安全态势并及时采取措施应对威胁，在现代化的信息化环境下，态势感知平台已成为保障网络安全的重要手段之一；态势感知平台在使用时会接入各种安全设备、业务系统的告警和日志数据，当部分威胁检测规则配置不当或业务行为不规范，则可能导致平台产生海量的错误或无效告警(即告警噪声)，真正需要分析和处置的攻击告警则会变得难以发现，因此，在态势感知平台运行初期，需要清除告警噪声，现有技术提出，可以通过人工分析确定态势感知平台中存在的告警问题，使安全人员直接操作态势感知平台，通过告警检索、告警聚合、平台配置项检查、探针配置项检查等方式，判断态势感知平台中告警存在的问题；但由于人工检测非常依赖于安全人员的经验水平，因此实际检测效果的差异性较大，检测分析结果的稳定性较差，此外，手动对平台告警和配置进行检查分析，记录问题并汇总报告，需要投入较大的时间成本，基于此，本发明实施提供的安全告警自动化分析降噪方法，可以自动化检测告警噪声，从而提升安全告警分析结果的稳定性，并显著提升降噪效率。

参见图1所示的一种安全告警自动化分析降噪方法的流程示意图，该方法应用于态势感知平台，方法主要包括以下步骤S102至步骤S106：

步骤S102，获取分析维度集合、待处理告警信息和目标检测项，在一种实施方式中，可以通过安全人员收集和总结各种场景特征，将每一个场景作为一个分析维度，建立分析维度集合；态势感知平台接入各种安全设备、业务系统时会接收到各种告警信息和日志数据，当部分威胁检测规则配置不当或业务行为不规范，则可能导致平台产生海量的错误或无效告警(即告警噪声)，待处理告警信息为上述过程中接收到的告警噪声的集合；目标检测项为安全告警自动化分析降噪过程中，需要分析的告警信息或日志数据的具体类别(诸如，XSS攻击(Cross Site Scripting，跨站脚本攻击)，TLS(Transport LayerSecurity，传输层安全性))，在一种实施方式中，可以使具有足够权限的用户通过请求后端接口，以用户名口令的方式登录，或用户以手动登录平台后获取cookie，从而获取分析维度集合、待处理告警信息和目标检测项等数据。

步骤S104，根据目标检测项和待处理告警信息中的关键词信息，对待处理告警信息进行维度采集处理，确定目标分析维度集合和目标告警信息，其中，目标告警信息为包括目标检测项的待处理告警信息，待处理告警信息中的关键词信息为聚合字段，可以包括告警名称、告警类型、攻击方向和攻击结果等，在一种实施方式中，可以按照不同的分析维度选择不同的筛选条件和聚合条件，采集对应的日志或告警信息，首先根据目标检测项对海量的待处理告警信息进行初步筛选，再通过关键词信息将聚合字段相同的待处理告警信息分配至同一分组，每个分组中的告警采集一条，从而得到目标告警信息和与目标告警信息对应的目标分析维度集合，其中，目标分析维度与目标告警信息可以为一一对应关系。

步骤S106，将历史分析经验数据固化为逻辑代码，并利用逻辑代码分别对各项目标分析维度中的目标告警信息进行数据分析处理，确定告警噪声信息，其中，告警噪声信息为误报告警信息，在一种实施方式中，通过历史分析经验数据固化后的逻辑代码对采集到的数据进行多维度分析，并将分析结果以文档形式输出，在另一种实施方式中，原始日志(或简称日志)是由安全设备、应用系统等数据源推送到态势感知平台的原始数据，包括告警类日志、运行状态日志、审计日志等。态势感知平台接收到原始日志后，会使用各类分析模型对其进行检测，从而将其中的安全威胁以告警的形式输出。告警信息通常包括告警级别、告警类型、告警时间、告警描述等内容，用于帮助安全团队分析和处置安全威胁，在一种实施方式中，可以将上述步骤中的告警信息替换为日志数据，采取同样的方法可以对日志数据进行降噪处理。

本发明实施例提供的上述安全告警自动化分析降噪方法，自动化检测告警噪声，从而提升安全告警分析结果的稳定性，并显著提升降噪效率。

参见图2所示的一种安全告警自动化分析降噪方法的示意图，本发明实施例还提供了一种对告警信息进行分析降噪的实施方式，具体的参见如下(1)至(2)：

(1)从态势感知平台采集分析时所需的数据的步骤，包括如下：(a)至(b)：

(a)获取态势感知平台的平台信息，并利用平台信息对态势感知平台进行性能检测处理，确定性能检测结果，从而判断态势感知平台能够正常完成异常监测任务，其中，平台信息包括：平台规则版本、已接入的安全设备、平台运行状态和告警白名单配置，当性能检测结果为通过时，允许态势感知平台进行安全告警自动化分析，在一种实施方式中，可以通过平台的OpenAPI获取态势感知平台的平台信息。

(b)利用目标检测项在分析维度集合中确定目标分析维度集合，并根据各项目标分析维度对应的维度采集逻辑，分别对待处理告警信息进行维度采集处理，确定目标告警信息，其中，维度采集逻辑包括：条件过滤和逐层聚合。在一种实施方式中，平台告警的采集是数据采集模块的核心，在确定不同分析维度所需要采集的告警数据后，将采集逻辑写入配置文件，最后由采集模块执行对应的采集逻辑，即可获取目标告警信息，具体的，根据目标检测项对待处理告警信息进行条件过滤处理，得到初步筛选结果，从而在海量待处理告警信息中筛选出想要的部分，利用待处理告警信息中的关键词信息，对初步筛选结果进行逐层聚合处理，聚合字段值相同的告警会进入同一分组，每个分组中的告警采集一条，从而确定目标告警信息，其中，在进行逐层聚合处理后，还可以将筛选后的待处理告警信息进一步去重，保留关键信息的同时减少采集的数据量。

(2)基于已固化的分析经验对采集的数据进行自动化分析，并将标准化的分析结果和处置建议以自然语言的形式输出的步骤，包括如下：(A)至(B)：

(A)安全人员收集和总结各种场景特征后，将每一个场景作为一个分析维度，并分别编写成逻辑代码(分析经验固化)，按照每个分析场景获取到告警或原始日志数据后，执行相应的逻辑代码对告警或原始日志数据进行特征检测，并对满足判断条件的误报告警进行输出，其中，这些场景特征可以包括攻击方向、攻击类型、攻击来源和目标等，在一种实施方式中，在进行输出时，每一个分析维度将对应一个类型ID，并且需要输出不同的数据内容，其中，标准格式如下所示：{”type”:”A_01”,”data”:{”ip”:[”192.168.10.10”]}}，在另一种实施方式中，可以通过预设配置优化分析模型对目标告警信息进行反推处理，通过对采集的异常日志或告警进行反推，确定态势感知平台的平台配置问题。

在实际应用中，对告警信息XXS误报进行分析：XSS攻击(Cross Site Scripting，跨站脚本攻击)是对Web网站进行攻击的一种方式，攻击者可以通过向网站中插入恶意脚本，达到盗取用户帐户，修改用户设置，盗取/污染cookie，网页篡改等目的，XSS漏洞探测攻击通常表现为单来源或少数攻击来源对同一目标网站发起，并触发大量告警，而除了真实的漏洞探测行为，部分正常的业务行为也可能导致流量检测设备的XSS攻击告警，如传递的接口参数中包含尖括号等特殊字符，当正常访问请求被识别为XSS攻击时，则会出现大量来源IP对目标系统发起攻击的告警。因此，总结出误报特征如下：目的IP存在大量XSS告警，但TOP10的来源IP产生的告警在告警总量中的占比小于30％(即告警来源分布非常松散)。根据以上误报特征，数据收集模块首先筛选出XSS类攻击告警，按照目标站点字段聚合并分别统计每个聚合分组的告警数量，再按照来源IP字段聚合并分别统计每个聚合分组的告警数量。数据分析模块对以上信息进行统计及判断，将符合误报特征的目标站点输出，格式如下所示：{”type”:”A_01”,”data”:{”domain”:[”www.example1.com”,”www.example2.com”]}}。

在实际应用中，对加密通信流量未解析的情况进行检测时，由于应用层通信流量多为基于TLS协议的加密流量，其中，TLS(Transport Layer Security，传输层安全性)是一种加密协议，用于在计算机网络上提供安全的数据传输。TLS协议的主要目的是确保通信的隐私和完整性，以防止数据在传输过程中被窃听、篡改或伪造，TLS协议通常用于保护Web应用程序、电子邮件通信以及其他需要保密性和数据完整性的应用程序；当内部服务器的通信密钥未在流量检测设备中配置时，流量检测设备无法对通信流量进行解析，也无法对其中的攻击流量进行检测，造成极大的安全隐患，未经解析的应用流量会以TLS协议通信日志的形式推送到态势感知平台，因此，可以利用数据收集模块从原始日志中筛选出外对内、内对内的TLS协议通信日志，并按照SNI字段进行聚合，其中，SNI(Server Name Indication，服务器名称指示)是一种TLS扩展，允许客户端指定连接的服务器的主机名。当一个Web服务器托管多个域名时，SNI可以帮助服务器区分来自不同域名的请求，并选择正确的证书进行加密连接，因此，可以通过SNI来标识服务器上的一个开放服务，数据分析模块从采集到的数据中提取出所有的SNI，最后以数据列表的格式输出，其中，格式如下所示：{”type”:”A_02”,”data”:{”domain”:[”www.example1.com”,”www.example2.com”]}}。

(B)每个分析维度的每一种输出都需要有对应的详细描述和处置建议，当告警噪声信息后，根据预设标准格式信息对告警噪声信息的格式进行调整，确定标准告警噪声信息，对标准告警噪声信息进行模板匹配处理，确定目标告警噪声信息，并将目标告警噪声信息存储至报告文件中，其中，在标准告警噪声信息中，目标分析维度与目标告警信息为一一对应关系，在一种实施方式中，可以对目标告警噪声信息进行数据类型分析，确定输入数据类型和数据集，并将预设描述模板集合与输入数据类型和数据集进行匹配，确定目标描述模板，将标准告警噪声信息与目标描述模板结合，使标准告警噪声信息填充到目标描述模板，生成目标告警噪声信息，其中，目标告警噪声信息为告警噪声的描述文本。

综上所述，本申请可以通过条件过滤和逐层聚合的方式采集数据，并将分析经验固化为代码逻辑，对态势感知平台数据进行自动化的采集和分析，从而保证分析质量的稳定，并且通过将大部分重复动作代码化，可以极大地提高安全人员的分析和总结效率。

对于前述实施例提供的安全告警自动化分析降噪方法，本发明实施例提供了一种安全告警自动化分析降噪装置，该装置应用于态势感知平台，参见图3所示的一种安全告警自动化分析降噪装置的结构示意图，该装置包括以下部分：

数据获取模块302，获取分析维度集合、待处理告警信息和目标检测项；

维度采集模块304，根据目标检测项和待处理告警信息中的关键词信息，对待处理告警信息进行维度采集处理，确定目标分析维度集合和目标告警信息，其中，目标告警信息为包括目标检测项的待处理告警信息；

数据分析模块306，将历史分析经验数据固化为逻辑代码，并利用逻辑代码分别对各项目标分析维度中的目标告警信息进行数据分析处理，确定告警噪声信息，其中，告警噪声信息为误报告警信息。

本申请实施例提供的上述数据处理装置，可以自动化检测告警噪声，从而提升安全告警分析结果的稳定性，并显著提升降噪效率。

一种实施方式中，在进行根据目标检测项和待处理告警信息中的关键词信息，对待处理告警信息进行维度采集处理，确定目标分析维度集合和目标告警信息的步骤时，上述维度采集模块304还用于：利用目标检测项在分析维度集合中确定目标分析维度集合；根据各项目标分析维度对应的维度采集逻辑，分别对待处理告警信息进行维度采集处理，确定目标告警信息，其中，维度采集逻辑包括：条件过滤和逐层聚合。

一种实施方式中，在进行根据各项目标分析维度对应的维度采集逻辑，分别对待处理告警信息进行维度采集处理，确定目标告警信息的步骤时，上述维度采集模块304还用于：根据目标检测项对待处理告警信息进行条件过滤处理，得到初步筛选结果；利用待处理告警信息中的关键词信息，对初步筛选结果进行逐层聚合处理，确定目标告警信息。

一种实施方式中，在进行确定目标告警信息的步骤之后，上述维度采集模块304还用于：通过预设配置优化分析模型对目标告警信息进行反推处理，确定态势感知平台的平台配置问题。

一种实施方式中，在进行分析维度集合、待处理告警信息和目标检测项的步骤之前，上述数据获取模块302还用于：获取态势感知平台的平台信息，并利用平台信息对态势感知平台进行性能检测处理，确定性能检测结果，其中，平台信息包括：平台规则版本、已接入的安全设备、平台运行状态和告警白名单配置，当性能检测结果为通过时，允许态势感知平台进行安全告警自动化分析。

一种实施方式中，在进行确定告警噪声信息的步骤之后，上述数据分析模块306还用于：根据预设标准格式信息对告警噪声信息的格式进行调整，确定标准告警噪声信息，其中，在标准告警噪声信息中，目标分析维度与目标告警信息为一一对应关系；对标准告警噪声信息进行模板匹配处理，确定目标告警噪声信息；将目标告警噪声信息存储至报告文件中。

一种实施方式中，在进行对标准告警噪声信息进行模板匹配处理，确定目标告警噪声信息的步骤时，上述数据分析模块306还用于：对目标告警噪声信息进行数据类型分析，确定输入数据类型和数据集；将预设描述模板集合与输入数据类型和数据集进行匹配，确定目标描述模板；将标准告警噪声信息与目标描述模板结合，生成目标告警噪声信息。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。

图4为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。

其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。

处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。