掌桥专利:专业的专利平台
掌桥专利
首页

报告评价方法及系统

文献发布时间:2023-06-19 18:37:28


报告评价方法及系统

技术领域

本公开涉及报告质量检测技术,具体地,涉及一种报告评价方法及系统。

背景技术

目前,包括新能源电站电力监控系统在内的网络与信息系统实行分级管理,即将其按照重要性和受破坏后的危害性分成5个安全保护等级(1-5级),然后委托等级测评机构对网络与信息系统进行安全等级测评。其中,安全等级测评的目的是通过对目标系统在安全技术及管理方面的测评,对其安全技术状态及安全管理状况做出初步判断,并给出目标系统在安全技术及安全管理方面与其相应安全等级保护要求之间的差距。

并且,各测评机构在交付测评报告之前需要进行人工审核以对测评报告进行内部质控。但由于测评机构的测评任务繁重、测评报告覆盖内容繁杂以及测评报告的时效性要求高等因素,人工审核测评报告的方式存在效率和准确度较低。

发明内容

本公开的目的是提供一种报告评价方法及系统,以解决人工审核测评报告的方式存在效率和准确度较低的问题。

为了实现上述目的,本公开的第一方面提供一种报告评价方法,所述方法包括:

接收测评报告和所述测评报告对应的测评对象的基本信息数据;

根据所述基本信息数据和预设的基线审查知识库对所述测评报告进行定性审查,得到定性审查结果;

若所述定性审查结果表征所述测评报告的定性审查合格,则根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果;

根据所述定量审查结果确定所述测评报告的评价结果。

可选地,所述定量审查知识库包括技术审查知识库和形式审查知识库,所述根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果,包括:

根据所述基本信息数据和所述技术审查知识库对所述测评报告进行技术审查得到技术审查结果;

根据所述基本信息数据和所述形式审查知识库对所述测评报告进行形式审查得到形式审查结果;

所述根据所述定量审查结果确定所述测评报告的评价结果,包括:

根据所述技术审查结果和所述形式审查结果确定所述测评报告的评价结果。

可选地,所述测评报告包括多个测评项目,所述根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果,包括:

根据所述基本信息数据和所述定量审查知识库对所述多个测评项目进行定量审查,将所述多个测评项目中定量审查不合格的测评项目数作为所述定量审查结果;

所述根据所述定量审查结果确定所述测评报告的评价结果,包括:

将所述多个测评项目中定量审查不合格的测评项目数与预设的项目分值相乘得到定量审查评分;

将预设总评分与所述定量审查评分相减得到目标评分,若所述目标评分大于预设评分阈值,则输出表征所述测评报告合格的评价结果。

可选地,所述方法还包括:

在所述根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果之前,根据预设的拆分规则将所述测评报告拆分为多个待审片段;

所述根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果,包括:

根据所述基本信息数据和所述定量审查知识库对所述多个待审片段进行定量审查,得到所述定量审查结果。

可选地,所述方法还包括:

在根据所述基本信息数据和预设的基线审查知识库对所述测评报告进行定性审查,得到定性审查结果之前,对所述测评报告和所述基本信息数据进行预处理,以使所述测评报告和所述基本信息数据满足定性审查和/或定量审查的格式要求。

本公开的第二方面还提供一种报告评价系统,所述系统包括:

接收模块,用于接收测评报告和所述测评报告对应的测评对象的基本信息数据;

定性审查模块,用于根据所述基本信息数据和预设的基线审查知识库对所述测评报告进行定性审查,得到定性审查结果;

定量审查模块,用于若所述定性审查结果表征所述测评报告的定性审查合格,则根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果;

确定评价结果模块,用于根据所述定量审查结果确定所述测评报告的评价结果。

可选地,所述定量审查知识库包括技术审查知识库和形式审查知识库,所述定量审查模块包括技术审查模块和形式审查模块;

所述技术审查模块,用于根据所述基本信息数据和所述技术审查知识库对所述测评报告进行技术审查得到技术审查结果;

所述形式审查模块,用于根据所述基本信息数据和所述形式审查知识库对所述测评报告进行形式审查得到形式审查结果;

所述确定评价结果模块,还用于根据所述技术审查结果和所述形式审查结果确定所述测评报告的评价结果。

可选地,所述测评报告包括多个测评项目,所述定量审查模块还用于:根据所述基本信息数据和所述定量审查知识库对所述多个测评项目进行定量审查,将所述多个测评项目中定量审查不合格的测评项目数作为所述定量审查结果;

所述确定评价结果模块还用于:

将所述多个测评项目中定量审查不合格的测评项目数与预设的项目分值相乘得到定量审查评分;

将预设总评分与所述定量审查评分相减得到目标评分,若所述目标评分大于预设评分阈值,则输出表征所述测评报告合格的评价结果。

可选地,所述系统还包括拆分模块;

所述拆分模块,用于在所述根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果之前,根据预设的拆分规则将所述测评报告拆分为多个待审片段;

所述定量审查模块,还用于根据所述基本信息数据和所述定量审查知识库对所述多个待审片段进行定量审查,得到所述定量审查结果。

可选地,所述系统还包括预处理模块,所述预处理模块用于在根据所述基本信息数据和预设的基线审查知识库对所述测评报告进行定性审查,得到定性审查结果之前,对所述测评报告和所述基本信息数据进行预处理,以使所述测评报告和所述基本信息数据满足定性审查和/或定量审查的格式要求。

通过上述技术方案,至少能够达到以下技术效果:

接收测评报告和测评报告对应的测评对象的基本信息数据,然后根据基本信息数据和预设的基线审查知识库对测评报告进行定性审查,得到定性审查结果,若定性审查结果表征测评报告的定性审查合格,则根据基本信息数据和预设的定量审查知识库对测评报告进行定量审查得到定量审查结果,最后根据定量审查结果确定测评报告的评价结果。采用该方法,能够对测评报告进行定性审查和定量审查,并根据定量审查结果确定测评报告的评价结果,相较于人工审核测评报告的方式效率高、减少人工成本,并且不容易漏测,提高对测评报告进行质量评价的准确度。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:

图1是本公开实施例示出的一种报告评价方法的流程示意图;

图2是本公开实施例示出的另一种报告评价方法的流程示意图;

图3是本公开实施例示出的一种报告评价系统的示意图;

图4是本公开实施例示出的另一种报告评价系统的示意图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。

应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

新能源电站在信息技术的推动下进一步从相对封闭的状态走向开放、联动的智慧能源网,电力监控系统作为连接电力系统和信息系统的桥梁,其安全关系到电站乃至电网的安全。为了避免电力监控系统遭受非法入侵,通常会针对性地开展电力监控系统网络安防工作。

目前,对包括新能源电站电力监控系统在内的网络与信息系统实行分级管理,即将其按照重要性和受破坏后的危害性分成5个安全保护等级(1-5级),并对电力监控系统定期开展监督检查,以及委托等级测评机构进行等级测评。其中,等级测评的目的是通过对目标系统在安全技术及管理方面的测评,对其安全技术状态及安全管理状况做出初步判断,并给出目标系统在安全技术及安全管理方面与其相应安全等级保护要求之间的差距。

因此,作为整个等级测评过程中的重要输出产物,测评报告是测评技术人员基于现场的访谈、测试、核查结果与凭证,按照等级测评领域有关结构化模板撰写的综合报告,其一般分为网络安全等级测评基本信息表、等级测评结论、总体评价等多个组成部分。并且为了保证其评定结果的公正性、可信度与准确性,,各测评机构在向委托单位交付测评报告前往往会通过人工审核,对测评报告进行内部质控。但鉴于当前各测评机构测评任务繁重、测评报告覆盖内容繁杂、监管单位与业主对报告交付时效性要求高等情况,人工审核测评报告的方式存在效率低、盲点多、易出错、人力资源消耗大等问题。

有鉴于此,本公开提供一种报告评价方法及系统,以解决上述问题。

下面对本公开的技术方案进行详细的实施例说明。

参照图1,本公开提供一种报告评价方法,所述方法包括:

S101、接收测评报告和测评报告对应的测评对象的基本信息数据。

S102、根据基本信息数据和预设的基线审查知识库对测评报告进行定性审查,得到定性审查结果。

S103、若定性审查结果表征测评报告的定性审查合格,则根据基本信息数据和预设的定量审查知识库对测评报告进行定量审查得到定量审查结果。

S104、根据定量审查结果确定测评报告的评价结果。

采用上述方法,能够对测评报告进行定性审查和定量审查,并根据定量审查结果确定测评报告的评价结果,相较于人工审核测评报告的方式效率高、减少人工成本,并且不容易漏测,提高对测评报告进行质量评价的准确度。

为了使得本领域技术人员更加理解本公开提供的报告评价方法,下面对上述各步骤进行详细举例说明。

在可能的方式中,所述方法还包括:在根据基本信息数据和预设的基线审查知识库对测评报告进行定性审查,得到定性审查结果之前,对测评报告和基本信息数据进行预处理,以使测评报告和基本信息数据满足定性审查和/或定量审查的格式要求。

示例地,测评对象的基本信息数据包括测评项目基本情况表、系统备案证明等,具体根据需求确定,这类数据可能是图片格式或pdf格式。针对测评对象的基本信息数据可以采用文字识别技术提取定性审查和/或定量审查所需的关键信息,例如系统名称、系统备案编号、信息系统级别、备案人员、测评时间等,文字识别技术可以是OCR文字识别技术,具体可以参考相关技术,本公开在此不作赘述。

示例地,针对测评报告可以通过文件后缀名识别的方式,判别其是否符合定性审查和/或定量审查的格式要求,例如doc、docx等,具体可以根据定性审查和/或定量审查的格式要求确定,本公开对此不作限定。若符合则接收,否则进行提示以使操作人员重新提交,例如在测评报告提交界面提示“测评报告格式不合格,重新提交”等。或者,利用文字识别技术或格式转换工具对测评报告进行处理,以使处理后的测评报告符合格式要求,等等,本公开对此不作限定。

进一步地,根据基本信息数据和预设的基线审查知识库对测评报告进行定性审查,得到定性审查结果。

示例地,基线审查知识库是按照相关行业要求并结合测评机构的关注的红线项目构建的,可以对测评报告进行快速的定性审查。基线审查知识库可以从以下3个方面对测评报告进行审查:

1、对比测评报告和基本信息数据,判断测评报告中是否存在基本信息错误,例如系统名称、安全保护等级、备案证证明编号等;

2、分析测评报告中拓扑结构图是否符合行业安全防护(例如电力行业)的基本要求,以新能源电站电力监控系统的基本要求为例:电力监控系统是否整体划分为安全I区、安全II、安全III区,安全I-II区边界是否构建了基于防火墙的逻辑隔离,安全II-III区边界是否构建了基于电力专用单向隔离装置的物理隔离,场站侧与调度侧是否构建了基于电力专用纵向加密装置的加密通信,安全III区与外网侧是否部署有边界防火墙等设备;

3、系统关键资产是否存在漏测累计达2个,高风险项判定结果是否漏判累计达2处。

示例地,基线审查知识库可以基于以上3个方面对测评报告进行一票否决的审查,例如任意一项基本信息错误即确定测评报告不合格,并结束审核流程。或者,可以不合格项目数多于预设项目数时,确定测评报告不合格,本公开对此不作限定。此外,上述3个方面是仅为示例性说明,具体可以按照相关行业要求进行调整和更新,以能够覆盖相关行业要求审核的项目为标准,本公开对此不作限定。

若定性审查结果表征测评报告的定性审查合格,在可能的方式中,所述方法还包括:在根据基本信息数据和预设的定量审查知识库对测评报告进行定量审查得到定量审查结果之前,根据预设的拆分规则将测评报告拆分为多个待审片段。根据基本信息数据和预设的定量审查知识库对测评报告进行定量审查得到定量审查结果可以是:根据基本信息数据和定量审查知识库对多个待审片段进行定量审查,得到定量审查结果。

示例地,可以根据需求对测评报告进行结构化拆分,以电力监控系统的测评报告为例,可以拆分为网络安全等级测评基本信息表、声明、等级测评结论、总体评价、主要安全问题及整改建议、目录、测评项目概述、被测评对象描述、单项测评结果分析、整体测评、安全问题风险缝隙、等级测评结论、安全问题整改建议、被测对象资产、上次测评问题整改情况说明、单向测评结果记录、漏洞扫描结果记录、渗透测试结果记录、威胁列表等多个待审片段。其中,每个待审片段包括一个或多个测评项目。

示例地,通过将测评报告拆分为多个待审片段,便于在定量审查时与基本信息数据和定量审查知识库进行对比,并且多个待审片段还可以进行多线程的定量审查,从而加快定量审查速度。当然,也可以不对测评报告进行拆分,具体可以根据后续定量审查的要求和用户需求确定,本公开对此不作限定。

进一步地,在可能的方式中,定量审查知识库包括技术审查知识库和形式审查知识库,根据基本信息数据和预设的定量审查知识库对测评报告进行定量审查得到定量审查结果可以是:根据基本信息数据和技术审查知识库对测评报告进行技术审查得到技术审查结果,根据基本信息数据和形式审查知识库对测评报告进行形式审查得到形式审查结果。根据定量审查结果确定测评报告的评价结果可以是:根据技术审查结果和形式审查结果确定测评报告的评价结果。

示例地,技术审查知识库和形式审查知识库是按照相关行业要求构建的,以电力监控系统为例,根据基本信息数据和技术审查知识库对测评报告进行技术审查主要包括以下内容:

1、测评记录与结果判定是否矛盾;

2、漏扫结果与相关资产结果记录是否矛盾;

3、同一控制点在总体评价、主要安全问题、已有安全措施、结果记录中的表述是否一致;

4、电力监控系统拓扑图是否不符合业务逻辑等。

示例地,根据基本信息数据和形式审查知识库对测评报告进行形式审查主要包括以下内容:

1、总体评价中描述是否达到10个层面;

2、测评过程的时间安排是否与项目基本情况表中的测评时间相符;

3、非首次测评是否缺失“上次测评问题整改情况说明”;

4、拓扑图与系统资产、测评对象名称是否一致;

5、测评报告页码是否与目录相符。

示例地,技术审查和形式审查可以同步进行,也可以先后进行,本公开对此不作限定。此外,还可以针对拆分后的测评报告进行技术审查,对未拆分的测评报告进行形式审查。需说明的是,上述技术审查和形式审查的审查内容仅为示例性说明,具体可以按照相关行业要求进行调整和更新,以能够覆盖相关行业要求审核的项目为标准,本公开对此不作限定。

在可能的方式中,测评报告包括多个测评项目,根据基本信息数据和预设的定量审查知识库对测评报告进行定量审查得到定量审查结果可以是:根据基本信息数据和定量审查知识库对多个测评项目进行定量审查,将多个测评项目中定量审查不合格的测评项目数作为定量审查结果。根据定量审查结果确定测评报告的评价结果可以是:将多个测评项目中定量审查不合格的测评项目数与预设的项目分值相乘得到定量审查评分,将预设总评分与定量审查评分相减得到目标评分,若目标评分大于预设评分阈值,则输出表征测评报告合格的评价结果。

示例地,多个测评项目的项目分值可以是相同的,也可以根据项目重要程度设置不同的项目分值,本公开对此不作限定。定量审查不合格的测评项目数与预设的项目分值相乘得到定量审查评分,再将预设总评分与定量审查评分相减得到目标评分,其中,预设总评分可以是预设值,例如100分,也可以的多个测评项目和对应的项目评分之和,本公开对此不作限定。若目标评分大于(或大于等于)预设评分阈值,则输出表征测评报告合格的评价结果,同时输出目标评分,或者目标评分小于预设评分阈值,则输出表征测评报告不合格的评价结果。其中,预设评分阈值可以根据需求确定,例如70分等,本公开对此不作限定。

示例地,可以将技术审查结果和形式审查结果中审查不合格的测评项目总数计算定量审查评分,也可以分别计算技术审查评分和形式审查评分。以预设总评分为100分,多个测评项目的项目评分相同且均为1为例,可以通过以下计算式计算目标评分:

目标评分=100-A*1-B*1

其中,A表示技术审查不合格项数,B表示形式审查不合格项数。还可以设置相应的权重进行计算,等等,本公开对此不作限定。

图2是本公开实施例示出的一种报告评价方法的流程示意图。参照图2,首先接收测评报告和基本信息数据,然后基于基线审查知识库进行定性审查,若定性审查合格则基于形式审查知识库进行形式审查,并且将测评报告拆分为多个待审片段在基于技术审查知识库进行技术审查,若定性审查不合格则判定测评报告不合格。进一步地,确定形式审查和技术审查的目标评分,若目标评分大于预设评分阈值则判定测评报告合格,否则判定测评报告不合格。

采用上述方法,通过构建相应的知识库能够覆盖相关行业要求审核的项目,减少审核盲点。并且进行定性审查和定量审查的过程中,能够全面覆盖测评报告的内容、不容易漏测,相较于人工审核测评报告的方式效率高、减少人工成本,并且,提高对测评报告进行质量评价的准确度。

需说明的是,上述报告评价方法除了可以应用于对电力监控系统的测评报告进行质量评价外,还可以用于对其他系统的测评报告进行质量评价,只要根据相应的行业标准构建相应的知识库和评价标准即可,本公开对此不作限定。

基于同一发明构思,本公开实施例还提供一种报告评价系统,参照图3所述系统包括:

接收模块301,用于接收测评报告和所述测评报告对应的测评对象的基本信息数据。

定性审查模块302,用于根据所述基本信息数据和预设的基线审查知识库对所述测评报告进行定性审查,得到定性审查结果。

定量审查模块303,用于若所述定性审查结果表征所述测评报告的定性审查合格,则根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果。

确定评价结果模块304,用于根据所述定量审查结果确定所述测评报告的评价结果。

采用上述系统,能够对测评报告进行定性审查和定量审查,并根据定量审查结果确定测评报告的评价结果,相较于人工审核测评报告的方式效率高、减少人工成本,并且不容易漏测,提高对测评报告进行质量评价的准确度。

可选地,所述定量审查知识库包括技术审查知识库和形式审查知识库,参照图4,所述定量审查模块303包括技术审查模块401和形式审查模块402;

所述技术审查模块401,用于根据所述基本信息数据和所述技术审查知识库对所述测评报告进行技术审查得到技术审查结果;

所述形式审查模块402,用于根据所述基本信息数据和所述形式审查知识库对所述测评报告进行形式审查得到形式审查结果;

所述确定评价结果模块304,还用于根据所述技术审查结果和所述形式审查结果确定所述测评报告的评价结果。

可选地,所述测评报告包括多个测评项目,所述定量审查模块303还用于:根据所述基本信息数据和所述定量审查知识库对所述多个测评项目进行定量审查,将所述多个测评项目中定量审查不合格的测评项目数作为所述定量审查结果;

所述确定评价结果模块304还用于:

将所述多个测评项目中定量审查不合格的测评项目数与预设的项目分值相乘得到定量审查评分;

将预设总评分与所述定量审查评分相减得到目标评分,若所述目标评分大于预设评分阈值,则输出表征所述测评报告合格的评价结果。

可选地,参照图4,所述系统还包括拆分模块305;

所述拆分模块305,用于在所述根据所述基本信息数据和预设的定量审查知识库对所述测评报告进行定量审查得到定量审查结果之前,根据预设的拆分规则将所述测评报告拆分为多个待审片段;

所述定量审查模块303,还用于根据所述基本信息数据和所述定量审查知识库对所述多个待审片段进行定量审查,得到所述定量审查结果。

可选地,参照图4,所述系统还包括预处理模块306,所述预处理模块306用于在根据所述基本信息数据和预设的基线审查知识库对所述测评报告进行定性审查,得到定性审查结果之前,对所述测评报告和所述基本信息数据进行预处理,以使所述测评报告和所述基本信息数据满足定性审查和/或定量审查的格式要求。

关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。

此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

技术分类

06120115637856