航天装备效能评价方法

技术领域

本发明涉及航天装备领域，具体涉及一种航天装备效能评价方法。

背景技术

航天装备具有技术难度大、试验复杂、样本量小、成本高等特点，在航天装备研制采办过程中，试验鉴定活动起到决策支撑作用；效能评价作为试验鉴定的关键组成部分，对于提升航天装备的质量具有重要作用。

以航天发展需求和任务为导向，以被评价对象准确、实时评价为目的，以提升航天装备战斗力为标准，以高效实用为原则，通过效能评价，纵览全局，清晰把握行业发展现状，为行业的规划设计提供决策支撑。

以往的航天装备效能评价研究主要集中在指标体系研究、算法研究等工作上，且都是侧重于一点展开研究，系统性、全面性的效能评估还需要进一步扩展和细化；对于不同装备、不同系统的算法选用上涉及不多，且算法选用验证鲜有看到。

发明内容

本发明提出一种航天装备效能评价方法，旨在解决目前航天装备效能评价不能兼顾系统性、全面性、科学性、准确性的问题。

为实现上述本发明的目的，本发明实施例的航天装备效能评价方法，所述方法包括：

S1，搭建航天装备效能评价指标体系；

S2，根据所述评价指标体系展开效能评价数据分析；

S3，效能评价算法分析；

S4，根据所述效能评价数据分析和所述效能评价算法分析选用合适的效能评价算法；

S5，制定效能评价准则，并使用选定的效能评价算法展开效能评价；

S6，根据效能评价结果展开效能评价算法选用验证。

在本发明的优选实施方式中，所述S1包括：

根据评价对象的结构和功能，搭建所述效能评价指标体系，其中，所述效能评价指标体系在横向上划分为多个门类、在纵向上划分为隶属于各门类下的多个层次，并对每个门类、每个层次分配权重，构建完备的指标体系，根据航天装备的不同任务，对所述完备的指标体系展开筛选优化，进一步搭建面向具体任务的评价指标体系。

在本发明的优选实施方式中，所述S2包括：

将效能评价数据划分为定性数据和定量数据；

对于定性数据，依靠专家的经验知识直接赋值；

对于定量数据，依据专业的采集设备或人工技术方式获得，此外，对于定量数据，还需要开展数据规范化处理，所述数据规范化处理包括成本型、效益型、区间型模型规范化处理。

在本发明的优选实施方式中，所述S3包括：

所述效能评价算法包括基础聚合算法、层次分析法、模糊综合法、理想点接近法、德尔菲法和ADC算法。

在本发明的优选实施方式中，所述S4包括：

根据效能评价数据的类型、评价对象的特点、算法的便捷性、算法的实际使用经验从所述效能评价算法中选取合适的算法；

其中，定性数据为主的评价选用模糊综合法，定量数据为主的评价选用ADC算法，定性定量交叉融合的评价选用层次分析法或模糊综合法，常用的评价方法选用基础聚合算法，两个及两个以上的评价对象选用理想点接近法。

在本发明的优选实施方式中，所述S5中效能评价准则包括：

评价结果得分为0-20，评价准则为优；

评价结果得分为20-40，评价准则为良好；

评价结果得分为40-60，评价准则为中；

评价结果得分为60-80，评价准则为一般；评价结果得分为80-100，评价准则为差。

在本发明的优选实施方式中，所述S6包括：

验证措施包括：以真实结果开展方差分析验证、以专家经验判断验证和以多种算法的平均值进行验证。

在本发明的优选实施方式中，所述S6中，所述以真实结果开展方差分析验证包括：

原假设H

备择假设H

其中，第一算法和第二算法均选自所述S3中的效能评价算法；

将第一算法和第二算法的效能评价结果总差异分为组间离差平方和以及组内离差平方和；

总离差平方和SST；

其中，k为水平数，m

总离差平方和自由度dfT：

组间离差平方和SSA：

其中，

组间离差平方和自由度dfA：

dfA＝k-1组内离差平方和SSE：

组内离差平方和自由度dfE：

组间离差平方和SSA与组内离差平方和SSE分别除以各自的自由度，得到组间平均平方和MSA与组内平均平方和MSE；

卡方分布值F用组间平均平方和除以组内平均平方和得到，即：

根据卡方分布值F进行方差分析从而确定P值；

确定本次验证的显著性阈值为q，则P＞q时，表明第一算法比第二算法计算准确度高；P＞q时，表明第一算法不如第二算法计算准确度高。

在本发明的优选实施方式中，所述S6中，所述以多种算法的平均值进行验证包括：

当装备效能真实结果难以采集量化时，对于适合某装备效能评价的多种算法取平均值，其中最接近平均值的算法定为最佳算法。

本发明实施例的航天装备效能评价方法，开展航天装备效能评价指标体系搭建、精细化的数据研究、差异化的评价算法选用分析、效能评价规则制定、系列化的评价算法选用验证措施论证，其中，指标体系搭建是核心、数据研究是基础，评价算法分析是关键、评价规则制定是支撑、算法选用验证措施的论证是保障，航天装备效能综合评价方法不但体现了整体性、系统性，又在算法选择、验证等方面提出创新；即有前期资源的有效重组，又有重组基础上的局部创新，本方法对于航天装备试验鉴定的发展具有一定的现实指导意义，有助于推动航天装备质量的提升。

本发明的方法适用于一整套装备效能评价，核心思想包括效能评估的资源重组(包括指标体系搭建、数据研究分析、差异化评估算法动态选用、评估准则制定等方面系统性的精细化协调配合)、算法选用验证等关键技术。本发明的航天装备效能评价方法是集成化、系统性的评价方法，其内容边界清晰、前后协调、相互统一，有继承、有创新，本发明的方法为航天装备的发展注入新能量、激发新动能、构筑强内核，有效提升航天装备战斗力，助推航天企业高质量、高效率、高效益发展。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的航天装备效能评价方法的原理示意图；

图2为本发明实施例的航天装备效能评价方法的流程示意图；

图3为本发明实施例的航天装备效能评价指标体系的示意图；

图4为本发明实施例的航天装备效能评价算法选用建议的示意图；

图5为本发明实施例的航天装备效能评价算法合理性对比的示意图。

具体实施方式

此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。

此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。

如图1所示，本发明的航天装备效能评价方法主要思路为：首先明确评价对象(航天装备)，阐述航天装备的结构、功能和任务；初步构建航天装备指标体系，开展指标体系权重计算，基于权重计算和不同的任务实施指标体系优化；聚焦效能评价算法研究分析，论证提出效能评价算法选用原则，依据效能评价准则，得出评价结果；创新提炼不同算法评价结果验证方法，识别最优评价算法，为航天装备效能更准确评价提供保障。

如图2所示，本发明实施例的航天装备效能评价方法包括：

S1，搭建航天装备效能评价指标体系。

具体而言，基于评价对象的结构、功能搭建指标体系，运用结构化思维对指标体系结构实施精细化分类，在横向上形成门类，保证指标的横向平衡；在纵向上形成层次，确保指标的纵向到底。在完备性的基础上，依据航天装备不同任务，对完备的指标体系展开筛选优化，并搭建面向任务的、科学合理的指标体系。

例如，如图3所示，是一种常见的航天装备效能评价指标体系的示意图，在航天装备效能评价下包括四个一级指标：作战效能(权重为B

S2，根据所述评价指标体系展开效能评价数据分析。

具体而言，分析数据均选取自步骤S1中的评价体系中，例如以各二级指标作为数据分析。数据是开展航天装备效能评价的基础，数据分定性数据与定量数据：对于定性数据，依靠专家的知识经验积累直接赋值；对于定量数据，依据专业的采集设备或人工计数等方式获得，对于定量数据，需要开展数据规范化处理，一般采取成本型、效益型、区间型模型开展定量数据的规范化处理。

S3，效能评价算法分析。

具体而言，本实施例可采用包括基础聚合算法、层次分析法、模糊综合法、理想点接近法、德尔菲法和ADC算法六种算法。

基础聚合算法对包括加权和法、乘积法；加权和法将每个指标赋予权重后，在进行整体求和；乘积法是将具有一定先后顺序，且后者是以前者为条件的场合，则可将一系列先后概率相乘。

层次分析法简明易用，化繁为简，是定性与定量相结合的效能评价方法。

模糊综合法适应于不易量化、模糊的多指标聚合问题，基于模糊数学对多种因素制约的对象开展评价的方法。

理想点接近法(Technique for Order Preference by Similiarity to anideal Solution，TOPSIS)是依据正负理想状态序列与各个决策方案指标序列的距离来进行排序决策的方法。

ADC模型是目前评价复杂装备系统效能的常用方法，其公式透明性好，易于理解和计算，可以进行变量间关系的分析，应用方便。

德尔菲法是基于专家经验积累，对相关问题做出决策、评价的方法。

基于效能评价算法理论研究分析，结合算法实际运用积累经验，数据的类型(包括定性数据和定量数据的分布)、被评价对象的特点、算法使用的便捷性等是评价算法选用的关键，其优缺点的比较也是从这几个维度出发开展研究分析，各算法的优缺点如下表所示：

表1效能评价算法优缺点比较

S4，根据所述效能评价数据分析和所述效能评价算法分析选用合适的效能评价算法。

具体而言，基于对上述效能评价算法的对比分析，结合算法应用积累经验，提出效能评价算法选用建议，主要从被评价对象的数量、数据特点，提出效能评价算法选用建议，如图4所示，且在满足使用要求的前提下，算法越简单越好。

由图4可知，从数据分布特点来看，定性数据为主的评价建议选用模糊综合法等算法；定量数据为主的评价建议选用ADC等算法；定性定量交叉融合的评价建议选用层次分析法、模糊综合法等；最常用的评价方法还是基础聚合算法。从评价对象角度来看，两个及两个以上的评价对象适合选用TOPSIS评价算法。

S5，制定效能评价准则，并使用选定的效能评价算法展开效能评价。

具体而言，评价准则是对评价结果的定位，由评价算法得出评价结果得分，剖析评价结果整体状态和发展形式，支撑战略决策的制定和规划。评价准则可参考表2形式。

表2评价准则制定

S6，根据效能评价结果展开效能评价算法选用验证。

评价方法的选用验证直接关系到装备效能评价的合理性和权威性，本实施例提出一些算法选用验证措施：

(1)第一种：以真实结果开展方差分析验证

实践是检验真理的唯一标准，通过真实结果验证算法的准确性是最权威、最科学的验证；评价结果是通过基础指标数据计算出来的，对于定性定量基础指标交叉存在，且定性数据较多的评价问题，不同专家业务水平不同、不同领域专家看待问题的视角不同，可以多层次、多领域开展定性基础指标的定量化，不同的基础指标会得出不同的评价结果，对评价结果与真实结果对比分析，筛选出更合理的评价算法；为提升验证的充分性，评价结果样本量选为30个，真实结果为79.82。以AHP算法与ADC算法两种算法为例。

为验证此算法选用验证措施的有效性，采用假设检验方法，通过方差分析，检验该算法选用验证的攻关效果。在统计学上，根据小概率原理，采用0.05作为检验的显著性阈值。

单因子方差分析：研究不同算法评价结果合理性。

原假设H

备择假设H

其中，本实施例仅以AHP算法和ADC算法作示意，可知的是，其他的两种算法也均能以下述方法进行效能评价验证；

根据不同的基础数据分别选取AHP算法和ADC算法的评价结果数据，通过分析两组数据都是独立的正太分布，具备开展方差分析的条件。

将AHP算法和ADC算法的效能评价结果总差异分为组间离差平方和(组间差异)以及组内离差平方和(组内差异)；

总离差平方和SST；

其中，k为水平数，m

总离差平方和自由度dfT：

组间离差平方和SSA：

其中，

组间离差平方和自由度dfA：

dfA＝k-1

组内离差平方和SSE：

随机误差是组内离差平方和产生的原因，且该误差满足正态分布；

组内离差平方和自由度dfE：

组间离差平方和SSA与组内离差平方和SSE分别除以各自的自由度，得到组间平均平方和MSA与组内平均平方和MSE；

卡方分布值F用组间平均平方和除以组内平均平方和得到，即：

F值很大时，表明AHP算法比ADC算法计算准确度高；F值很小时，表明AHP算法不如ADC算法计算准确度高；

根据卡方分布值F进行方差分析从而确定P值；

P值可通过F值查表得到，方差分析参数公式如下表所示。

表3方差分析参数定义

依据方差分析参数定义，得出方差分析结果，如下表所示。

表4方差分析结果

由表4可知，P＜0.05，原假设H

(2)第二种：以专家经验判断验证

基于专家经验对航天装备效能不同算法结果进行优劣评判，该方法更多的依赖于专家的专业知识和丰富的实践经验，具有较强的主观性，该评判结果有一定的指导意义。

(3)第三种：以多种算法的平均值进行验证

如果装备效能真实结果难以采集量化，对于是适合某装备效能评价的多种算法取平均值，最接近平均值的算法暂定位最佳算法；例如，分别计算基础聚合算法、AHP算法、ADC算法三者评价综合得分，并计算三者的平均值，最终算法选择接近均值的算法。这种装备效能评价验证方法并非最科学、最严谨的方法，是在真实结果难以采集的状态下较为合理的方法，具有一定的代表性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。