研发项目综合评价方法、装置、设备、介质及程序产品

技术领域

本发明涉及计算机技术领域，尤其涉及一种研发项目综合评价方法、装置、设备、介质及程序产品。

背景技术

随着产品需求多样性的不断发展，企业的研发项目规模也随之日益增长。为保障研发项目的成功，除了正确的进行项目管理外，对研发项目进行合理有效的评价有助于项目过程降本增效与及时发现问题。

目前常见的项目评价方法包括基于领域专家的人工计分评价方法、基于常规指标的累计计分评价方法及基于机器学习的特征模型评价方法。其中，基于领域专家的人工计分评价方法，领域专家对评价指标理解深刻，评价结果直观，但由于过程中人工的大量介入，易受主观因素影响，且评价过程效率不高；基于常规指标的累计计分评价方法，根据各个指标累计计分进行评价，评价结果直观，评价过程可以通过程序执行效率高，但是这种方法指标结果为离散形式，通常根据设定的范围取值，比如大于5小于10取值为5，大于10小于15 取值为10，由此本来接近的相邻指标结果上可能产生较大差异，造成评价结果准确性差；基于机器学习的特征模型评价方法，通过训练的多维特征进行评价，评价结果更全面，评价过程效率高，但特征缺乏直观性，影响因子较多，亦受训练样本的情况影响。

发明内容

为解决现有技术中的问题，本发明提供一种研发项目综合评价方法、装置、设备、介质及程序产品。

本发明提供一种研发项目综合评价方法，包括：将用于研发项目评价的m个评价指标进行正向化处理；其中，若所述评价指标为极小型指标、居中型指标或区间型指标，则转换为极大型指标；将n个评价对象进行了正向化处理后的m个评价指标进行归一化处理，得到对应的归一化矩阵元素；根据n个评价对象的m个所述归一化矩阵元素得到m个评价指标的指标优解和指标劣解；根据所述归一化矩阵元素、所述指标优解及所述评价指标的权重计算n个评价对象对应的优解距离；根据所述归一化矩阵元素、所述指标劣解及所述评价指标的权重计算n个评价对象对应的劣解距离；根据所述优解距离和所述劣解距离计算n个评价对象的评价指标与指标优解的贴近程度得分；根据所述n个评价对象的评价指标与指标优解的贴近程度得分对所述n个评价对象进行排序。

根据本发明提供的一种研发项目综合评价方法，所述评价指标包括效率指标、质量指标、成本指标及组织指标，其中：所述效率指标包括需求交付率、平均交付时长、需求吞吐率及平均上线流程时长；所述质量指标包括bug率、bug逃逸率、bug重开率、上线成功率及数据修复次数；所述成本指标包括人力投入工时数、基础资源投入成本及额外经费成本；所述组织指标包括产品研发人员比、研发测试人员比及人员流动比。

根据本发明提供的一种研发项目综合评价方法，所述归一化矩阵元素表示为：

其中，x

第j个评价指标的所述指标优解表示为：

第j个评价指标的所述指标劣解表示为：

根据本发明提供的一种研发项目综合评价方法，所述方法还包括：通过熵权法确定所述评价指标的权重。

根据本发明提供的一种研发项目综合评价方法，所述评价指标的权重表示为：

其中，w

根据本发明提供的一种研发项目综合评价方法，所述优解距离表示为：

其中，

所述劣解距离表示为：

其中，

所述贴近程度得分表示为：

其中，C

本发明还提供一种研发项目综合评价装置，包括：正向化处理模块，用于：将用于研发项目评价的m个评价指标进行正向化处理；其中，若所述评价指标为极小型指标、居中型指标或区间型指标，则转换为极大型指标；归一化处理模块，用于：将n个评价对象进行了正向化处理后的m个评价指标进行归一化处理，得到对应的归一化矩阵元素；优劣解计算模块，用于：根据n个评价对象的m个所述归一化矩阵元素得到m个评价指标的指标优解和指标劣解；优解距离计算模块，用于：根据所述归一化矩阵元素、所述指标优解及所述评价指标的权重计算n个评价对象对应的优解距离；劣解距离计算模块，用于：根据所述归一化矩阵元素、所述指标劣解及所述评价指标的权重计算 n个评价对象对应的劣解距离；优解贴近程度得分计算模块，用于：根据所述优解距离和所述劣解距离计算n个评价对象的评价指标与指标优解的贴近程度得分；排序模块，用于：根据所述n个评价对象的评价指标与指标优解的贴近程度得分对所述n个评价对象进行排序。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述研发项目综合评价方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述研发项目综合评价方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述研发项目综合评价方法的步骤。

本发明提供的研发项目综合评价方法、装置、设备、介质及程序产品，通过利用优劣解距离法对研发项目进行评价，在对研发项目进行线上化高效准确综合评价的同时，还可解决评价过程难以解释，评价结果易受片面因素影响等问题。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的研发项目综合评价方法流程示意图；

图2是本发明提供的研发项目综合评价装置的结构示意图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图3描述本发明的研发项目综合评价方法、装置、设备、介质及程序产品。

图1是本发明提供的研发项目综合评价方法流程示意图。如图1 所示，所述方法包括：

步骤101、将用于研发项目评价的m个评价指标进行正向化处理；其中，若所述评价指标为极小型指标、居中型指标或区间型指标，则转换为极大型指标。

首先预先设定用于研发项目评价的m个评价指标，其中m为大于 1的整数。根据评价指标的不同，所设定的m个评价指标可能具有多种指标类型，需要对m个评价指标进行正向化处理。评价指标的指标类型可能为极大型指标、极小型指标、居中型指标或区间型指标。其中，极大型指标取值越大越好，极小型指标取值越小越好，居中型指标取值越居中越好，区间型指标取值落在某个区间较好。

在对预设的m个评价指标进行正向化处理时，若评价指标为极小型指标、居中型指标或区间型指标，则转换为极大型指标；若评价指标为极大型指标，则保持不变。

步骤102、将n个评价对象进行了正向化处理后的m个评价指标进行归一化处理，得到对应的归一化矩阵元素。

设有n个评价对象，其中n为大于1的整数。每个评价对象有m个评价指标。对n个评价对象的m个评价指标得到正向化处理后的结果后，对评价指标再进行归一化处理，得到对应的归一化矩阵元素。n 个评价对象的m个评价指标对应的归一化矩阵元素可以构成归一化矩阵。归一化处理可以避免量纲的不同带来的影响。

步骤103、根据n个评价对象的m个所述归一化矩阵元素得到m 个评价指标的指标优解和指标劣解。

每个评价对象对应有m个评价指标。对应每个评价指标，指标优解可以取值为n个评价对象的评价指标对应的归一化矩阵元素的最大值；指标劣解可以取值为n个评价对象的评价指标对应的归一化矩阵元素的最小值。

步骤104、根据所述归一化矩阵元素、所述指标优解及所述评价指标的权重计算n个评价对象对应的优解距离。

优解距离用于表示评价对象的评价指标与指标优解之间的距离。可以根据归一化矩阵元素、指标优解及评价指标的权重计算n个评价对象对应的优解距离。

评价指标的权重可以预先自定义设置。

步骤105、根据所述归一化矩阵元素、所述指标劣解及所述评价指标的权重计算n个评价对象对应的劣解距离。

劣解距离用于表示评价对象的评价指标与指标劣解之间的距离。可以根据归一化矩阵元素、指标劣解及评价指标的权重计算n个评价对象对应的劣解距离。

评价指标的权重可以预先自定义设置。

步骤106、根据所述优解距离和所述劣解距离计算n个评价对象的评价指标与指标优解的贴近程度得分。

评价对象的评价指标与指标优解的贴近程度得分用于表示评价对象和指标优解的相对距离。根据优解距离和劣解距离计算n个评价对象的评价指标与指标优解的贴近程度得分。

步骤107、根据所述n个评价对象的评价指标与指标优解的贴近程度得分对所述n个评价对象进行排序。

根据n个评价对象的评价指标与指标优解的贴近程度得分对n个评价对象进行排序，得分越高表示评价结果越好。

本发明提供的研发项目综合评价方法，通过利用优劣解距离法对研发项目进行评价，在对研发项目进行线上化高效准确综合评价的同时，还可解决评价过程难以解释，评价结果易受片面因素影响等问题。

根据本发明提供的一种研发项目综合评价方法，所述评价指标包括效率指标、质量指标、成本指标及组织指标，其中：所述效率指标包括需求交付率、平均交付时长、需求吞吐率及平均上线流程时长；所述质量指标包括bug率、bug逃逸率、bug重开率、上线成功率及数据修复次数；所述成本指标包括人力投入工时数、基础资源投入成本及额外经费成本；所述组织指标包括产品研发人员比、研发测试人员比及人员流动比。

为进行研发项目评价，选取了项目的效率、质量、成本、组织四大维度的评价指标。各个维度的具体评价指标可以采用如下所示的方案：

(1)效率指标

·2周需求交付率：2周内交付的需求数/需求总数，极大型指标；

·平均交付时长：需求的交付总时长/需求总数，极小型指标；

·需求吞吐率：完成的需求数/创建的需求数，极大型指标；

·平均上线流程时长：上线流程的总时长/上线流程的总次数，极小型指标；

(2)质量指标

·bug率：bug数/需求数，极小型指标；

·bug逃逸率：线上bug数/bug数，极小型指标；

·bug重开率：bug重开总次数/bug数，极小型指标；

·上线成功率：成功上线次数/上次次数，极大型指标；

·数据修复次数：提交线上数据库变更次数，极小型指标；

(3)成本指标

·人力投入工时数：需求登记工时数总和，极小型指标；

·基础资源投入成本：按分配的机器资源属性的折价成本，极小型指标；

·额外经费成本：加班打车，差旅酒店，团建等附加成本，极小型指标；

(4)组织指标

·产品研发人员比：产品人员数/研发人员数，区间型指标；

·研发测试人员比：研发人员数/测试人员数，区间型指标；

·人员流动比：(入职人员数+离职人员数)/人员总数，区间型指标。

本发明提供的研发项目综合评价方法，通过给出包括效率指标、质量指标、成本指标及组织指标的具体评价指标进行研发项目综合评价，提高了评价结果的准确性。

根据本发明提供的一种研发项目综合评价方法，所述归一化矩阵元素表示为：

其中，x

第j个评价指标的所述指标优解表示为：

第j个评价指标的所述指标劣解表示为：

指标优解的集合可以表示为：

指标劣解的集合可以表示为：

本发明提供的研发项目综合评价方法，通过利用给定的公式计算归一化矩阵元素、指标优解和指标劣解的表达式，进一步提高了研发项目综合评价的准确性。

根据本发明提供的研发项目综合评价方法，所述方法还包括：通过熵权法确定所述评价指标的权重。

可以利用熵权法确定评价指标的权重以避免人为确定评价指标的权重的不合理问题。

本发明提供的研发项目综合评价方法，通过利用熵权法确定评价指标的权重，进一步提高了研发项目综合评价的准确性。

根据本发明提供的研发项目综合评价方法，所述评价指标的权重表示为：

其中，w

本发明提供的研发项目综合评价方法，通过信息熵计算评价指标的权重，进一步提高了研发项目综合评价的准确性。

根据本发明提供的一种研发项目综合评价方法，所述优解距离表示为：

其中，

所述劣解距离表示为：

其中，

所述贴近程度得分表示为：

其中，C

本发明提供的研发项目综合评价方法，通过利用给定的公式计算优解距离、劣解距离及评价对象的评价指标与指标优解的贴近程度得分，进一步提高了研发项目综合评价的准确性。

下面结合具体例子说明本发明提供的研发项目综合评价方法的流程,为便于查看,其中每个维度提供1个评价指标样例。

1、数据准备。如表1所示，为研发项目的部分指标数据。

表1研发项目的部分指标数据

2、统一转换为极大型指标

bug率和人力投入工时数为极小型指标，产品研发人员比为区间型指标，需转换为极大型指标。其中，bug率可以通过平移转换为极大型指标；人力投入工时数可以通过求倒数转换为极大型指标。转换为极大型指标后的数据如表2所示。

表2转换为极大型指标后的数据

3、归一化处理。对评价指标进行归一化处理，得到对应的归一化矩阵元素，归一化矩阵(包括各个评价指标的归一化矩阵元素的信息)如表3所示。

表3归一化矩阵

4、确定指标优劣解。计算评价指标的指标优解和指标劣解，如表4所示。

表4指标优劣解

5、计算评价指标权重，如表5所示。

表5通过熵权法计算的权重

6、计算优劣解距离与综合得分，项目综合得分如表6所示。

表6项目综合得分

下面对本发明提供的研发项目综合评价装置进行描述，下文描述的研发项目综合评价装置与上文描述的研发项目综合评价方法可相互对应参照。

图2是本发明提供的研发项目综合评价装置的结构示意图。如图 2所示，所述装置包括正向化处理模块10、归一化处理模块20、优劣解计算模块30、优解距离计算模块40、劣解距离计算模块50、优解贴近程度得分计算模块60及排序模块70，其中：

正向化处理模块10用于：将用于研发项目评价的m个评价指标进行正向化处理；其中，若所述评价指标为极小型指标、居中型指标或区间型指标，则转换为极大型指标；

归一化处理模块20用于：将n个评价对象进行了正向化处理后的m个评价指标进行归一化处理，得到对应的归一化矩阵元素；

优劣解计算模块30用于：根据n个评价对象的m个所述归一化矩阵元素得到m个评价指标的指标优解和指标劣解；

优解距离计算模块40用于：根据所述归一化矩阵元素、所述指标优解及所述评价指标的权重计算n个评价对象对应的优解距离；

劣解距离计算模块50用于：根据所述归一化矩阵元素、所述指标劣解及所述评价指标的权重计算n个评价对象对应的劣解距离；

优解贴近程度得分计算模块60用于：根据所述优解距离和所述劣解距离计算n个评价对象的评价指标与指标优解的贴近程度得分；

排序模块70用于：根据所述n个评价对象的评价指标与指标优解的贴近程度得分对所述n个评价对象进行排序。

本发明提供的研发项目综合评价装置，通过利用优劣解距离法对研发项目进行评价，在对研发项目进行线上化高效准确综合评价的同时，还可解决评价过程难以解释，评价结果易受片面因素影响等问题。

根据本发明提供的一种研发项目综合评价装置，所述评价指标包括效率指标、质量指标、成本指标及组织指标，其中：所述效率指标包括需求交付率、平均交付时长、需求吞吐率及平均上线流程时长；所述质量指标包括bug率、bug逃逸率、bug重开率、上线成功率及数据修复次数；所述成本指标包括人力投入工时数、基础资源投入成本及额外经费成本；所述组织指标包括产品研发人员比、研发测试人员比及人员流动比。

本发明提供的研发项目综合评价装置，通过给出包括效率指标、质量指标、成本指标及组织指标的具体评价指标进行研发项目综合评价，提高了评价结果的准确性。

根据本发明提供的一种研发项目综合评价装置，所述归一化矩阵元素表示为：

其中，x

第j个评价指标的所述指标优解表示为：

第j个评价指标的所述指标劣解表示为：

本发明提供的研发项目综合评价装置，通过利用给定的公式计算归一化矩阵元素、指标优解和指标劣解的表达式，进一步提高了研发项目综合评价的准确性。

根据本发明提供的一种研发项目综合评价装置，所述装置还包括权重确定模块，所述权重确定用于：通过熵权法确定所述评价指标的权重。

本发明提供的研发项目综合评价装置，通过利用熵权法确定评价指标的权重，进一步提高了研发项目综合评价的准确性。

根据本发明提供的一种研发项目综合评价装置，所述评价指标的权重表示为：

其中，w

本发明提供的研发项目综合评价方法，通过信息熵计算评价指标的权重，进一步提高了研发项目综合评价的准确性。

根据本发明提供的一种研发项目综合评价装置，所述优解距离表示为：

其中，

所述劣解距离表示为：

其中，

所述贴近程度得分表示为：

其中，C

本发明提供的研发项目综合评价方法，通过利用给定的公式计算优解距离、劣解距离及评价对象的评价指标与指标优解的贴近程度得分，进一步提高了研发项目综合评价的准确性。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行研发项目综合评价方法，该方法包括：将用于研发项目评价的m个评价指标进行正向化处理；其中，若所述评价指标为极小型指标、居中型指标或区间型指标，则转换为极大型指标；将n个评价对象进行了正向化处理后的 m个评价指标进行归一化处理，得到对应的归一化矩阵元素；根据n个评价对象的m个所述归一化矩阵元素得到m个评价指标的指标优解和指标劣解；根据所述归一化矩阵元素、所述指标优解及所述评价指标的权重计算n个评价对象对应的优解距离；根据所述归一化矩阵元素、所述指标劣解及所述评价指标的权重计算n个评价对象对应的劣解距离；根据所述优解距离和所述劣解距离计算n个评价对象的评价指标与指标优解的贴近程度得分；根据所述n个评价对象的评价指标与指标优解的贴近程度得分对所述n个评价对象进行排序。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的研发项目综合评价方法，该方法包括：将用于研发项目评价的m个评价指标进行正向化处理；其中，若所述评价指标为极小型指标、居中型指标或区间型指标，则转换为极大型指标；将n个评价对象进行了正向化处理后的m个评价指标进行归一化处理，得到对应的归一化矩阵元素；根据n个评价对象的m个所述归一化矩阵元素得到 m个评价指标的指标优解和指标劣解；根据所述归一化矩阵元素、所述指标优解及所述评价指标的权重计算n个评价对象对应的优解距离；根据所述归一化矩阵元素、所述指标劣解及所述评价指标的权重计算n个评价对象对应的劣解距离；根据所述优解距离和所述劣解距离计算n个评价对象的评价指标与指标优解的贴近程度得分；根据所述n个评价对象的评价指标与指标优解的贴近程度得分对所述n个评价对象进行排序。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的研发项目综合评价方法，该方法包括：将用于研发项目评价的m个评价指标进行正向化处理；其中，若所述评价指标为极小型指标、居中型指标或区间型指标，则转换为极大型指标；将n个评价对象进行了正向化处理后的m个评价指标进行归一化处理，得到对应的归一化矩阵元素；根据n个评价对象的m个所述归一化矩阵元素得到m个评价指标的指标优解和指标劣解；根据所述归一化矩阵元素、所述指标优解及所述评价指标的权重计算n个评价对象对应的优解距离；根据所述归一化矩阵元素、所述指标劣解及所述评价指标的权重计算n个评价对象对应的劣解距离；根据所述优解距离和所述劣解距离计算n个评价对象的评价指标与指标优解的贴近程度得分；根据所述n个评价对象的评价指标与指标优解的贴近程度得分对所述n个评价对象进行排序。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。