针对CT图像分类的神经网络性能评价方法及系统

技术领域

本发明涉及神经网络质量计算领域，更具体的说是涉及一种针对CT图像分类的神经网络性能评价方法及系统。

背景技术

一般来说，大多数用于评估改进神经网络性能的方法都是针对每个特定的研究定制的，在这些研究中，研究人员测量作为其主要增强主题的方面和条件，并通过这些特定的增强来证明其新工具的合理性。然而，这使得对不同研究人员开发的各种技术进行比较变得困难，科学界通常接受对某些类型的研究使用特定的方法，而不需要通用的解决方案。

尽管目前倾向于定制的比较技术，但已经开发了几种方法来评估数据和计算神经网络性能的质量。Leung和Simpson描述了人工神经网络必须如何具有固有质量指标，同时考虑到所有人工神经网络也是可以定量测量的软件系统。Leung描述了一组与质量特征相关的定量特征。观察到的质量特征是：(a)可理解性(UN)，(b)可修改性(MO)，(c)可测试性(TE)，(d)适用性(AP)，(e)一致性(CS)，(f)结构性(ST)，(g)可伸缩性(SC)，(h)效率(EF)和(i)复杂性(CO)。

Flexer提出了一种基于对人工神经网络的多次运行进行统计评估的方法，以此作为一种系统比较技术的指标，该方法着重于质量而不是定量研究神经网络的研究。Flexer建议进行t检验，以确定人工神经网络A和B的性能指标是否足够显着以至于可以被认为是不同的。由于该技术不能单独评估人工神经网络的特性，因此在此处不将其用于比较计算。

为了满足测量和比较计算神经网络质量的需要，需要开发并测试了一种新方法，以涵盖人工神经网络为基础的性能表现对比算法。多年来，不同领域的各类研究人员在将他们设计的神经网络性能与他人的工作进行比较时，面临着不同的问题，以显示神经网络模型性能表现的进步。神经网络模型的重要进展往往局限于发展更高的准确率、更快的训练过程、更少的模型参数。从需求传统来看，在应用神经网络模型中一直需要客观的数值技术来比较计算神经网络性能，假设一种新的方法必须比现有的神经网络模型算法更好。由于人工神经网络在不同数据分析领域的广泛应用，有必要开发一种指标的扩展，以评估和比较所设计开发神经网络模型的综合神经网络表现性能。然而，当前研究的主要贡献是开发了一种方法，使用封闭的评价来测量给定的人工神经网络设计得有多好。也就是说，尽管以前的方法集中于功能性能(即，如果人工神经网络如所希望的那样进行预测，包括准确率、召回率。)，集中于计算性能(即，神经网络的“计算效率”如何)。

发明内容

有鉴于此，本发明提供了一种针对CT图像分类的神经网络性能评价方法，本发明的输出是可以进行比较的数值。它也可以用来比较一个人工神经网络和另一个人工神经网络在特定数据集上综合表现优劣。目的是开发一个基于图形的网络性能比较方法，使之有可能灵活且较科学的比较各种网络模型。

为了实现上述目的，本发明采用如下技术方案：

一种针对CT图像分类的神经网络性能评价方法，包括以下步骤：

将样本数据集输入到待评价神经网络模型中，所述神经网络模型经过计算输出y′；

根据模型输出的分类结果y′和样本真实的标签y构建混淆矩阵，统计得到TP，TN，FP和FN，并由此计算accuracy、precision，recall和AUC；

将accuracy、precision，recall和AUC进行加权求和得到sum，同时对accuracy、precision，recall和AUC计算标准差std；根据所述sum和所述标准差std得到评价指标L；

根据所述待评价神经网络模型的结构计算神经网络模型参数量m；

根据所述神经网络模型参数量m和所述评价指标L得到(m-L)坐标系，通过所述(m-L)坐标系评价不同模型的优劣。

优选的，所述加权求和计算如下：

sum＝β

其中，权重β

优选的，所述标准差std的计算如下：

计算各个指标的均值：

根据均值计算标准差：

优选的，所述评价指标L的计算如下：

其中k为常数值。

优选的，所述神经网络模型参数量m的计算如下：

确定神经网络结构，读取每层类型及参数，计算每层参数量m

优选的，所述(m-L)坐标系的具体设置如下：

规定纵坐标为L，横坐标为m，每个模型在坐标系中呈现为一个点，点越靠近左上角区域，则表明模型参数量小且性能好；位于右上角区域，表明模型性能好但参数量大，需要耗费较多的计算资源；位于右下角，表明模型不仅耗费大量计算资源，性能还低；位于左下角，表明模型计算量小，但性能不高。

一种针对CT图像分类的神经网络性能评价系统，包括以下模块：

样本数据计算模块：将样本数据集输入到待评价神经网络模型中，所述神经网络模型经过计算输出y′；

神经网络指标计算模块：根据模型输出的分类结果y′和样本真实的标签y构建混淆矩阵，统计得到TP，TN，FP和FN，并由此计算accuracy、precision，recall和AUC；

评价指标L计算模块：将accuracy、precision，recall和AUC进行加权求和得到神经网络指标和sum，同时对accuracy、precision，recall和AUC计算标准差std；根据所述神经网络指标和sum、所述标准差std得到评价指标L；

神经网络模型参量m计算模块：根据所述待评价神经网络模型的结构计算神经网络模型参数量m；

(m-L)坐标系建立模块：根据所述神经网络模型参数量m和所述评价指标L得到(m-L)坐标系，通过所述(m-L)坐标系评价不同模型的优劣。

优选的，所述评价指标L计算模块中所述神经网络指标和sum的加权求和计算如下：

sum＝β

其中，权重β

优选的，所述评价指标L计算模块中所述标准差std的计算如下：

计算各个指标的均值：

根据均值计算标准差：

优选的，所述评价指标L模块中的所述评价指标计算如下：

其中k为常数值。

优选的，所述神经网络模型参量m计算模块具体如下：

确定神经网络结构，读取每层类型及参数，计算每层参数量m

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种针对CT图像分类的神经网络性能评价方法及系统，综合的评价指标考虑了多方因素，能相对客观，同时与模型参数量结合，避免了一味增大模型牺牲计算效率追求性能的问题，采用坐标图的表达方式更直观的体现了模型的优劣性，比数值间的比较更易区分，可读性更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的评价指标L获取流程图；

图2附图为本发明的神经网络模型参数量m获取流程图；

图3附图为本发明的混淆矩阵图；

图4附图为本发明的y′的计算过程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种针对CT图像分类的神经网络性能评价方法，对于二分类任务，首先将数据集中样本x输入到已经训练好的神经网络模型N中，模型经过计算针对每个样本输出一个0～1之间的数y′。根据分类任务设定阈值α，若y′＞α，令y′＝1，否则令y′＝0。即为模型给出的分类结果。

其中，y′的计算过程如下：

神经网络的输入如图4中的x

非线性化后的值作为该神经元的输出。根据此过程，神经网络通过一层一层的传递计算并最后汇聚到一个神经元，该神经元不使用激活函数，直接将输入值输出，作为整个神经网络的输出y′。

具体包括以下步骤：

如图1所示，将样本数据集输入到待评价神经网络模型中，神经网络模型经过计算输出y′；

根据模型输出的分类结果y′和样本真实的标签y构建混淆矩阵，统计得到TP，TN，FP和FN，并由此计算accuracy、precision，recall和AUC；

首先对于二分类问题，根据模型结果和样本真实标签得到统计出如下混淆矩阵，如图3所示。

TP(True Positive)：将正类预测为正类数，即真实标签为0，模型预测也为0的样本数，

FN(False Negative)：将正类预测为负类数，即真实标签为0，模型预测为1的样本数，

FP(False Positive)：将负类预测为正类数，即真实标签为1，模型预测为0的样本数，

TN(True Negative)：将负类预测为负类数，即真实标签为1，模型预测也为1的样本数，

根据混淆矩阵统计得到TP，TN，FP和FN，计算：

AUC为Areaunderthe Curve，是ROC曲线下的面积，值域在0～1之间，而ROC是基于混淆矩阵得出的。一个二分类模型最终是输出一个值y′，该值与人为定义的阈值α进行比较，若高于阈值，判断为正例，反之为反例，阈值可能设定较高或较低，每种阈值的设定会得出不同的TPR和FPR，其中真正类率(True Positive Rate)TPR：

代表分类器预测的正类中实际正实例占所有正实例的比例，即recall。负正类率(False Positive Rate)FPR：

代表分类器预测的正类中实际负实例占所有负实例的比例，即1-recall。将同一模型每个阈值的(FPR,TPR)坐标都画在ROC空间里，就成为特定模型的ROC曲线。ROC曲线横坐标为假正类率(FPR)，纵坐标为真正类率(TPR)。ROC曲线下的面积就是AUC。

将accuracy、precision，recall和AUC进行加权求和得到sum，同时对accuracy、precision，recall和AUC计算标准差std；根据sum和标准差std得到评价指标L；

根据待评价神经网络模型的结构计算神经网络模型参数量m；

根据神经网络模型参数量m和评价指标L得到(m-L)坐标系，通过(m-L)坐标系评价不同模型的优劣。

在本实施例中，加权求和计算如下：

sum＝β

其中，权重β

上式中的权重β

通常情况下如果任务中各个指标重要性无差异，默认β

其中，标准差std的计算如下：

计算各个指标的均值：

根据均值计算标准差：

引入标准差用于评价指标间的离散程度，目的是避免某些模型多数指标偏低而单一指标过高造成求和后综合指标偏高的问题。

其中，评价指标L的计算如下：

上式中，k是常数值，目的是避免模型各项指标都偏低，但指标间差异很小，由此计算出的标准差std非常小，从而导致指标L偏高的情况，通过实验确定取值范围一般在[0.1,0.4]。

其中，神经网络模型参数量m的计算如下：

如图2所示，确定神经网络结构，读取每层类型及参数，计算每层参数量m

对神经网络参数量采用逐层计算方法，给出常用的神经网络层计算方法。对于卷积层i：

假设卷积核为a×b，输入通道为c

m

不考虑偏置bias时，该层参数量为：

m

对于全连接层j：

假设输入神经元数为f

m

不考虑偏置bias时，该层参数量为：

m

对于长短期记忆网络(LSTM，Long Short-TermMemory)层z：

假设输入维度为x

m

在本实施例中，(m-L)坐标系的具体设置如下：

规定纵坐标为L，横坐标为m，每个模型在坐标系中呈现为一个点，点越靠近左上角区域，则表明模型参数量小且性能好；位于右上角区域，表明模型性能好但参数量大，需要耗费较多的计算资源；位于右下角，表明模型不仅耗费大量计算资源，性能还低；位于左下角，表明模型计算量小，但性能不高。

一种针对CT图像分类的神经网络性能评价系统，包括以下模块：

样本数据计算模块：将样本数据集输入到待评价神经网络模型中，神经网络模型经过计算输出y′；

神经网络指标计算模块：根据模型输出的分类结果y′和样本真实的标签y构建混淆矩阵，统计得到TP，TN，FP和FN，并由此计算accuracy、precision，recall和AUC；

评价指标L计算模块：将accuracy、precision，recall和AUC进行加权求和得到神经网络指标和sum，同时对accuracy、precision，recall和AUC计算标准差std；根据神经网络指标和sum、标准差std得到评价指标L；

神经网络模型参量m计算模块：根据待评价神经网络模型的结构计算神经网络模型参数量m；

(m-L)坐标系建立模块：根据神经网络模型参数量m和评价指标L得到(m-L)坐标系，通过(m-L)坐标系评价不同模型的优劣。

优选的，评价指标L计算模块中神经网络指标和sum的加权求和计算如下：

sum＝β

其中，权重β

优选的，评价指标L计算模块中标准差std的计算如下：

计算各个指标的均值：

根据均值计算标准差：

优选的，评价指标L模块中的评价指标计算如下：

其中k为常数值。

优选的，神经网络模型参量m计算模块具体如下：

确定神经网络结构，读取每层类型及参数，计算每层参数量m

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。