一种辅助分析算法的评估方法、装置、存储介质及设备

技术领域

本说明书涉及计算机技术领域，尤其涉及一种辅助分析算法的评估方法、装置、存储介质及设备。

背景技术

随着计算机视觉、深度学习等技术的飞速发展，国内外各大人工智能公司都积极投入了医学领域，大量新兴公司也开始成立或者转型智能医疗，推出覆盖电子计算机断层扫描(Computed Tomograph，CT）等多模态影像及心血管、肿瘤、神经等多临床场景的医学影像辅助分析产品。

然而，由于智能医学影像具有“黑盒”和“算法歧视”现象，导致不同辅助分析算法缺乏科学客观有效的度量和评估方法以及完整、权威的质控和评价体系。并且，辅助分析产品发布的性能参数大多数来源于有限的数据集和实验室条件，受限于数据集的数量和代表性不足等因素，在高度复杂的临床应用中产品实际检测的性能不够好，产品鲁棒性有待提高。

因此，如何对医学辅助分析算法进行准确的评估，从而根据评估结果选取合适的算法或对原有算法进行合理的优化，保证后续临床应用过程中的准确性以及鲁棒性，是一个亟待解决的问题。

发明内容

本说明书提供一种辅助分析算法的评估方法、装置、存储介质及设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种辅助分析算法的评估方法，包括：

获取预先构建的各数字模型与电子计算机断层扫描CT仿真成像系统，并确与CT图像的质量相关的影响因子以及与所述影响因子相关的仿真成像系统参数，所述数字模型包括数字人体模型以及数字器官模型中的至少一种；

针对每个数字模型，在仿真环境中对该数字模型进行CT成像，并在该数字模型的成像过程中分别针对每一种影响因子设置与之相关的仿真系统参数，得到各数字模型在各仿真成像系统参数下形成的携带不同大小的各影响因子水平的CT图像；

针对每个CT图像，根据该CT图像对应的影响因子以及仿真成像系统参数，确定该CT图像的量值标签，以及，根据该CT图像对应的数字模型实际组织类型和/或病灶类型，确定该CT图像对应的分类标签，并根据所述量值标签和分类标签生成测试数据；

将所述测试数据输入待评估的辅助分析算法，以通过所述辅助分析算法确定该CT图像的诊断结果；

根据所述各数字模型的每个CT图像对应的量值标签、分类标签以及诊断结果，确定所述辅助分析算法在不同影响因子下的准确率，作为所述辅助分析算法的评估结果。

可选地，在获取预先构建的各数字模型之前，所述方法还包括：

基于不同人体的人体结构，构建至少一种生理属性的数字模型，并在至少部分数字模型中设置病灶，所述生理属性用于表征数字模型的年龄、性别以及健康情况中的至少一种；

针对每个数字模型，将该数字模型转换为四面体网格结构，并对该数字模型中各个组织对应的网格模块赋予材料属性，以使该数字模型与所述仿真环境相适配。

可选地，根据该CT图像对应的数字模型实际组织类型和/或病灶类型，确定该CT图像对应的分类标签，具体包括：

针对每个CT图像，确定在该CT图像对应的数字模型中，待检测部位对应目标网格模块的识别标识；

根据所述识别标识，确定所述目标网格模块对应的属性信息；

根据所述属性信息，确定该CT图像对应的实际组织类型和/或病灶类型。

可选地，所述影响因子包括：影响所述辅助分析算法性能的图像均匀性、噪声、空间分辨力、密度分辨力、对比度、亮度以及伪影中的至少一种。

可选地，针对每个数字模型，在仿真环境中对该数字模型进行CT成像之前，所述方法还包括：

根据CT仿真系统的成像过程，确定与所述影响因子相关的仿真成像系统参数，所述仿真成像系统参数包括噪声源、放射源焦点、探测器层厚与采样间隔、管电压、光子数、扫描时间、扫描角度、窗位窗宽以及数字模型运动速率中的至少一种。

可选地，针对每个数字模型，在仿真环境中对该数字模型进行CT成像，并在该数字模型的成像过程中分别针对每一种影响因子设置与之相关的仿真系统参数，具体包括：

在该数字模型的成像过程中设置不同的能量噪声源、时间噪声源、放射源焦点、探测器层厚与采样间隔、管电压、光子数、扫描时间、扫描角度、数字模型运动速率，以及对CT图像中添加不同的噪声源、附加过滤器、调节窗位窗宽。

可选地，针对每个数字模型，该数字模型在不同仿真条件下生成的各CT图像对应的至少一种影响因子不同。

可选地，所述方法还包括：

确定待评估辅助分析算法的测试准确率与各影响因子测试样本携带的该影响因子水平的不同大小的关系曲线；

根据所述关系曲线，确定模型优化方向。

可选地，所述方法还包括：

确定每个辅助分析算法对应的评估结果；

根据所述评估结果，确定目标辅助分析算法；

将用户的CT图像输入所述目标辅助分析算法，以通过所述目标辅助分析算法对所述用户进行辅助分析。

本说明书提供了一种辅助分析算法的评估装置，包括：

获取模块，获取预先构建的各数字模型与电子计算机断层扫描CT仿真成像系统，并确与CT图像的质量相关的影响因子以及与所述影响因子相关的仿真成像系统参数，所述数字模型包括数字人体模型以及数字器官模型中的至少一种；

成像模块，针对每个数字模型，在仿真环境中对该数字模型进行CT成像，并在该数字模型的成像过程中分别针对每一种影响因子设置与之相关的仿真系统参数，得到各数字模型在各仿真成像系统参数下形成的携带不同大小的各影响因子水平的CT图像；

确定模块，针对每个CT图像，根据该CT图像对应的影响因子以及仿真成像系统参数，确定该CT图像的量值标签，以及，根据该CT图像对应的数字模型实际组织类型和/或病灶类型，确定该CT图像对应的分类标签，并根据所述量值标签和分类标签生成测试数据；

输入模块，将所述测试数据输入待评估的辅助分析算法，以通过所述辅助分析算法确定该CT图像的诊断结果；

评估模块，根据所述各数字模型的每个CT图像对应的量值标签、分类标签以及诊断结果，确定所述辅助分析算法在不同影响因子下的准确率，作为所述辅助分析算法的评估结果。本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述辅助分析算法的评估方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述辅助分析算法的评估方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的辅助分析算法的评估方法中，获取预先构建的各数字人体模型、数字器官模型与CT仿真成像系统，并确与CT图像的质量相关的影响因子以及与影响因子相关的仿真成像系统参数；对数字模型进行CT成像，并分别针对每一种影响因子设置与之相关的仿真系统参数，得到各数字模型在各仿真成像系统参数下形成的携带不同大小的各影响因子水平的CT图像；确定CT图像的量值标签以及分类标签，并生成测试数据；将测试数据输入待评估的辅助分析算法，确定该CT图像的诊断结果；根据各数字模型的每个CT图像对应的量值标签、分类标签以及诊断结果，确定辅助分析算法在不同影响因子下的准确率。

从上述方法可以看出，本方案可以基于不同的影响因子，在仿真环境中设置不同的仿真成像系统参数生成涵盖不同大小水平的各影响因子的CT图像，并以影响因子及其大小水平作为量值标签，构建测试数据。通过该方法得到的测试数据可以在多个维度的质量指标下对辅助分析算法进行定量测试，使得待测试算法有了具有实际物理意义的客观量化的评价方法，保证了辅助分析算法的可解释性，保证了后续临床任务的鲁棒性以及准确性。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中提供的一种辅助分析算法的评估方法的流程示意图；

图2为本说明书中提供的一种测试样本的构建流程示意图；

图3为本说明书中提供的一种辅助分析算法的评估过程示意图；

图4为本说明书提供的一种辅助分析算法的评估装置的示意图；

图5为本说明书提供的一种对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中提供的一种辅助分析算法的评估方法的流程示意图，包括以下步骤：

S101：获取预先构建的各数字模型与电子计算机断层扫描CT仿真成像系统，并确与CT图像的质量相关的影响因子以及与所述影响因子相关的仿真成像系统参数，所述数字模型包括数字人体模型以及数字器官模型中的至少一种。

医学影像辅助分析类算法网络训练必须依赖大量的影像数据，数据逐渐达到了与模型和算法同等重要的程度，必须有统一的、规范的、规模大的高质量数据集，才能为某一相关研究的发展提供基本保障。但从整体上看，结构化、标准化的医疗影像大数据未能形成体系，智能医学影像产品发布的性能参数大多数来源于有限的数据集和实验室条件，受限于数据集的数量和代表性不足等因素，在高度复杂的临床应用中产品实际检测的性能不够好，产品鲁棒性有待提高。

基于此，本说明书提供了一种辅助分析算法的评估方法，以对人工智能医学影像产品的评估方法进行规范化以及对评估所依赖的测试数据进行标准化。

在本说明书中，用于实现一种辅助分析算法的评估方法的执行主体可以是服务器等指定设备，为了便于描述，本说明书仅以服务器作为执行主体为例，对本说明书提供的辅助分析算法的评估方法进行说明。

首先，服务器可以基于不同人体的不同结构，构建至少一种生理属性的数字模型，这些数字模型可以包括数字人体模型以及数字器官模型中的一种或多种。而后服务器可以在至少部分数字模型中设置病灶，生理属性用于表征数字模型对应实际人体的年龄、性别以及健康情况中的至少一种。

例如，服务器可以依据国际放射防护委员会（(International Commission onRadiological Protection,，ICRP）出版物、国家标准以及各种医学影像等材料中的人体解剖结构、体格、质量、化学成分及密度等参考数据，基于计算机辅助设计（Computer AidedDesign，CAD）技术构建“无/有病灶”、“静/动态”、“男/女性”、“婴幼/成年/老年”的体素化、网格化等多维度多类型的数字化人体或器官模型。

另外，服务器还可以构建仿真环境，从而对CT系统（X射线计算机体层摄影）进行模拟，其中，服务器可以基于GEANT4、GATE等蒙特卡罗软件精确地仿真CT系统，仿真对象包括探测器、放射源等的复杂几何模型的设计；粒子能量分布、粒子与物质的电磁作用、衰变动力学过程、电子响应模型及运动等实际物理过程的模拟；探测器与放射源及数字模型的相对位置、扫描角度、扫描方式、扫描命中位置、时间和能量等扫描参数的设置；以及成像数据输出等。

此外，服务器可以基于TetGen等软件将CAD构建的复杂数字模型转换为四面体网格等蒙特卡洛软件可读取的格式，并对数字体模中各个器官组织的体素模块或网格模块赋予材料属性（不同密度、不同元素组成），最后在Geant4或Gate的仿真系统宏文件中调用数字模型与材料文件，从对各数字模型与仿真环境进行适配。

进一步的，服务器可以基于CT的成像原理和医学影像诊断系统的计量特性，深度解析成像系统与图像质量与算法关键性能之间的相关性，提取均匀性与噪声、空间分辨力、密度分辨力、对比度与亮度等与算法关键性能相关的影响因子。当然，还可以包含有诸如图像伪影等其他类型的影响因子。本说明书对此不做具体限定。进而提取噪声源、放射源焦点、探测器层厚与采样间隔、管电压、光子数、扫描时间、扫描角度、窗位窗宽、附加过滤器、数字模型运动速率等与影响因子相关的仿真成像系统参数。

S102：针对每个数字模型，在仿真环境中对该数字模型进行CT成像，并在该数字模型的成像过程中分别针对每一种影响因子设置与之相关的仿真系统参数，得到各数字模型在各仿真成像系统参数下形成的携带不同大小的各影响因子水平的CT图像。

在实际应用中，医学图像的噪声与均匀性是相互联系的，被发射X射线中的光子的分布不均匀、电子设备、探测器晶体、重建算法等因素影响。可通过在成像过程中或成像后来改变图像质量。在成像过程中，服务器可以在诸如 GEANT4、GATE等软件中为每个事件（事件为粒子的一次物理过程）的能量和事件间时间间隔添加任何类型的噪声源，例如：引入能量分布遵循高斯定律、时间分布服从泊松过程的噪声源，最后将生成的投影数据基于重建算法形成CT图像。

当然，服务器也可以在成像过程中不人为添加任何噪声，待形成CT图像后，再添加高斯、泊松等任何类型的噪声源，两种形成的图像都携带了量子噪声、电气噪声、重建算法引起的噪声等多种噪声的合并噪声并影响了图像的均匀性。

具体的，服务器可以在成像过程中，依据《心血管CT成像辐射剂量优化中国专家共识》等国家主管部门规定日常CT检查辐射剂量的相关文件所列的全国或机构的CT辐射剂量诊断参考水平（diagnostic reference levels，DRL），针对不同的数字模型（如步骤S101所述）分别确定相应的固定辐射剂量，然后在该扫描条件下，分别选择6个及以上不同的噪声方差值添加在成像过程中的事件中（该噪声方差值要保证下文提到的水模体最终形成的各CT图像的噪声均匀分布在0.2%~10%，包含从优到差的图像质量），对内径等于该数字模型最大长度的数字化圆柱型均质水模体（依据《X射线计算机体层摄影装置质量控制检测规范》中规定的CT值、噪声、均匀性检测用体模）模拟成像与重建形成相应的CT图像，分别计算噪声大小n（等于ROI内CT值的标准偏差除以对比度标尺的测量值（ROI是在图像中心选取直径约为该数字化水模体图像直径的40%）），计算公式为：

当然，服务器也可以在成像过程中不人为添加任何噪声，同样先对数字化圆柱型均质水模体，计算出仿真系统的本底噪声与均匀性（计算方法同上），然后在相同扫描条件下对数字模型进行CT成像，最后基于Matlab等软件在图像中分别添加6个及以上不同水平的噪声源（同样保证水模体最终形成的各CT图像的噪声均匀分布在0.2%~10%）。最终形成了一系列针对不同数字模型携带不同噪声水平与均匀性的图像数据集，并赋予一个与之对应的标签文件来存储每个图像的噪声与均匀性大小，即噪声与均匀性测试样本。

空间分辨力是在高对比度的情况下鉴别细微结构的能力，被CT本身的设计与扫描和重建图像时的参数设置等因素影响，在CT仿真系统中，通过单一或组合设置或调整探测器孔径的有效宽度，设备的采样频率，X线球管焦点大小，卷积算法，空间采样间隔，重建矩阵大小，插值算法等相关参数的不同大小，使其可获得具有不同大小空间分辨力的图像。

具体的，服务器可以采用上述方法，分别对每种数字模型合理地选择6个及以上不同的扫描条件进行模拟成像，并重建形成相应的CT图像，然后通过采用相同扫描参数对数字化的Catphan体模的CTP528（21线对数高分辨率模块）进行成像与重建，并计算出相应扫描参数下的空间分辨力，大小等于调制传递函数（MTF）曲线上10%对应的空间频率值作为空间分辨力的测量值或能分辨的最小周期性细节的尺寸（扫描条件要保证最终形成的CTP528图像空间分辨力均匀分布在4 LPcm

密度分辨力又称低对比度可探测能力，是指目标与背景的CT值之差小于10%时，CT机能分辨一定形状和大小的能力，通常用C剂量(或者mAs)在B％的对比度下，可分辨Amm大小的物体，通过调整辐射剂量、管电压大小、层厚、扫描时间以及被测数字模型的单元尺寸，使其可获得具有不同条件下不同大小密度分辨力的图像。

具体的，基于步骤S23的参数设置调整方法，针对S12构建的不同数字模型，分别对每种体模合理地选择6个及以上不同的扫描条件进行模拟成像，并重建形成相应的CT图像，然后通过采用相同扫描参数对数字化的Catphan体模的CTP515（低对比度模块）成像与重建来计算相应扫描参数下的密度分辨力，大小等于各标称对比度与该标称对比度的细节所能观察到的最小直径（为了消除人为主观影响，选择6位及以上人员观察值的平均值）的乘积的平均值（扫描条件要保证最终形成的CTP515图像的密度分辨力均匀分布在2mm~9mm）。最终形成了一系列不同数字模型的不同密度分辨力的图像数据集，并赋予一个与之对应的标签文件来存储每个图像的相关信息大小，作为密度分辨力测试样本。

在实际应用中，医学图像可以通过调节图像显示参数“窗宽”来影响对比度，窗宽大，图像层次多，组织对比减少，细节显示差；反之，窗宽小，图像层次减少，对比增强，细节显示增加。服务器可以根据医学影像中对应脏器显示常用的窗宽表，窗宽的调节范围设定为算法所关注脏器或部位在医学成像的最优窗宽范围（

具体的，对于每个数字模型的CT图像，服务器可以基于上述的对应脏器或部位窗宽调节范围，在其中均匀选择6个及以上窗宽值获取相对应的CT图像，其格式通常为DICOM格式或NIFTI等格式，同时采用公式

服务器可以还通过调节窗位来影响图像亮度，窗位升高，图像变黑，反之变白。根据医学影像中对应脏器显示常用的窗位表，窗位的调节范围设定为算法所关注脏器或部位在医学成像的最优窗位范围（

具体的，对于每个数字模型的CT图像，服务器可以基于上述的对应脏器或部位窗位调节范围，在其中均匀选择6个及以上窗位值获取相对应的图像，通常为DICOM格式或NIFTI等格式，同时采用公式

除了以上的算法性能影响因子，还存在伪影等其他影响因子，对于伪影可通过在成像过程中或成像后来改变图像质量。对于成像中，服务器可以通过给数字模型增加某一特定的运动速率、在数字体模中添加不同材料或大小的金属物、改变采样频率等方法来获得携带不同伪影的图像；对于成像后，在已生成的标准CT图像上根据实际伪影的类型、特征，如金属异物模型、环状模型、数据采集系统增益校正不一致模型等，分别利用不同的附加过滤器添加不同类型不同强度的伪影。

具体的，对于成像中，服务器可以针对不同维度不同部位的数字模型分别选择合理的扫描条件，在该扫描条件下，分别为数字体模增加6个及以上从小到大的运动速率值；对于成像后，基于生成的CT图像利用Matlab等软件采用附加过滤器与原始图像卷积的方法在图像中分别添加6个及以上不同强度的伪影（同样保证最终形成的图像伪影强度从小到大）。最终形成了一系列针对不同数字体模携带不同伪影强度的图像数据集，并赋予一个与之对应的标签文件来存储每个图像的伪影信息，作为伪影测试样本。

换句话说，服务器可以针对不同影响因子在数字模型的成像过程中调整仿真成像系统参数，当然，也可以在成像后添加不同的噪声以及伪影和/或调整不同的窗位窗宽。需要说明的是，对于每个数字模型，该数字模型在不同仿真条件下生成的各CT图像对应的至少一种影响因子不同。

例如，对于一个数字模型，该数字模型可以在噪声源、射线源焦点、探测器层厚与采样间隔、管电压、光子数、扫描时间、扫描角度、窗位窗宽、数字模型运动速率等不同的仿真条件下，生成均匀性、噪声、空间分辨力、密度分辨力、对比度、亮度以及伪影等不同影响因子下的多类CT图像。当然，服务器也可以生成涵盖所有影响因子的综合类CT图像。

S103：针对每个CT图像，根据该CT图像对应的影响因子以及仿真成像系统参数，确定该CT图像的量值标签，以及，根据该CT图像对应的数字模型实际组织类型和/或病灶类型，确定该CT图像对应的分类标签，并根据所述量值标签和分类标签生成测试数据。

针对每个CT图像，服务器将该CT图像对应的影响因子的参数值作为该CT图像对应的量值标签。这样一来，就可以从均匀性、噪声、空间分辨力、密度分辨力、亮度、对比度以及伪影等维度，采集一系列分别对应不同影响因子的具有量值标签的数据样本，CT图像通常为DICOM、JPEG、PNG等格式，量值标签通常为TXT、CSV、JSON等格式。

另外，服务器可以根据CT图像对应的实际病灶类型和/或组织类型，确定CT图像对应的分类标签，在本说明书中，服务器可以计算体素化或网格化的数字人体模中的每个体素模块或网格模块的衰减强度并进行成像，可通过设置程序使输出的文件中含有与之对应的体素或网格模块的ID以及材料属性信息。

其中，对于每个CT图像，服务器可以确定在该CT图像对应的数字模型中，待检测部位对应目标网格模块的识别标识（如ID），而后根据识别标识，确定目标网格模块对应的属性信息，进而根据所述属性信息，确定该CT图像对应的实际组织类型和/或病灶类型。

在实际应用中，辅助分析算法可以有多种，服务器可根据辅助分析算法的不同类型确定CT图像对应的分类标签。

具体的，基于分类的算法的标签通常是组织类型、疾病类型等，而数字模型中组织类型，器官、组织均是由特定的模块构成的，服务器可以根据上述识别标识重新形成一个包含组织类型等信息的标签文件，作为分类标签；对于疾病类型，服务器可以根据病灶所在部位的信息以及材料属性信息形成一个包含疾病类别等信息的标注文件，通常为XML、CSV、TXT等格式。

基于检测的算法标签通常是感兴趣的区域的标注信息，服务器同样可以根据上述识别标识将感兴趣的区域（例如肿瘤区域、淋巴结区域等）及类别、大小、形状等信息进行标记，并保存在标注文件中，通常为XML、JSON、CSV、TXT等格式。

基于分割的算法标签是与医学图像对应的分割文件，服务器可以根据上述识别标识将组织或疾病的像素区域进行标记，并保存为掩模图像的标注文件，通常为PNG、BMP、NIFTI或DICOM格式。

确定CT图像对应的量值标签以及分类标签后，服务器可以根据各CT图像及其对应的量值标签和分类标签，构建测试样本的测试集。为了便于理解，本说明书提供了一种辅助分析算法测试样本的构建流程示意图，如图2所示。

图2为本说明书中提供的一种各影响因子测试样本的构建流程示意图。

其中，服务器可以解析成像系统与图像质量和算法性能之间的相关性，在成像中调整仿真系统参数或者成像后添加噪声、伪影等，另外，构建数字化圆柱形均质水模、数字化线对数模型等标准体模，以相同扫描条件采集数据以确定该条件下的噪声、空间分辨力等影响因子参数的大小。

S104：将所述测试数据输入待评估的辅助分析算法，以通过所述辅助分析算法确定该CT图像的诊断结果。

S105：根据所述各数字模型的每个CT图像对应的量值标签、分类标签以及诊断结果，确定所述辅助分析算法在不同影响因子下的准确率，作为所述辅助分析算法的评估结果。

服务器可以根据待评估辅助分析模型的特征形成与之适配的涵盖所有量值标签和分类标签的最终测试数据，并输入所述待评估辅助分析模型形成诊断结果，根据待评估辅助分析模型的诊断结果确定该待评估辅助分析模型在不同影响因子测试样本下的准确率，作为评估结果。

需要说明的是，本说明书中的辅助分析算法可以指用于辅助分析的神经网络模型，将CT图像输入经过训练的辅助分析算法的神经网络模型后，可以得到对应的辅助分析结果（即诊断结果）。

针对不同类型的医学影像辅助分析类算法，服务器可以根据所测试算法的影响因子，选择步骤S103生成的相对应的具有量值标签与分类标签的测试样本进行测试，采用Dice系数、灵敏度、特异性、准确度指标来评价算法性能，给出在某种计量属性量值为XX的条件（影响因子）下算法的检测准确度为XX的测评结果（如在噪声为0.6%的条件下，算法的Dice系数为0.88）。

具体的，服务器可以将测试集中的各种测试样本输入待评估辅助分析算法，确定各种测试样本中所有CT图像的诊断结果，根据辅助分析算法对各CT图像的诊断结果与各CT图像对应分类标签的实际分类，确定待评估诊断模型在指定的均匀性、噪声、空间分辨力、密度分辨力、亮度、对比度以及伪影等指标下的准确率。为了便于理解，本说明书提供了一种辅助分析算法的评估过程示意图，如图3所示。

图3为本说明书中提供的一种辅助分析算法的评估过程示意图。

其中，被测对象为不同类型的辅助分析算法，测试集中包含针对不同影响因子的携带一系列不同大小水平该影响因子的测试样本，根据测试样本具体的量值标签以及标注的分类标签，最终根据不同的评价指标，得到各辅助分析算法的评估结果。

在实际应用中，上述评估结果的作用可以有多种，例如，服务器可以根据评估结果构建计量属性（影响因子）量值大小与评价指标大小的关系曲线，进而判断出模型算法的优化方向，而后对模型算法进行优化从而提高其准确性和鲁棒性。

另外，当存在有多种辅助分析算法可以使用时，服务器可以通过上述方法确定每个辅助分析算法对应的评估结果，而后根据评估结果，确定准确性以及鲁棒性最高的目标辅助分析算法，之后就可以将用户的CT图像输入目标辅助分析算法，以通过目标辅助分析算法对用户进行辅助分析，保证诊断结果的准确性。

从上述方法可以看出，对比传统的收集医院影像数据，本发明采用数字化的人体模型与成像设备，不受制于硬件条件的影响。同时可模拟不同扫描参数、不同人体部位、不同病灶，实现的图像数量无限制，可解决数据集阳性、阴性样本分配不均衡的问题。本发明可突破现有的对比度、信噪比、分辨力等限制，可模拟或添加不同大小或强度的对比度、分辨力、噪声、伪影等以获得具有不同图像质量的数据集，大大拓宽原数据集的概念，丰富人工智能医学辅助算法的研究内涵。利用本发明构建的数据集的计量属性可为算法提供科学客观有效的度量和评估方法，开发者可根据性能诊断结果进行有针对性的算法优化，避免算法歧视；用户可根据评测结果对供应商提供的算法性能进行横向比较，有利于用户根据使用需求选择对应产品；监管方可基于该评测方法对市售算法/软件进行评测监管，保障人工智能辅助诊疗产品的安全、有效。

以上为本说明书的一个或多个实施辅助分析算法的评估方法，基于同样的思路，本说明书还提供了相应的辅助分析算法的评估装置，如图4所示。

图4为本说明书提供的一种辅助分析算法的评估装置的示意图，包括：

获取模块401，用于获取预先构建的各数字模型与电子计算机断层扫描CT仿真成像系统，并确与CT图像的质量相关的影响因子以及与所述影响因子相关的仿真成像系统参数，所述数字模型包括数字人体模型以及数字器官模型中的至少一种；

成像模块402，用于针对每个数字模型，在仿真环境中对该数字模型进行CT成像，并在该数字模型的成像过程中分别针对每一种影响因子设置与之相关的仿真系统参数，得到各数字模型在各仿真成像系统参数下形成的携带不同大小的各影响因子水平的CT图像；

确定模块403，用于针对每个CT图像，根据该CT图像对应的影响因子以及仿真成像系统参数，确定该CT图像的量值标签，以及，根据该CT图像对应的数字模型实际组织类型和/或病灶类型，确定该CT图像对应的分类标签，并根据所述量值标签和分类标签生成测试数据；

输入模块404，用于将所述测试数据输入待评估的辅助分析算法，以通过所述辅助分析算法确定该CT图像的诊断结果；

评估模块405，用于根据所述各数字模型的每个CT图像对应的量值标签、分类标签以及诊断结果，确定所述辅助分析算法在不同影响因子下的准确率，作为所述辅助分析算法的评估结果。

可选地，在获取预先构建的各数字模型之前，所述获取模块401具体用于，基于不同人体的人体结构，构建至少一种生理属性的数字模型，并在至少部分数字模型中设置病灶，所述生理属性用于表征数字模型的年龄、性别以及健康情况中的至少一种；针对每个数字模型，将该数字模型转换为四面体网格结构，并对该数字模型中各个组织对应的网格模块赋予材料属性，以使该数字模型与所述仿真环境相适配。

可选地，所述确定模块403具体用于，针对每个CT图像，确定在该CT图像对应的数字模型中，待检测部位对应目标网格模块的识别标识；根据所述识别标识，确定所述目标网格模块对应的属性信息；根据所述属性信息，确定该CT图像对应的实际组织类型和/或病灶类型。

可选地，所述影响因子包括：影响所述辅助分析算法性能的图像均匀性、噪声、空间分辨力、密度分辨力、对比度、亮度以及伪影中的至少一种。

可选地，针对每个数字模型，在仿真环境中对该数字模型进行CT成像之前，所述成像模块402还用于，根据CT仿真系统的成像过程，确定与所述影响因子相关的仿真成像系统参数，所述仿真成像系统参数包括噪声源、放射源焦点、探测器层厚与采样间隔、管电压、光子数、扫描时间、扫描角度、窗位窗宽以及数字模型运动速率中的至少一种。

可选地，所述成像模块402具体用于，在该数字模型的成像过程中设置不同的能量噪声源、时间噪声源、放射源焦点、探测器层厚与采样间隔、管电压、光子数、扫描时间、扫描角度、数字模型运动速率，以及对CT图像中添加不同的噪声源、附加过滤器、调节窗位窗宽。

可选地，针对每个数字模型，该数字模型在不同仿真系统参数下生成的各CT图像对应的至少一种影响因子不同。

可选地，所述评估模块405还用于，确定待评估辅助分析算法的测试准确率与各影响因子测试样本携带的该影响因子水平的不同大小的关系曲线；根据所述关系曲线，确定模型优化方向。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种辅助分析算法的评估方法。

本说明书还提供了图5所示的一种对应于图1的电子设备的示意结构图。如图5所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的辅助分析算法的评估方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（ProgrammableLogic Device, PLD）（例如现场可编程门阵列（Field Programmable Gate Array，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（HardwareDescription Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（AdvancedBoolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（JavaHardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby HardwareDescription Language）等，目前最普遍使用的是VHDL（Very-High-Speed IntegratedCircuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。