一种基于深度神经网络的乳腺癌图像识别分类方法

技术领域

本发明涉及计算机应用技术领域，具体涉及一种基于深度神经网络的乳腺癌图像识别分类方法。

背景技术

乳腺癌(breastcancer，BC)是多发于女性乳腺部位一种恶性肿瘤，随着环境的改变和人们生活习惯的变化，乳腺癌的发病率自1970年后呈现全球性上升趋势。美国等西方发达国家每十名女性至少有一人罹患乳腺癌，我国近年来乳腺癌发病率的增长速度已高出乳腺癌高发国家一到两个百分点，乳腺癌的发病率高居女性恶性肿瘤中的第一位。虽然乳腺不是维持人体生命活动的重要器官，原位乳腺癌并不致命，但是乳腺癌细胞丧失了正常细胞的活性，结构松散，极易扩散，游离的癌细胞以血液或淋巴液为载体可扩散至全身，威胁人类生命。乳腺癌是当今社会重大的公共卫生问题，乳腺筛查可以帮助提升早期病例的比例，及早开展对于恶性乳腺肿瘤的综合治疗。因此，及时的筛查和治疗对于预防乳腺癌的发生至关重要。

目前，在部分医疗条件较好的医院，对患有乳腺类疾病的患者，通常的方法是用专业设备采集一系列乳腺及相关部位的彩超图像，为了对患病部位进行全面准确的观察，需要对乳腺等部位图像采集多张照片。现有的乳腺癌图像识别分类方法大多都是基于医院拍摄的彩超的电子图像进行识别分类，该类方法主要部署于医院内部，在完成彩超报告拍摄后即刻进行分类操作，辅助专业放射技师对判断乳腺是否存在恶性肿瘤。

但是，目前大部分医院不具有辅助识别分类系统，即使有也仅存在于医院内部系统之中，且这些辅助识别分类方式都仅限于所属医院的彩超报告，无法扩充到其他医院进行使用，乳腺癌的辅助识别范围及广度受限较大；所以乳腺检查很大程度受限于影像医师的自身水平以及其经验，人眼分辨能力以及人为疏忽等原因，存在误判、遗漏的风险；并且从患者拿到彩超报告到挂号咨询专业技师诊断，其间存在较长时间间隔，在这期间病情极有可能继续加重。

中国发明专利申请号为201410081928.7公开了一种乳腺癌检测方法和装置。该方法包括：获取同一受检者同侧乳房的多幅影像；依次对每幅影像进行如下处理：提取该影像的内外侧斜位视图中的第一乳房区域以及该影像的头尾轴位视图中的第二乳房区域；提取该影像中第一乳房区域和第二乳房区域的图像特征；判断该影像以及已处理影像中第一乳房区域和第二乳房区域对应区域的图像特征是否匹配；若是，或者若否且不存在未处理影像，则判断每个对应区域是否为可疑区域，并对判断为可疑区域的对应区域的真伪性进行分析评估；若否且存在未处理影像，则对下一幅未处理影像进行处理。其所公开的医学影像学中的计算机辅助诊断技术属于前深度学习时代的计算机视觉技术，在乳腺癌病理学图像的特征描述、特征提取以及识别分类方面需要大量的人工干预。

中国发明专利申请号为CN201610733877.0公开了一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统，该系统使用时需要用户用手机或者其他移动设备拍摄获取乳腺钼靶摄片图像，需要用户严格按照其操作方法先将电脑屏幕打开空白的word或者PPT，全屏显示后，将片子放置在电脑屏幕前，然后打开智能手机上的相机软件；在影像片拍照时，要看清上面的汉字或英文字母，字的方向通常就是片子的正确方向，要放正位置拍照；然后在手机或数码相机上进行预览，质量好的标准是能够清晰地看见英文字母；如果显示模糊，说明拍照时手抖动了或没有正确对焦，需要删除重拍；最后将乳腺钼靶摄片图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；所述的预防乳腺癌自助健康云服务系统根据用户发送过来的乳腺钼靶摄片图像，采用基于全卷积神经网络的从乳腺钼靶摄片图像中乳房区域的分割方法对乳腺钼靶摄片图像进行乳房对象的分割，得到分割后的乳房图像；然后根据BI-RADS类型分类规范用深度卷积神经网络对分割后的乳房图像进行识别分类；如果该用户有历史乳腺钼靶摄片图像，就再与该用户的历史乳腺钼靶摄片图像进行比对，对比其不同点；如果该用户有病理学专家临床诊断报告，就结合这些信息进行综合分析，提出诊断和治疗建议，参照美国放射学会的乳腺影像报告的格式要求自动生成自助健康检测结果报告，然后将健康检测结果报告递交给资深放射科医生进行确认，最后将健康检测结果报告信息反馈给用户。

此发明有效提高基于移动互联网乳腺钼靶摄片辅助诊断的自动化和智能化水平、能让更多中老年妇女了解并参与自助健康检测、评估、指导，但其存在一些关键应用缺点：

（1）此应用仅限于乳腺钼靶摄片，需要用户严格按照使用方法对乳腺钼靶摄片图像进行拍摄，系统对用户拍摄的图像直接进行分割及分类，如拍摄不当则无法进行正确识别分类，对用户的操作手法要求非常高，普遍应用性能差、易存在误差；而自助健康检测的重要前提则是简单易行，民众容易掌握操作；

（2）在大范围内，相较于乳腺钼靶摄片，乳腺彩超是目前应用区域最广泛、普及度最高的乳腺检查方法，因此，乳腺彩超实际应用更广泛基于乳腺彩超进行乳腺病灶辅助识别分类具有广泛的应用意义，让广大妇女通过乳腺彩超这种广泛应用的常规检查及时获取检查识别结果更具有实际应用意义。以更好的肩负起具有公共卫生职能的自助健康检测职责，将传统的医生管理病人模式转变成医患结合、病人自助和主动参与的新的管理模式，做到大范围内的全面的早发现、早干预。

但应用乳腺彩超报告进行基于深度神经网络进行乳腺癌早期识别分类有一个核心难点在于：用户拿到的彩超报告均为纸质报告，不可避免的，由于不同用户的操作手法和保存习惯影响，在纸质报告拍摄过程中会存在图像旋转、反光、折痕、污染等噪声，影响乳腺检查图像的准确获取。

综上所述，应用乳腺彩超报告进行基于深度神经网络进行乳腺癌早期识别分类，目前尚存在如下核心问题：1)如何简化公众使用方法，降低彩超图片提供的要求；2）如何对用户提供的彩超报告进去去噪，准确提取乳腺图片。

发明内容

本发明的目的在于：针对现有技术的不足，提供了一种基于深度神经网络的乳腺癌图像识别分类方法，用户使用手机对医院开具的乳腺部位彩超图像报告进行拍照，并将彩超图像照片上传至本发明的识别分类系统即可对该彩超图像照片进行识别分类，识别出该彩超图像照片中是否存在乳腺肿瘤以及乳腺肿瘤的良恶性。

本发明为了实现上述目的具体采用以下技术方案：

一种基于深度神经网络的乳腺癌图像识别分类方法，应用基于深度神经网络的乳腺癌图像识别分类系统，所述基于深度神经网络的乳腺癌图像识别分类系统包括用于对乳腺报告进行彩超图片切割的分割模型、用于规范彩超分割图片的生成模型和用于对乳腺病灶图像识别分类的分类模型；包括以下步骤：

（1）采集并预处理用于训练神经网络模型的乳腺彩超图像数据;

（2）建立并训练神经网络分割模型、生成模型和分类模型;

（3）使用分割模型对用户提交的乳腺报告进行彩超图片切割，提取彩超报告中的彩超图片形成彩超分割图片；

（4）生成模型转换彩超分割图片形式，并消除彩超分割图片存在的噪音及规范化图片，形成彩超规范图片;

（5）分类模型读入彩超规范图片，给出乳腺癌图像分类结果。

进一步地，所述步骤（1）中，采集并预处理用于训练神经网络模型的乳腺彩超图像数据，包括以下步骤：

（11）使用脚本，对仅包含乳腺、拥有良恶性肿瘤标签的彩超截图进行拼接，生成一份模拟彩超报告并打印，生成纸质档模拟彩超报告；

（12）对纸质档模拟彩超报告进行拍摄，得到彩超报告照片。

进一步地，所述分割模型采用yolo5网络；在分割模型训练过程中，模型的分割可信度阈值设为0.6至0.8，交并比为0.6至0.8。

进一步地，所述生成模型的网络模型结构为UNet网络，训练生成模型时将分割的彩超图片作为Unet网络的输入数据，彩超截图作为Unet网络的生成目标。

进一步地，所述生成模型使用Adam算法作为本模型的优化函数，通过存储梯度平方的指数衰减平均值并且保持指数衰减平均值来对模型进行优化；其公式为：

其中

若

其中

其中

所述生成模型的损失函数包括交叉熵损失函数和感知损失函数；通过感知损失函数，模型能够捕捉训练数据中的共有特征，从而生成图片模版，再由交叉熵损失函数捕捉到每一幅待生成图片的关键信息，将该信息附加在生成图片中，最终得到生成图片；交叉熵损失函数的标准形式如下：

其中，

所述感知损失函数采用VGG-16网络，将中间层activations作为目标，计算两个图像经过VGG-16中间层的两个activations的欧式距离，使用如下数学公式表示：

其中：

所述生成模型使用交叉熵损失函数捕获图片特征，再经过感知损失函数进行特征对比，最终获得生成图片。

进一步地，所述生成模型包括下采样层、上采样层和跳跃连接层三部分，具体包括：

下采样层1:输入大小为572×572单通道图片，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为568×568、通道数为64的输出，再进行2×2的最大池化下采样，得到大小为284×284、通道数为64的下采样层2的输入；

下采样层2:输入大小为284×284、通道数为64，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为280×280、通道数为128的输出，再进行2×2的最大池化下采样，得到大小为140×140、通道数为128的下采样层3的输入；

下采样层3:输入大小为140×140、通道数为128，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为136×136、通道数为256的输出，再进行2×2的最大池化下采样，得到大小为68×68、通道数为256的下采样层4的输入；

下采样层4:输入大小为68×68、通道数为256，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为64×64、通道数为512的输出，再进行2×2的最大池化下采样，得到大小为32×32、通道数为512的最底层的输入；

最底层：输入大小为32×32、通道数为512，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为28×28、通道数为1024的输出；

上采样层1:将所述最底层的输出进行卷积核为2×2的上采样操作，并连接下采样层4的输出，得到大小为56×56、通道数为1024的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为52×52、通道数为512的输出；

上采样层2:将上采样层1的输出进行卷积核为2×2的上采样操作，并连接下采样层3的输出，得到大小为104×104、通道数为512的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为100×100、通道数为256的输出；

上采样层3:将上采样层2的输出进行卷积核为2×2的上采样操作，并连接下采样层2的输出，得到大小为200×200、通道数为256的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为196×196、通道数为128的输出；

上采样层4:将上采样层3的输出进行卷积核为2×2的上采样操作，并连接下采样层1的输出，得到大小为392×392、通道数为128的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为388×388、通道数为64的输出；

输出层：将上采样层4的输出经过卷积核大小为1×1的卷积，得到大小为388×388、通道为2的分类结果。

进一步地，训练生成模型前对图像数据进行预处理，包括以下步骤：

a.调整图像大小：将图像的分辨率进行重置，设置分辨率；

b.图像中心化：即均值化，将每个元素的值减去图像的平均值；

c.数据增广：对图像进行翻转、旋转、缩放操作，增加额外数据。

进一步地，训练生成模型时，准备分割的彩超图片以及与之对应的彩超截图，按照0.8和0.2的比例将其划分为训练集和测试集；在训练生成模型时调用分类模型对生成的图片进行验证评价。

进一步地，调用分类模型对生成的图片进行验证评价时，对彩超截图、生成模型生成的彩超图片进行分类验证，将彩超截图的分类结果作为标准，当生成模型生成的彩超图片的分类结果接近标准时，生成模型训练结束。

进一步地，分类模型结构采用Densenet模型，模型层数为169层，并且添加随机反转以进行数据增广。

本发明的有益效果如下：

1、本发明提供了一种基于深度神经网络的乳腺癌图像识别分类方法，用户使用手机等终端对医院开具的乳腺部位彩超图像报告进行拍照，并将彩超图像照片上传至本发明的识别分类系统即可对该彩超图像照片进行识别分类，识别出该彩超图像照片中是否存在乳腺肿瘤以及乳腺肿瘤的良恶性，广泛应用性强；更为突出的是，本发明可对输入的乳腺彩超图像给与噪音消除，使分割的拍摄图片接近于报告截图，一方面，有效降低对输入数据的格式要求，可以是彩超报告的电子文档，也可以是普通手机拍摄纸质档彩超报告的照片；另一方面，有效降低对照片的拍摄质量要求，允许有一定的反光、折叠以及倾斜等情况出现，从而降低用户的使用难度，突出的实际可操作性及推广性；并且，有效保证了系统分类结果的准确性。

2、目前各个医院产生的彩超报告格式不尽相同，如果单单只有一个分类模型将无法适应所有情况，而本发明的生成模型可以将所有彩超报告转换为同一种形式，解决了彩超报告格式不同的问题，鲁棒性更高。

3、本发明将功能模块化，分割模型、生成模型以及分类模型各自完成相关工作，互不干扰，在数据符合条件的情况下，可以独立工作，亦可独立优化模型，灵活性强。

附图说明

图1是本发明基于深度神经网络的乳腺癌图像识别分类方法的整体流程示意图；

图2是分割模型训练过程示意图；

图3是yolo网络模型示意图；

图4是生成模型训练过程示意图；

图5是Unet网络模型示意图；

图6是分类模型训练过程示意图；

图7是Densenet网络模型示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参照图1至图7，本实施例采用的基于深度神经网络的乳腺癌图像识别分类方法，应用基于深度神经网络的乳腺癌图像识别分类系统，所述基于深度神经网络的乳腺癌图像识别分类系统包括用于对乳腺报告进行彩超图片切割的分割模型、用于规范彩超分割图片的生成模型和用于对乳腺病灶图像识别分类的分类模型，当然，无疑义的可知，本系统所在平台连接有图像获取模块以及与用户进行信息传输的信号传输模块，基于深度神经网络的乳腺癌图像识别分类方法包括以下步骤：

（1）采集并预处理用于训练神经网络模型的乳腺彩超图像数据;

（2）建立并训练神经网络分割模型、生成模型和分类模型;

（3）使用分割模型对用户提交的乳腺报告进行彩超图片切割，提取彩超报告中的彩超图片形成彩超分割图片；

（4）生成模型转换彩超分割图片形式，并消除彩超分割图片存在的噪音及规范化图片，形成彩超规范图片;

（5）分类模型读入彩超规范图片，给出乳腺癌图像分类结果。

如图1所示，本系统分割模型、生成模型和分类模型建立训练完成投入使用后，用户利用用户终端(手机或者其他移动设备)将拍摄获取的乳腺彩超报告照片或直接获取的乳腺彩超电子报告单通过手机上的微信或专用APP发送给本发明分类平台，系统分割模型读入用户提交的乳腺报告进行彩超图片切割，去除彩超报告照片上的不必要信息与空白，生成多份彩超分割图片，生成模型读入彩超分割图片，对分割的彩超图片进行转换，生成符合分类模型的图片形式，并消除彩超分割图片存在的噪音，包括但不限于反光、底色、折痕，校正彩超分割图片形成彩超规范图片；分类模型读入彩超规范图片，给出乳腺癌图像的分类结果。

其中，步骤（1）中，采集并预处理用于训练神经网络模型的乳腺彩超图像数据，具体包括以下步骤：

（11）使用脚本，对仅包含乳腺、拥有良恶性肿瘤标签的彩超截图进行拼接，生成一份模拟彩超报告并打印，生成纸质档模拟彩超报告；

深度神经网络对乳腺彩超图像数据中是否存在乳腺癌病变的识别是从大量乳腺部位彩超图像数据中自动学习到乳腺癌及其他乳腺疾病病变特征。因此，对深度神经网络进行训练之前，需要对大量乳腺彩超图像数据进行标注和预处理。此步的目的是为了模拟用户的使用场景。彩超截图是从医院中的彩超报告单中截取的辨识度较高的较为标准的图片，此类图片已经完成脱敏操作，仅包含乳腺的彩超图片，拥有良恶性肿瘤标签。

由于一份纸质档模拟彩超报告上包括了多个彩超截图且这些彩超截图均是随机排序的，在后续的模型训练中需要将彩超截图与标签对应，因此需要对生成的报告标号。为了避免序号录入出错，可在彩超报告中添加二维码，二维码的内容即为模拟彩超报告正上方的序号。

（12）对纸质档模拟彩超报告进行拍摄，得到彩超报告照片；

此步的目的是为了模仿用户的使用场景。不同的用户在不同的场景下拍摄得到的图片都会存在一定噪声，在拍摄过程中，为了更加接近真实的场景，对拍摄方式进行了多种设计，如拍摄角度倾斜、折叠报告、拍摄有一定反光的报告、只拍摄报告的部分内容等方式。

分割模型的建立和训练：

用户提交的照片是以报告的形式存在，其附加了分类模型不需要用到的额外信息，因此需要用到分割模型将报告中的关键彩超图片切割出来，以供后续生成模型和分类模型使用。

使用分割模型，对彩超报告照片进行分割，得到多份分割的彩超图片。该分割的彩超图片既保有原来的彩超截图上的信息，也附加了拍摄过程中存在的噪音。

在分割模型中，还需要对纸质档模拟彩超报告中的二维码进行分割。该二维码包含了该报告在数据集中的序号。此二维码可以降低研究人员的数据录入工作。系统通过对二维码进行识别，获取序号，通过该序号，可以将该报告上的彩超截图与其良恶性标签对应起来，以供分类模型训练。

由于纸质档模拟彩超报告存在阴影以及反光等情况，在二维码识别上会出现异常，因此在调用脚本对二维码进行识别时，首先需要对二维码进行二值化处理，再使用腐蚀操作，最后得到较为纯净的二维码。

采用分割模型对对彩超报告照片进行分割时，需要对拍摄的彩超报告照片进行标注，得到彩超图片在彩超报告照片中的位置。本实施例使用的标注软件为Labelme，分别标注出彩超图片和二维码图片。

训练分割模型前，对彩超报告照片和其标注信息进行划分，按照0.6、0.2和0.2的比例划分为训练集、验证集以及测试集。分割模型的训练过程见图2。

其中，本发明分割模型采用yolo5网络；Yolo采用卷积网络来提取特征，然后使用全连接层来得到预测值，其网络结构参考GooLeNet模型，包含24个卷积层和2个全连接层，如图3所示。对于卷积层，主要使用1x1卷积来做channlereduction，然后紧跟3x3卷积对于卷积层和全连接层，采用LeakyReLU激活函数，最后一层采用线性激活函数。

在本分割模型中的训练过程中，需要对模型的分割阈值进行设置，首先是可信度阈值，由于模型对分割结果会产生一个可信度，值得大小为0-1之间，值越大则分割模型的分割结果越自信。本实施例将可信度阈值设置为0.6，即当置信度低于0.6时不进行分割。另外一个值为交并比，表示的是两个矩形交集的面积/两个矩形并集的面积，同样值的大小为0-1之间，本实施例将交并比设置为0.6。

分割模型训练后进行分割模型评价，主要通过两个值来对分割模型的好坏进行评价：1.图片分割数量是否准确；2.分割模型得到的图片位置与实际位置的交并比是否符合。

生成模型的建立和训练：

分割模型将彩超报告照片分割完成，获取到分割的彩超图片。然后在分割模型部分得到的分割的彩超图片会存在一些问题，主要有：

①图片切割不精确；由于切割时是以方框的方式进行切割的，当图片有一些旋转时，切割就会出现报告底部的颜色，无法完全将图片的底部颜色切除。

②图片存在反光、折痕、污染等其他问题；因此在彩超报告照片分割完成后，需要使用到生成模型，将彩超图片转换及去噪，得到能够被分类模型识别的图片。

生成模型的训练过程如图4所示，准备好分割的彩超图片以及与之对应的彩超截图，按照0.8和0.2的比例将其划分为训练集和测试集，彩超截图是生成模型的最终目标，最终是要将分割的彩超图片转换为标准的彩超截图。在训练生成模型时调用分类模型对生成的图片进行评价，以此判断生成模型的好坏。

在本发明中，生成模型的网络模型结构选择UNet网络，训练生成模型时将分割的彩超图片作为Unet网络的输入数据，彩超截图作为Unet网络的生成目标。UNet网络结构图如图5所示，该网络由于结构对称，形似字母“U”而被称为Unet。

训练生成模型时，需要对输入生成模型的分割彩超图片进行预处理，以对图片大小进行统一规定，处理步骤为：

a.调整图像大小：将图像的分辨率进行重置，设置分辨率为320×240；

b.图像中心化：即均值化，将每个元素的值减去图像的平均值，中心化能够加快模型的收敛速度，提升训练速度；

c.数据增广：对图像进行翻转、旋转、缩放操作，增加额外数据，使得训练得到的模型鲁棒性更强。

在本发明中，生成模型的参数设置如下：

生成模型使用Adam算法作为本模型的优化函数，通过存储梯度平方的指数衰减平均值并且保持指数衰减平均值来对模型进行优化；其公式为：

其中

若

其中

其中

本发明生成模型的损失函数包括交叉熵损失函数和感知损失函数；通过感知损失函数，模型能够捕捉训练数据中的共有特征，从而生成图片模版，再由交叉熵损失函数捕捉到每一幅待生成图片的关键信息，将该信息附加在生成图片中，最终得到生成图片；交叉熵损失函数的标准形式如下：

其中，

所述感知损失函数采用VGG-16网络，将中间层activations作为目标，计算两个图像经过VGG-16中间层的两个activations的欧式距离，使用如下数学公式表示：

其中：

所述生成模型使用交叉熵损失函数捕获图片特征，再经过感知损失函数进行特征对比，最终获得生成图片。

本发明生成模型具体设计包括下采样层、上采样层和跳跃连接层三部分，具体包括：

下采样层1:输入大小为572×572单通道图片，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为568×568、通道数为64的输出，再进行2×2的最大池化下采样，得到大小为284×284、通道数为64的下采样层2的输入；

下采样层2:输入大小为284×284、通道数为64，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为280×280、通道数为128的输出，再进行2×2的最大池化下采样，得到大小为140×140、通道数为128的下采样层3的输入；

下采样层3:输入大小为140×140、通道数为128，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为136×136、通道数为256的输出，再进行2×2的最大池化下采样，得到大小为68×68、通道数为256的下采样层4的输入；

下采样层4:输入大小为68×68、通道数为256，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为64×64、通道数为512的输出，再进行2×2的最大池化下采样，得到大小为32×32、通道数为512的最底层的输入；

最底层：输入大小为32×32、通道数为512，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为28×28、通道数为1024的输出；

上采样层1:将最底层的输出进行卷积核为2×2的上采样操作，并连接下采样层4的输出，得到大小为56×56、通道数为1024的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为52×52、通道数为512的输出；

上采样层2:将上采样层1的输出进行卷积核为2×2的上采样操作，并连接下采样层3的输出，得到大小为104×104、通道数为512的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为100×100、通道数为256的输出；

上采样层3:将上采样层2的输出进行卷积核为2×2的上采样操作，并连接下采样层2的输出，得到大小为200×200、通道数为256的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为196×196、通道数为128的输出；

上采样层4:将上采样层3的输出进行卷积核为2×2的上采样操作，并连接下采样层1的输出，得到大小为392×392、通道数为128的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为388×388、通道数为64的输出；

输出层：将上采样层4的输出经过卷积核大小为1×1的卷积，得到大小为388×388、通道为2的分类结果。

采用分类模型对生成模型进行验证，调用分类模型对生成的图片进行验证评价时，对彩超截图、生成模型生成的彩超图片进行分类验证，将彩超截图的分类结果作为标准，当生成模型生成的彩超图片的分类结果接近标准时，则生成模型训练结束。

分类模型的建立和训练：

在分类模型的训练中，使用标准的彩超截图，在实际场景的应用中，是使用的由生成模型生成的彩超规范图片。分类模型的训练过程如图6所示，训练时对彩超截图以及彩超截图标签进行划分，按照0.6、0.2和0.2的比例划分为训练集、验证集以及测试集，其中彩超截图标签拥有对应彩超截图的良恶性信息。

本发明分类模型结构采用Densenet模型，Densenet模型采用的密集连接机制：互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入，Densenet模型如图7所示，本发明中分类模型层数为169层，将图片分辨率设置为320×240，并且添加随机反转以进行数据增广，即将这些训练数据进行翻转、裁剪，并将这些经过处理的图片加入训练数据中，对模型进行训练；这样做的好处是模型的鲁棒性更强，遇到类似的用户上传的存在翻转、不全的图片能够识别，以取得更好分类效果。