安检CT三维图像中笔记本区域剥离方法、存储介质及设备

技术领域

本发明涉及安检设备技术领域，具体涉及一种安检CT三维图像中笔记本区域剥离方法、存储介质及设备。

背景技术

在机场铁路、重要集会等安全等级要求较高的公共场合，利用X射线安检设备对人员携带的行李物品进行安全检查已经成为普遍的手段。CT型安全检查设备以三维视觉效果和可以得到更加准确的物质物理属性等优势成为安检领域下一代主流检查设备。

近些年深度学习在计算机视觉领域的发展，人工智能赋能安检是大势所趋。为解决由于各领域安检员判图技术水平差异和长时间作业等人为因素导致公共场合安全依然面临威胁的问题，CT型安全检查系统应具有智能探测能力，应用于真实业务场景，全面提升用户体验和智能探测效果展示。

深入到具体安检判读工作场景，旅客的行李包裹内容多样。在X射线透视成像领域，密度值和原子序数值高且结构复杂的物品所呈的图像内容复杂，物品间遮挡严重。面对上述情况，即使使用CT型设备三维图像可旋转功能，也一定程度上对安检员判读造成影响，给公共安全带来隐患。旅客行李中最常见的密度值和原子序数值高且结构复杂的物品是笔记本电脑。

发明内容

针对现有技术的不足，本发明旨在提供一种安检CT三维图像中笔记本区域剥离方法、存储介质及设备。

为了实现上述目的，本发明采用如下技术方案：

安检CT三维图像中笔记本区域剥离方法，具体过程如下：

S1、基于深度学习技术对安检CT设备采集的三维图像进行推理分析，判断三维图像中是否含有笔记本电脑，如果判断三维图像中含有笔记本电脑，计算笔记本电脑在三维图像中的三维位置信息：

S1.1、使用预训练的分割模型对三维图像进行推理分析，得到若干个笔记本电脑的体素粗分割区域；

S1.2、对所得的体素粗分割区域的三维边界进行规整；

S1.3、对规整后的体素粗分割区域计算特征的统计值，筛选出良好片层或优质片层；

S1.4、基于筛选所得的良好片层或优质片层计算笔记本电脑的三维位置信息，得到笔记本电脑的体素区域；

S2、根据笔记本电脑的三维位置信息，将三维图像中笔记本电脑的体素区域剥离，显示无笔记本电脑存在的三维图像，同时将被剥离的笔记本电脑体素区域进行单独显示。

进一步地，步骤S1.3的具体过程为：

S1.3.1、计算特征统计值：

体素粗分割区域由若干切片组成，需要统计的特征包括各切片的几何信息、密度及原子序数信息；切片的几何信息包括连通区的位置、尺寸范围、最小外接矩形信息、轴向角度、面积、轴向长宽比、凸包面积比和质心位置；

S1.3.2、根据各特征的统计值，按设定的打分标准对每个切片的各特征进行打分，再加权计算出每个切片的最终得分，按照设定的筛选标准筛选出良好切片和优质切片；

如果筛选得到的优质片层中切片的数量大于或等于良好片层中切片数量的1/2，且大于或等于体素粗分割区域中切片数量的1/3，则选择优质片层进行后续计算，否则选择良好片层进行后续计算。

进一步地，步骤S1.4的具体过程为：

S1.4.1、在良好片层或优质片层的基础上拟合空间边界线：

计算良好片层或优质片层中各切片连通区的最小外接矩形的4个顶点坐标，形成4个顶点数组集合；然后拟合笔记本电脑的体素区域的主轴直线，该主轴直线是通过良好片层或优质片层中各切片连通区的质心坐标点的直线，然后计算主轴角度；其后，根据主轴角度分配4个顶点数组集合到笔记本电脑的体素区域的上表面的上、下、左、右4个坐标点数组中和下表面的上、下、左、右4个坐标点数组中,这8个坐标点数组组成8条空间边界线；

S1.4.2、确定笔记本电脑的体素区域的最小外接长方体的8个顶点，据此获得最小外接长方体的范围区域：

(1)计算步骤S1.4.1所得的8条空间边界线的8个交点；(2)对笔记本电脑的体素区域的上表面和下表面向X-Z平面进行投影，得到2个投影多边形，分别计算2个投影多边形的最小外接矩形的4个顶点，共8个点；(3)对步骤(1)和(2)中计算的8个点进行加权得到最终笔记本电脑的最小外接长方体的8个顶点，据此获得最小外接长方体的范围区域；

S1.4.3、根据步骤S1.4.2所得的最小外接长方体的范围区域，遍历整个三维体素数据，将最小外接长方体内部的体素标记为笔记本电脑体素，最终形成笔记本电脑的体素区域。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

本发明还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现上述方法。

本发明的有益效果在于：利用本发明，可将带有笔记本电脑的行李图像中的笔记本电脑区域进行剥离操作，同时该笔记本电脑区域可单独显示，使原图像呈现出无笔记本电脑的效果，消除笔记本电脑的遮挡，增强图像内容的辨识度，方便安检员对图像进行判读。

附图说明

图1为本发明实施例1方法的总体流程图；

图2为本发明实施例1方法中计算笔记本电脑的三维位置信息的具体流程图；

图3为本发明实施例2中的三维图像示意图；

图4为本发明实施例2中三维图像经处理后的结果示意图；

图5为本发明实施例2中笔记本电脑的体素区域的最小外接长方体简单示意图；

图6为本发明实施例3的处理结果示意图；

图7为本发明实施例4的处理结构示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

实施例1

本实施例提供一种安检CT三维图像中笔记本区域剥离方法，可将采集的带有笔记本电脑的行李图像中的笔记本电脑区域进行剥离操作，同时剥离的笔记本电脑区域可单独显示，使原图像呈现出无笔记本电脑的效果，消除笔记本电脑遮挡，增强图像内容的辨识度，方便安检员对图像进行判读。如图1所示，所述方法的具体过程如下：

S1、基于深度学习技术对安检CT设备采集的三维图像进行推理分析，判断三维图像中是否含有笔记本电脑，如果判断三维图像中含有笔记本电脑，计算笔记本电脑在三维图像中的三维位置信息。

上述步骤S1的具体过程为：

S1.1、使用预训练的分割模型对三维图像进行推理分析，得到若干个笔记本电脑的体素粗分割区域。

在本实施例中，所述分割模型采用卷积神经网络，在对训练集数据进行标注后，利用训练集数据对卷积神经网络进行训练，得到训练后的分割模型。

S1.2、对所得的体素粗分割区域的三维边界进行规整。

需要说明的是，步骤S1.1中利用分割模型得到的体素粗分割区域会因行李拉杆箱内物品多样性及CT金属伪影的影响出现边缘噪声及欠分割和过分割情况，因此本实施例中使用三维形态学对体素粗分割区域的三维边界进行规整。

S1.3、对规整后的体素粗分割区域进行特征统计，筛选出良好片层或优质片层。

S1.4、基于筛选所得的良好片层或优质片层计算笔记本电脑的三维位置信息，得到笔记本电脑的体素区域。

S2、根据笔记本电脑的三维位置信息，将三维图像中笔记本电脑的体素区域剥离，显示无笔记本电脑存在的三维图像，同时对被剥离的笔记本电脑体素区域进行单独显示。

在本实施例中，步骤S1.3的具体过程为：

S1.3.1、计算特征统计值：

体素粗分割区域由若干切片组成，需要统计的特征包括各切片的几何信息、密度及原子序数信息；切片的几何信息包括连通区的位置、尺寸范围、最小外接矩形信息、轴向角度、面积、轴向长宽比、凸包面积比和质心位置；

S1.3.2、根据各特征的统计值，按设定的打分标准对每个切片的各特征进行打分，再加权计算出每个切片的最终得分，按照设定的筛选标准筛选出良好切片和优质切片。

具体地，在本实施例中，对于所有特征的统计值，先计算其均值和标准差。对于单个切片的每个特征，标准差小于等于均值的10％的，得90分，大于10％但小于等于25％的得75分，大于25％但小于等于40％的得60分，大于40％的得0分。然后给各特征分配权重，如果有0分的权重是50％，除0分以外的特征平均分配余下的权重50％。如该特征无0分特征，所有特征平均分配权重；加权计算得到对应切片的最终得分，70分以上但小于90分的切片为良好切片，90分以上的切片为优质切片；良好切片组成良好片层，优质切片组成优质片层；

如果筛选得到的优质片层中切片的数量大于或等于良好片层中切片数量的1/2，且大于或等于体素粗分割区域中切片数量的1/3，则选择优质片层进行后续计算，否则选择良好片层进行后续计算。

在本实施例中，如图2所示，步骤S1.4的具体过程为：

S1.4.1、在良好片层或优质片层的基础上拟合空间边界线：

计算良好片层或优质片层中各切片连通区的最小外接矩形的4个顶点坐标，形成4个顶点数组集合；然后拟合笔记本电脑的体素区域的主轴直线，该主轴直线是通过良好片层或优质片层中各切片连通区的质心坐标点的直线，然后计算主轴角度；其后，根据主轴角度分配4个顶点数组集合到笔记本电脑的体素区域的上表面的上、下、左、右4个坐标点数组中和下表面的上、下、左、右4个坐标点数组中,这8个坐标点数组组成8条空间边界线。

以笔记本电脑体素区域的上表面为例，根据主轴角度计算得到上表面区域的最小外接矩形的4个顶点和4条边。在图5的Z方向上，将各个切片连通区的最小外接矩形的4个顶点中与上表面相关的2个顶点，与4个顶点在其对应的坐标上比较大小，来分配这些点进入哪个数组。

S1.4.2、确定笔记本电脑的体素区域的最小外接长方体的8个顶点，据此获得最小外接长方体的范围区域：

(1)计算步骤S1.4.1所得的8条空间边界线的8个交点；(2)对笔记本电脑的体素区域的上表面和下表面向X-Z平面进行投影，得到2个投影多边形，分别计算2个投影多边形的最小外接矩形的4个顶点，共8个点；(3)对步骤(1)和(2)中计算的8个点进行加权得到最终笔记本电脑的最小外接长方体的8个顶点，据此获得最小外接长方体的范围区域。

S1.4.3、根据步骤S1.4.2所得的最小外接长方体的范围区域，遍历整个三维体素数据，将最小外接长方体内部的体素标记为笔记本电脑体素，最终形成笔记本电脑的体素区域。

实施例2

本实施例提供一种实施例1所述方法的应用实例。

使用预训练的分割模型对三维图像(如图3所示)进行推理分析，得到若干个笔记本电脑的体素粗分割区域；然后对所得的体素粗分割区域的三维边界进行规整；

体素粗分割区域由若干切片组成，需要统计的特征包括各切片的几何信息、密度及原子序数信息；切片的几何信息包括连通区的位置、尺寸范围、最小外接矩形信息、轴向角度、面积、轴向长宽比、凸包面积比和质心位置；

根据各特征的统计值，按设定的打分标准对每个切片的各特征进行打分，再加权计算出每个切片的最终得分，按照设定的筛选标准筛选出良好切片和优质切片。

如果筛选得到的优质片层中切片的数量大于或等于良好片层中切片数量的1/2，且大于或等于体素粗分割区域中切片数量的1/3，则选择优质片层进行后续计算，否则选择良好片层进行后续计算。

基于筛选所得的良好片层或优质片层计算笔记本电脑的三维位置信息，得到笔记本电脑的体素区域：

1、在良好片层或优质片层的基础上拟合空间边界线：

计算良好片层或优质片层中各切片连通区的最小外接矩形的4个顶点坐标，形成4个顶点数组集合；然后拟合笔记本电脑的体素区域的主轴直线，该主轴直线是通过良好片层或优质片层中各切片连通区的质心坐标点的直线，然后计算主轴角度；其后，根据主轴角度分配4个顶点数组集合到笔记本电脑的体素区域的上表面的上、下、左、右4个坐标点数组中和下表面的上、下、左、右4个坐标点数组中,这8个坐标点数组组成8条空间边界线。

2、确定笔记本电脑的体素区域的最小外接长方体的8个顶点(如图5中的A、B、C、D、E、F、G、H)，据此获得最小外接长方体的范围区域：

(1)计算步骤S1.4.1所得的8条空间边界线的8个交点；(2)对笔记本电脑的体素区域的上表面和下表面向X-Z平面进行投影，得到2个投影多边形，分别计算2个投影多边形的最小外接矩形的4个顶点，共8个点；(3)对步骤(1)和(2)中计算的8个点进行加权得到最终笔记本电脑的最小外接长方体的8个顶点，据此获得最小外接长方体的范围区域。

3、根据所得的最小外接长方体的范围区域，遍历整个三维体素数据，将最小外接长方体内部的体素标记为笔记本电脑体素，最终形成笔记本电脑的体素区域。

最后，根据笔记本电脑的三维位置信息，将三维图像中笔记本电脑的体素区域剥离，显示无笔记本电脑存在的三维图像，同时被剥离的笔记本电脑体素区域进行单独显示(如图4所示)。

实施例3

本实施例提供一种实施例1所述方法的应用实例，具体方法和实施例2基本相同。实施效果如图6所示。

图6中，第一行是安检CT设备的俯视图，一个行李拉杆箱被放置在该设备的传送带上。拉杆箱内部除了正常的旅客旅行携带物品外，放置了一把美工刀、一个塑料打火机、一块移动硬盘、一台常规尺寸平板电脑和一台常规尺寸笔记本电脑，按照空间位置从左到右给它们编号为1号(笔记本电脑)、2号(平板电脑)。在真实的物理空间中，1号笔记本与设备传送带平面成30度夹角，2号平板电脑与设备传送带平面成60度夹角。将此行李拉杆箱放于安检CT设备的通道输送带上，采集三维图像，按照安检员判读习惯，给出了三维图像的三个典型视角，如图6中的第二行所示。由于笔记本的严重遮挡，即使旋转CT三维图像，人眼也很难分辨行包图像中的美工刀、塑料打火机及移动硬盘，而且从图中可以看到2号平板电脑电池部分产生了爆炸物探测的误报警，这对安检判读员正确判读图像产生了不利影响，造成了重大安检隐患。利用实施例1的方法，最终将得到两个笔记本体素区域，将其传输给显示屏显示剥离笔记本体素区域的效果，如第三行和第四行所示。剥离后美工刀、塑料打火机及移动硬盘清晰可见，同时排除了2号平板电脑电池误报警的情况。

实施例4

本实施例提供一种实施例1方法的具体应用实例，过程和实施例2基本相同。

图7中，第一行是安检CT设备的俯视图，一个行李拉杆箱被放置在该设备的传送带上。拉杆箱内部除了正常的旅客旅行携带物品外，放置了一片薄片炸药模拟物、一把美工刀、一个塑料打火机、1台常规尺寸平板电脑和两台常规尺寸笔记本电脑，按照空间位置从上到下给它们编号为1号(平板电脑)、2号(中间笔记本电脑)、3号(底部笔记本电脑)。在真实的物理空间中，1号平板电脑与设备传送带平面无角度，2号和3号笔记本与设备传送带平面成20度夹角。将此行李拉杆箱放于安检CT设备的通道输送带上，采集图像，按照安检员判读习惯，给出了三维图像的三个典型视角，如图7的第二行所示。由于笔记本的严重遮挡，即使旋转CT三维图像，人眼也很难分辨行包图像中的薄片炸药模拟物、美工刀及塑料打火机，这对安检判读员正确判读图像产生了不利影响，造成了重大安检隐患。本实施例的三维图像经过实施例1方法的处理后最终将得到三个笔记本体素区域，将其传输给显示模块显示剥离笔记本体素区域的三维图像，如图7的第三行和第四行所示。剥离后薄片炸药模拟物、美工刀及塑料打火机清晰可见，达到了本发明的目的。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。