安检图像识别方法、装置、电子设备及存储介质
文献发布时间:2023-06-19 10:46:31
技术领域
本发明涉及安检技术领域,具体涉及一种安检图像识别方法、装 置、电子设备及存储介质。
背景技术
随着经济快速发展,高铁,飞机等已经成为了人们日常出行必不 可少的交通工具,然而乘客有意或者无意地携带危险品乘坐交通工具 却成了交通运输安全的最大威胁。X光安检机对于危险品安全检测和 保障交通运输工具运行安全方面有着重要的作用。
传统的安检模式是工作人员根据自身工作经验基于行李的X光 图像对其进行危险等级界定,高强度的工作量和人为的主观性,极易 造成工作人员的检测盲区。为此,许多厂家开始致力于智能安检识别 算法的研究,通过机器识别行李X光图像中的关键物品,若出现违禁 品,自动警报提醒工作人员,以提升工作效率。
然而,这些厂家是完全通过目标检测进行智能识别,存在两个主 要问题。第一,目标检测模型需要对目标类别进行学习,然而行李物 品的形状多种多样,违禁品的形状也在不断变化,使得智能安检识别 的误报漏报概率过高,因此工作人员不能完全依赖于智能识别的结果。 第二,不同厂家对关键物品的标注类别不一致,使得工作人员需要适 应各种产品,在一定程度上反而增加了工作复杂性。
发明内容
本发明实施例提供一种安检图像识别方法、装置、电子设备及存 储介质,用以解决现有技术中误报率和漏报率过高的缺陷,实现更高 效、更准确地对行李X光图像的识别。
本发明第一方面实施例提供一种安检图像识别方法,包括:
获取行李的X光图像;
将所述行李的X光图像输入预先训练的第一安检图像识别模型, 得到第一识别结果;其中,所述第一安检图像识别模型用于划分所述 行李的危险等级;
将所述行李的X光图像输入预先训练的第二安检图像识别模型, 得到第二识别结果;其中,所述第二安检图像识别模型用于标注所述 行李中物品的类别;
根据所述第一识别结果和所述第二识别结果,确定对所述行李的 安检结果。
上述技术方案中,根据所述第一识别结果和所述第二识别结果, 确定对所述行李的安检结果,包括:
当所述第一识别结果显示所述行李的危险等级为危险,且所述第 二识别结果显示所述行李中物品的类别包含违禁品,判定安检结果为 危险行李;
或,当所述第一识别结果显示所述行李的危险等级为安全,且所 述第二识别结果显示所述行李中物品的类别均为生活用品,判定安检 结果为安全行李;
或,当所述第一识别结果与所述第二识别结果的显示内容存在冲 突,判定安检结果为待核实。
上述技术方案中,所述第一识别结果与所述第二识别结果的显示 内容存在冲突包括:
当所述第一识别结果显示所述行李的危险等级为危险,但所述第 二识别结果显示所述行李中物品的类别均为生活用品;
或,当所述第一识别结果显示所述行李的危险等级为安全,但所 述第二识别结果显示所述行李中物品的类别包含违禁品。
工作人员针对待核实行李需要进行详细的检查和标注核对,针对 其他两类行李,直接采取相应的处理方式,即针对危险行李直接进行 开箱检查;针对安全行李直接通过。
上述技术方案中,所述第一安检图像识别模型是基于多示例学习 模型训练得到的;
所述第二安检图像识别模型是基于目标检测网络模型训练得到 的。
上述技术方案中,方法还包括:
获取训练图像;
当所述训练图像中的物品包含违禁品时,将所述训练图像划分为 负样本;以及,当所述训练图像中的物品均为生活用品时,将所述训 练图像划分为正样本;
基于所述正样本和所述负样本,训练多示例学习模型,得到所述 第一安检图像识别模型;
对所述训练图像中的物品进行标注;
基于所述训练图像和所述训练图像中物品的标注,对所述目标检 测网络模型进行训练,得到所述第二安检图像识别模型。
上述技术方案中,对所述训练图像中的物品进行标注,包括:
标注出所述正样本中的生活用品;以及
标注出所述负样本中的违禁品,其中,所述违禁品的类别包括: 枪支、刀具、打火机、管制器具、工具、易燃易爆物、液体、电子设 备、充电宝、雨伞。
本发明第二方面实施例提供一种安检图像识别装置,包括:
图像获取模块,用于获取行李的X光图像;
第一图像识别模块,用于将所述行李的X光图像输入预先训练的 第一安检图像识别模型,得到第一识别结果;其中,所述第一安检图 像识别模型用于划分所述行李的危险等级;
第二图像识别模块,用于将所述行李的X光图像输入预先训练的 第二安检图像识别模型,得到第二识别结果;其中,所述第二安检图 像识别模型用于标注所述行李中物品的类别;
处理结果确定模块,根据所述第一识别结果和第二识别结果,确 定对所述行李的安检结果。
本发明第三方面实施例提供一种电子设备,包括存储器、处理器 及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执 行所述程序时实现如本发明第一方面实施例所述安检图像识别方法 的步骤。
本发明第四方面实施例提供一种非暂态计算机可读存储介质,其 上存储有计算机程序,该计算机程序被处理器执行时实现如本发明第 一方面实施例所述安检图像识别方法的步骤。
本发明实施例提供的安检图像识别方法、装置、电子设备及存储 介质,通过使用所述第一安检图像识别模型和所述第二安检图像识别 模型,综合判断行李的危险等级和行李中包含的物品类别,提醒待核 实行李物品,从而避免漏报误报没有学习过的违禁品,减小漏报误报 的概率。
附图说明
图1是本发明实施例提供的一种安检图像识别方法的流程图;
图2是本发明另一实施例提供的一种安检图像识别方法的流程图;
图3是本发明实施例提供的一种安检图像识别装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发 明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例,都属于本发明保护的范围。
现有的智能安检识别完全是依赖于目标检测算法完成的,目标检 测的性能是根据训练样本体现的,如果新的目标类别,在没有学习的 情况下,是无法识别的,会出现较高的漏报率;此外样本的类内差异 性和类间多样性,造成不可避免的误报情况。为此现有的智能安检识 别算法误报漏报的概率过高,不能适应更多的智能安检需求。为至少 解决上述部分问题,本发明提供了一种安检图像识别方法、装置、电 子设备及存储介质,下面将通过具体实施例对本发明提供的内容进行 详细解释和说明。
图1示出了本发明实施例提供的安检图像识别方法的流程图。如 图1所示,本发明实施例提供的安检图像识别方法包括如下步骤:
步骤101:获取行李的X光图像;
在本实施例中,可以使用各种形状、各种尺寸的安检X光机获得 行李的X光图像,该安检X光机包括多个探测器,可以自由组合成直 线型、L型或圆形弧形,可以是机场的用于大尺寸货物的大型安检设 备,也可以是地铁站等的用于小尺寸随身行李的小型安检设备。获取 的X光图像可以是未经处理的灰度图像,也可以是处理过的彩色图像。
步骤102:将行李的X光图像输入预先训练的第一安检图像识别 模型,得到第一识别结果;其中,第一安检图像识别模型用于划分所 述行李的危险等级;
在本实施例中,需要说明的是,所述第一安检图像识别模型是基 于多示例学习模型训练得到的。第一安检图像识别模型可以识别行李 的X光图像来判断整个行李的危险等级,而无需表示出行李中违禁品 的具体位置,是对整个行李的危险情况的概率判断,当判断行李的危 险概率大于预设阈值时,将行李的危险等级划分为危险,当判断行李 的危险概率小于预设阈值时,将行李的危险等级划分为安全。
步骤103:将所述行李的X光图像输入预先训练的第二安检图像 识别模型,得到第二识别结果;其中,所述第二安检图像识别模型用 于标注所述行李中物品的类别;
在本实施例中,需要说明的是,所述第二安检图像识别模型是基 于目标检测模型训练得到的。第二安检图像识别模型可以对行李中的 物品进行识别,标注出物品的类别及其在行李箱中的位置,包括违禁 品,所述违禁品的类别包括:枪支、刀具、打火机、管制器具、工具、 易燃易爆物、液体、电子设备、充电宝、雨伞,以及生活用品,如衣 物、鞋帽等。存在第二安检图像识别模型未学习过、不能识别的物品, 如当某件物品的识别概率不足以判定为违禁品,也不足以判定为生活 用品时,可以将该物品标注为待核实,提醒安检人员查看安检图像。 存在第二安检图像识别模型漏报误报的物品,如当某件物品没有学习 过,或分类错误,则还可依赖于第一安检图像识别模型的危险等级评 价,提醒安检人员。
步骤104:根据所述第一识别结果和所述第二识别结果,确定对 所述行李的安检结果。
在本实施例中,需要说明的是,根据所述第一识别结果和所述第 二识别结果,确定对所述行李的安检结果,包括:当所述第一识别结 果显示所述行李的危险等级为危险,且所述第二识别结果显示所述行 李中物品的类别包含违禁品,判定安检结果为危险行李;或,当所述 第一识别结果显示所述行李的危险等级为安全,且所述第二识别结果 显示所述行李中物品的类别均为生活用品,判定安检结果为安全行李; 或,当所述第一识别结果与所述第二识别结果的显示内容存在冲突, 判定安检结果为待核实。
在本实施例中,需要进一步说明的是,所述第一识别结果与所述 第二识别结果的显示内容存在冲突包括:当所述第一识别结果显示所 述行李的危险等级为危险,但所述第二识别结果显示所述行李中物品 的类别均为生活用品;或,当所述第一识别结果显示所述行李的危险 等级为安全,但所述第二识别结果显示所述行李中物品的类别包含违 禁品。这可能是由于第一安检图像识别模型和/或第二安检图像识别 模型的误差,使得判断结果不一致,可以通过提醒安检人员查看安检 图像来排除,安检人员可以通过核实图像和已标注的区域,并将核实 结果反馈给安检图像识别算法。也可能是出现了新的物品,如新型违禁品,需要通过进一步判断,如开箱检查等来避免发生重大失误。
在本发明实施例中,所述核实结果的反馈可以用于第一安检图像 识别模型和第二安检图像识别模型的更新,使得上述安检图像识别方 法在使用中更新完善,提高识别效率和准确度。上述算法可以部署在 云上,接收多个安检设备的反馈,同步或分别更新安检设备上的算法。
图2示出了本发明另一实施例提供的一种安检图像识别方法的另 一流程图;如图2所示,上述方法中应用的第一安检图像识别模型和 第二安检图像识别模型可以通过该方法训练得到,该方法包括:
步骤201:获取训练图像;
在本发明实施例中,训练图像可以从已有的图像集中获取,也可 以根据具体场景所需,采集较新的图像,不同应用场景可以适配不同 的训练图像集。
步骤202:将所述训练图像划分为正样本和负样本,以及对所述 训练图像中的物品进行标注;
在本发明实施例中,需要说明的是,将所述训练图像划分为正样 本和负样本,包括:当所述训练图像中的物品包含违禁品时,将所述 训练图像划分为负样本;以及当所述训练图像中的物品均为生活用品 时,将所述训练图像划分为正样本。对所述训练图像中的物品进行标 注,包括:标注出所述正样本中的生活用品;以及标注出所述负样本 中的违禁品,其中,所述违禁品的类别包括:枪支、刀具、打火机、 管制器具、工具、易燃易爆物、液体、电子设备、充电宝、雨伞。
步骤203:基于所述正样本和所述负样本,训练多示例学习模型, 得到所述第一安检图像识别模型;
步骤204:基于所述训练图像和所述训练图像中物品的标注,对 所述目标检测网络模型进行训练,得到所述第二安检图像识别模型。
在本发明实施例中,目标检测网络模型可以包括特征提取网络、 特征融合网络以及对应物体位置和类别的特征映射层,最终输出 X-ray图像当中待识别物体的位置和类别。
本发明实施例采用DenseNet-121作为目标检测算法的特征提取 网络,并去除原始网络中的全连接层,使其仅完成特征提取的功能。 包括初始卷积层、四层Dense Block(DB1-DB4)以及相应的过渡层, 用于提取物体的多尺度特征。
本发明实施例采用特征金字塔网络作为特征融合网络,使网络对 像素尺度差异较大的物体均有较高的识别精度。特征融合网络包括了 三层特征的融合,其中P4由DB4的输出经过横向链接(1×1卷积)获 得,P3由P4和经横向连接的DB3获得,P2由P3和经横向连接的DB2 获得。其中P4为深层特征,具有突出的语义信息,但对像素尺度较小 物体的定位不准。P2为较浅层的特征,具有突出的空间特征,包含丰 富的物体位置信息,此外,P2接收了来自P3和P4的语义信息,因此 P2具有较强的小尺度物体检测能力。
将P2-P4生成的多尺度特征进行特征映射,与本发明所需识别 X-ray图像当中物体的种类进行关联,最终由特征映射层分别输出物 体的位置和类别。
本发明实施例的目标检测算法分为训练和测试两个步骤。
在训练阶段,首先构建X-ray目标检测数据集,包括收集X-ray图 像以及与每一张图像相对应的标注文件。所有标注工作由安检员手工 标定,即标出X-ray图像当中所有感兴趣类别物体的坐标以及该物体 所属的类别。其次,将训练图像输入所构建的目标检测网络,以生成 网络对应图像上物体的位置与类别,并将其与真实标注数据进行比对, 形成损失值,通过反向传播来更新网络当中的参数。最终经过大量的 训练迭代,网络当中参数逐渐收敛,完成训练。
测试阶段即针对行李X-ray图像,通过所训练的目标检测网络, 提取其多尺度特征并进行融合,形成特征映射,输出图像中物体的位 置和类别。
下面对本发明提供的安检图像识别装置进行描述,下文描述的安 检图像识别装置与上文描述的安检图像识别方法可相互对应参照。
图3为本发明实施例提供的安检图像识别装置的示意图,如图3 所示,本发明实施例提供的安检图像识别装置包括:
图像获取模块301,用于获取行李的X光图像;
第一图像识别模块302,用于将所述行李的X光图像输入预先训 练的第一安检图像识别模型,得到第一识别结果;其中,所述第一安 检图像识别模型用于划分所述行李的危险等级;
第二图像识别模块303,用于将所述行李的X光图像输入预先训 练的第二安检图像识别模型,得到第二识别结果;其中,所述第二安 检图像识别模型用于标注所述行李中物品的类别;
处理结果确定模块304,根据所述第一识别结果和第二识别结果, 确定对所述行李的安检结果。
本发明实施例提供的安检图像识别装置通过使用所述第一安检 图像识别模型和所述第二安检图像识别模型,综合判断行李的危险等 级和行李中包含的物品类别,提醒待核实行李物品,从而避免漏报误 报没有学习过的违禁品,减小漏报误报的概率。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子 设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410, 通信接口420,存储器430通过通信总线440完成相互间的通信。处理 器410可以调用存储器430中的逻辑指令,以执行如下方法:获取行李 的X光图像;将所述行李的X光图像输入预先训练的第一安检图像识 别模型,得到第一识别结果;其中,第一安检图像识别模型用于划分 所述行李的危险等级;将所述行李的X光图像输入预先训练的第二安 检图像识别模型,得到第二识别结果;其中,第二安检图像识别模型 用于标注所述行李中物品的类别;根据第一识别结果和第二识别结果, 确定对所述行李的安检结果。
需要说明的是,本实施例中的电子设备在具体实现时可以为服务 器,也可以为PC机,还可以为其他设备,只要其结构中包括如图4所 示的处理器410、通信接口420、存储器430和通信总线440,其中处理 器410,通信接口420,存储器430通过通信总线440完成相互间的通信, 且处理器410可以调用存储器430中的逻辑指令以执行上述方法即可。 本实施例不对电子设备的具体实现形式进行限定。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可 读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品 的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若 干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而 前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟 或者光盘等各种可以存储程序代码的介质。
进一步地,本发明实施例公开一种计算机程序产品,所述计算机 程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所 述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算 机能够执行上述各方法实施例所提供的方法,例如包括:获取行李的 X光图像;将所述行李的X光图像输入预先训练的第一安检图像识别 模型,得到第一识别结果;其中,第一安检图像识别模型用于划分所 述行李的危险等级;将所述行李的X光图像输入预先训练的第二安检 图像识别模型,得到第二识别结果;其中,第二安检图像识别模型用 于标注所述行李中物品的类别;根据第一识别结果和第二识别结果, 确定对所述行李的安检结果。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质, 其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上 述各实施例提供的方法,例如包括:获取行李的X光图像;将所述行 李的X光图像输入预先训练的第一安检图像识别模型,得到第一识别 结果;其中,第一安检图像识别模型用于划分所述行李的危险等级; 将所述行李的X光图像输入预先训练的第二安检图像识别模型,得到 第二识别结果;其中,第二安检图像识别模型用于标注所述行李中物 品的类别;根据第一识别结果和第二识别结果,确定对所述行李的安 检结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离 部件说明的单元可以是或者也可以不是物理上分开的,作为单元显 示的部件可以是或者也可以不是物理单元,即可以位于一个地方, 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中 的部分或者全部模块来实现本实施例方案的目的。本领域普通技术 人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了 解到各实施方式可借助软件加必需的通用硬件平台的方式来实现, 当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者 说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该 计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、 磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个 人计算机,服务器,或者网络设备等)执行各个实施例或者实施例 的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案, 而非对其限制;尽管参照前述实施例对本发明进行了详细的说明, 本领域的普通技术人员应当理解:其依然可以对前述各实施例所记 载的技术方案进行修改,或者对其中部分技术特征进行等同替换; 而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实 施例技术方案的精神和范围。
- 安检图像识别方法、装置、电子设备及存储介质
- 一种应用于多图像融合的图像识别方法、装置、电子设备及存储介质