掌桥专利:专业的专利平台
掌桥专利
首页

快递单图像检测方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 12:07:15


快递单图像检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域,特别是涉及一种快递单图像检测方法、装置、计算机设备和存储介质。

背景技术

随着图像处理技术的发展,在仓库管理中经常通过图像处理技术来进行针对快递件的仓库管理操作。目前,要么是通过人工扫描识别快递单上并拍快递单留底,要么是通过设备自动识别快递件上的快递件信息并拍照,以完成快递件的仓库管理操作。然而,通过人工拍快递单留底,会存在拍到的作为留底的快递单不清晰的问题,而通过相机自动识别快递上的条形码,会存在识别到的是快递包装上的条形码,而不是快递单上的条形码的问题。所以,目前影响到快递件的仓库管理操作效率的原因之一,是快递单图像检测方法效率较低。

发明内容

基于此,有必要针对上述技术问题,提供一种能够提高效率的快递单图像检测方法、装置、计算机设备和存储介质。

一种快递单图像检测方法,所述方法包括:

获取对快递件进行扫描预览得到的扫描预览帧;

对所述扫描预览帧进行快递单检测,获得候选检测结果;

从所述候选检测结果中筛选出符合置信度条件的第一候选检测结果;

从所述第一候选检测结果中筛选出第二候选检测结果,使得所述第二候选检测结果所对应的快递单图像与所述扫描预览帧的面积占比在预设范围内;

至少根据所述第二候选检测结果所对应的快递单图像与所述扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像。

在其中一个实施例中,所述从所述第一候选检测结果中筛选出第二候选检测结果,使得所述第二候选检测结果所对应的快递单图像与所述扫描预览帧的面积占比在预设范围内,包括:

确定所述扫描预览帧的检测区域,所述检测区域与所述扫描预览帧的任一条边相离;

从所述第一候选检测结果中筛选出中间检测结果,使得所述中间检测结果所对应的快递单图像在所述检测区域内;

从所述中间检测结果中筛选出第二候选检测结果,使得所述第二候选检测结果所对应的快递单图像与所述扫描预览帧的面积占比在预设范围内。

在其中一个实施例中,所述确定所述扫描预览帧的检测区域包括:

将所述扫描预览帧划分出多个网格;

从所述多个网格中,筛选出相连成实心整体的目标网格,构成所述扫描预览帧的检测区域,使得任一所述目标网格与所述扫描预览帧的任一条边相隔至少一个网格。

在其中一个实施例中,所述至少根据所述第二候选检测结果所对应的快递单图像与所述扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像,包括:

获取所述第二候选检测结果所对应的快递单图像相对于所述扫描预览帧的面积占比;

根据所述面积占比和所述第二候选检测结果所对应的快递单图像与所述扫描预览帧之间的中心点距离,确定匹配度;所述匹配度与所述面积占比正相关,并与所述中心点距离负相关;

按照所述匹配度,从所述第二候选检测结果中筛选出目标检测结果,获得相应的目标快递单图像。

在其中一个实施例中,所述方法还包括:

当检测出所述目标快递单图像时,识别所述目标快递单图像中的图形码;

基于所述图形码进行针对所述快递件的仓库管理操作;

上传所述目标快递单图像,以备份所述目标快递单图像。

在其中一个实施例中,所述候选检测结果是通过快递单检测模型检测到的;所述快递单检测模型是通过快递单检测模型训练步骤训练得到的,所述快递单检测模型训练步骤包括:

获取样本快递单图像以及标注所述样本快递单图像中快递单位置的样本标注数据;

将样本快递单图像输入至适配移动终端所构建的快递单检测模型,得到至少一个中间预测数据;

基于所述中间预测数据和所述样本标注数据的差异,调整所述快递单检测模型的参数,使得所述快递单检测模型预测的中间预测数据朝所述样本标注数据收敛,并继续训练,直至满足训练停止条件时停止训练,获得经过训练的快递单检测模型。

在其中一个实施例中,所述快递单检测模型在经过所述训练后,再经过量化训练;量化训练后的快递单检测模型部署于用于进行仓库管理操作的移动终端。

一种快递单图像检测装置,所述装置包括:

获取模块,用于获取对快递件进行扫描预览得到的扫描预览帧;

检测模块,用于对所述扫描预览帧进行快递单检测,获得候选检测结果;

筛选置信度模块,用于从所述候选检测结果中筛选出符合置信度条件的第一候选检测结果;

筛选面积占比模块,用于从所述第一候选检测结果中筛选出第二候选检测结果,使得所述第二候选检测结果所对应的快递单图像与所述扫描预览帧的面积占比在预设范围内;

筛选距离模块,用于至少根据所述第二候选检测结果所对应的快递单图像与所述扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

获取对快递件进行扫描预览得到的扫描预览帧;

对所述扫描预览帧进行快递单检测,获得候选检测结果;

从所述候选检测结果中筛选出符合置信度条件的第一候选检测结果;

从所述第一候选检测结果中筛选出第二候选检测结果,使得所述第二候选检测结果所对应的快递单图像与所述扫描预览帧的面积占比在预设范围内;

至少根据所述第二候选检测结果所对应的快递单图像与所述扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取对快递件进行扫描预览得到的扫描预览帧;

对所述扫描预览帧进行快递单检测,获得候选检测结果;

从所述候选检测结果中筛选出符合置信度条件的第一候选检测结果;

从所述第一候选检测结果中筛选出第二候选检测结果,使得所述第二候选检测结果所对应的快递单图像与所述扫描预览帧的面积占比在预设范围内;

至少根据所述第二候选检测结果所对应的快递单图像与所述扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像。

上述快递单图像检测方法、装置、计算机设备和存储介质,通过终端实时扫描快递件,可以免去人工扫描的复杂流程。终端通过快递单检测模型对扫描预览帧进行快递单检测,在去除掉不符合置信度条件的候选检测结果得到第一候选检测结果后,再选出第一候选检测结果所对应的快递单图像与所述扫描预览帧的面积占比在预设范围内的第二候选检测结果,可以确保得到第二候选检测结果所对应的快递单图像是清晰度符合标准的快递单图像。最后至少根据所述第二候选检测结果所对应的快递单图像与所述扫描预览帧之间的中心点距离,筛选出目标检测结果,以进一步去除第二候选检测结果匹配度非最优的快递单图像,以获得相应的目标快递单图像。综合上述步骤,无需通过人工操作,就可以确保得到的目标快递单图像清晰,并且避免扫描到的是快递包装上的图像码而不是快递单上的图形码的问题,从而有效提高了快递单图像检测效率。

附图说明

图1为一个实施例中快递单图像检测方法的流程示意图;

图2为一个实施例中筛选第二候选检测结果的示意图;

图3为一个实施例中扫描预览帧的检测区域示意图;

图4为另一个实施例中匹配度确认示意图;

图5为一个实施例中快递单图像检测装置的结构框图;

图6为另一个实施例中快递单图像检测装置的结构框图;

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在一个实施例中,如图1所示,提供了一种快递单图像检测方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。终端可以但不限于是各种智能手机、平板电脑和便携式扫描设备。本实施例中,该方法包括以下步骤:

步骤202,获取对快递件进行扫描预览得到的扫描预览帧。

其中,快递件,是按件计量的快递物品。扫描预览帧,是终端扫描预览到的一帧图像。

具体地,用户可以将至少一件快递件放置在扫描区域。终端可以对扫描区域内的快递件进行扫描预览,得到快递件对应的扫描预览帧。其中,扫描区域,是待扫描快递件所处的区域。

在一个实施例中,用户可以将一批快递件放置在传送带上,以将快递件传送至扫描区域。

在一个实施例中,终端可以通过调整扫描的角度,以避免扫描到盲区而导致扫描预览帧所对应的快递单图像不完整。

步骤204,对扫描预览帧进行快递单检测,获得候选检测结果。

其中,快递单,是快递件所附的电子标签。候选检测结果,是从扫描预览帧所对应的快递单图像。

具体地,终端获取扫描预览帧后,将扫描预览帧输入至快递单检测模型中进行快递单检测,获得候选检测结果。其中,快递单检测模型,是检测扫描预览帧中的快递单图像的模型。

在一个实施例中,候选检测结果,是快递单检测模型预测出来的快递单图像的位置数据。

在一个实施例中,终端通过快递单检测模型获得候选检测结果,可以通过添加矩形框或者标签等一种或者多种方式,将候选检测结果标识出来。用户可以通过标识,查看快递单检测模型的检测效果。

在一个实施例中,终端可以在获取到扫描预览帧后,对扫描预览帧进行调整尺寸后,再输入至快递单检测模型中进行快递单检测。比如,将扫描预览帧调整为300*300像素大小的图像,再输入至快递单检测模型中进行快递单检测。

在一个实施例中,快递单检测模型,可以是深度学习神经网络结合深度学习框架进行训练后得到的模型。

在一个实施例中,深度学习神经网络可以是SSD网络。其中,SSD网络,是一种开源的深度学习神经网络。SSD网络的主干网络可以是MobileNetV2网络。其中,MobileNetV2网络是一组移动端优先的计算机视觉模型。深度学习框架,可以是TensorFlow,也可以是TensorFlow Lite。其中,TensorFlow是一种机器学习框架,用于为机器学习模型提供所需要的工具。TensorFlow Lite相对于TensorFlow而言,更适用于移动端的机器学习框架。

步骤206,从候选检测结果中筛选出符合置信度条件的第一候选检测结果。

其中,置信度,是可相信程度。可以理解的是,置信度,可以是候选检测结果所对应的快递单图像的完整程度,也可以是候选检测结果所对应的快递单图像的清晰度,也可以是候选检测结果所对应的快递单图像的面积大小。可以理解的是,候选检测结果,可以是符合置信度条件的候选检测结果,也可以面积占比满足预设范围的候选检测结果,也可以是快递单图像和扫描预览帧之间的中心点距离满足预设范围的候选检测结果。第一候选检测结果,是符合置信度条件的候选检测结果。

具体地,终端通过快递单检测模型将候选检测结果中置信度较低的候选检测结果去除,以筛选出符合置信度条件的第一候选检测结果。

在一个实施例中,置信度条件具体可以是大于某个数据,比如,大于0.5。终端可以通过快递单检测模型,从候选检测结果中筛选置信度大于0.5的第一候选检测结果。

步骤208,从第一候选检测结果中筛选出第二候选检测结果,使得第二候选检测结果所对应的快递单图像与扫描预览帧的面积占比在预设范围内。

其中,第二候选检测结果,是面积占比满足预设范围的候选检测结果。预设范围,是预先设置的范围。

具体地,终端得到快递单检测模型输出的第一候选检测结果后,根据第一候选检测结果所对应的快递单图像与扫描预览帧的面积占比进行筛选,得到所对应的快递单图像与扫描预览帧的面积占比在预设范围内的第二候选检测结果。

在一个实施例中,第二候选检测结果所对应的快递单图像与扫描预览帧的面积占比在预设范围内,可以是第二候选检测结果所对应的快递单图像与扫描预览帧的面积占比大于20%。

在一个实施例中,终端得到快递单检测模型输出的第一候选检测结果后,可以先根据第一候选检测结果所对应的快递单图像在扫描预览帧的预先设置的网格的占比进行筛选后,再根据第一候选检测结果所对应的快递单图像与扫描预览帧的面积占比进行筛选。其中,预先设置的网格,可以是等比例的网格,也可以是非等比例的网格,还可以是矩形网格,或者是其他形状的网格。

在一个实施例中,终端得到快递单检测模型输出的第一候选检测结果后,也可以先根据第一候选检测结果所对应的快递单图像在扫描预览帧的预先设置的等份的占比进行筛选后,再根据第一候选检测结果所对应的快递单图像与扫描预览帧的面积占比进行筛选。其中,预先设置的等份,可以是横着划分的等份,也可以是竖着划分的等份,还可以是斜着划分的等份,或者是其他方式划分的等份。

步骤210,至少根据第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像。

其中,中心点距离,是第二候选检测结果所对应的快递单图像与扫描预览帧之间的两个几何中心点的距离。目标检测结果,是所需要的检测结果。目标快递单图像,是目标检测结果所对应的快递单图像。

具体地,终端得到第二候选检测结果后,至少可以根据第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像。

在一个实施例中,终端得到第二候选检测结果后,至少还可以根据第二候选检测结果所对应的快递单图像与扫描预览帧之间的面积占比,筛选出目标检测结果,获得相应的目标快递单图像。

在一个实施例中,终端得到第二候选检测结果后,可以同时根据第二候选检测结果所对应的快递单图像与扫描预览帧之间的面积占比以及中心点距离,筛选出目标检测结果,获得相应的目标快递单图像。

上述快递单图像检测方法中,通过终端实时扫描快递件,可以免去人工扫描的复杂流程。终端通过快递单检测模型对扫描预览帧进行快递单检测,在去除掉不符合置信度条件的候选检测结果得到第一候选检测结果后,再选出第一候选检测结果所对应的快递单图像与扫描预览帧的面积占比在预设范围内的第二候选检测结果,可以确保得到第二候选检测结果所对应的快递单图像是清晰度符合标准的快递单图像。最后至少根据第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,筛选出目标检测结果,以进一步去除第二候选检测结果匹配度非最优的快递单图像,以获得相应的目标快递单图像。综合上述步骤,无需通过人工操作,就可以确保得到的目标快递单图像清晰,并且避免扫描到的是快递包装上的图像码而不是快递单上的图形码的问题,从而有效提高了快递单图像检测效率。

在一个实施例中,从第一候选检测结果中筛选出第二候选检测结果,使得第二候选检测结果所对应的快递单图像与扫描预览帧的面积占比在预设范围内,包括:确定扫描预览帧的检测区域,检测区域与扫描预览帧的任一条边相离;从第一候选检测结果中筛选出中间检测结果,使得中间检测结果所对应的快递单图像在检测区域内;从中间检测结果中筛选出第二候选检测结果,使得第二候选检测结果所对应的快递单图像与扫描预览帧的面积占比在预设范围内。

其中,检测区域,是扫描预览帧内的检测快递单图像的区域。中间检测结果,是待筛选的检测结果。

具体地,终端获取到快递单检测模型输出的第一候选检测结果后,确定与扫描预览帧的任一条边相离的在扫描预览帧的检测区域。终端从第一候选检测结果中筛选出在检测区域内的中间检测结果,使得中间检测结果所对应的快递单图像在检测区域内。终端筛选出中间检测结果后,根据中间检测结果所对应的快递单图像与扫描预览帧的面积占比进行筛选,得到所对应的快递单图像与扫描预览帧的面积占比在预设范围内的第二候选检测结果。

在一个实施例中,检测区域可以是矩形,也可以是多边形,还可以是圆形。在一个实施例中,矩形的检测区域与扫描预览帧的任一条边相离,可以是检测区域与扫描预览帧的任一条边都相隔至少一个的像素值。

在一个实施例中,圆形的检测区域可以是圆形边界与扫描预览帧的任一条边相离。

在一个实施例中,终端从第一候选检测结果中筛选出在检测区域内的中间检测结果,使得中间检测结果所对应的快递单图像在检测区域内,并且去除与扫描预览帧的面积占比小于20%的中间检测结果所对应的快递单图像,得到第二候选检测结果。

在一个实施例中,参考图2,如图2示出了筛选第二候选检测结果的示意图。终端从第一候选检测结果202中筛选出在检测区域204内的中间检测结果206,并且去除与扫描预览帧的面积占比小于20%的中间检测结果所对应的快递单图像208,得到第二候选检测结果210。

本实施例中,终端筛选出在检测区域内的中间检测结果,使得中间检测结果所对应的快递单图像在检测区域内,并且去除与扫描预览帧的面积占比小于预设范围的中间检测结果所对应的快递单图像,可以避免检测到不完整而并且不清晰的快递单图像。

在一个实施例中,确定扫描预览帧的检测区域包括:将扫描预览帧划分出多个网格;从多个网格中,筛选出相连成实心整体的目标网格,构成扫描预览帧的检测区域,使得任一目标网格与扫描预览帧的任一条边相隔至少一个网格。

具体地,终端将扫描预览帧划分出多个网格,将与扫描预览帧的任一条边相隔至少一个网格的相连成实心整体的目标网格,构成扫描预览帧的检测区域。

在一个实施例中,终端可以将扫描预览帧划分出多个网格,并从扫描预览帧的与边界相贴的一圈网格去除,将留下的网格构成扫描预览帧的检测区域。

在一个实施例中,参考图3,如图3扫描预览帧的检测区域示意图,终端将扫描预览帧划分成16*16的网格,并从16*16的网格中,以15*15的相连成实心整体的目标网格,构成扫描预览帧的检测区域。

本实施例中,终端通过将扫描预览帧划分网格,通过这种网络作为标尺的手段,可以快速地确定出相连成实心整体的目标网格,从快速得到检测区域。

在一个实施例中,至少根据第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像,包括:获取第二候选检测结果所对应的快递单图像相对于扫描预览帧的面积占比;根据面积占比和第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,确定匹配度;匹配度与面积占比正相关,并与中心点距离负相关;按照匹配度,从第二候选检测结果中筛选出目标检测结果,获得相应的目标快递单图像。

其中,匹配度,是第二候选检测结果所对应的快递单图像与目标快递单图像相匹配的程度。正相关,是正向相关。负相关,是反向相关。

具体地,终端获取第二候选检测结果所对应的快递单图像相对于扫描预览帧的面积占比后,结合面积占比和第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,确定与面积占比正相关,并与中心点距离负相关的匹配度。终端可以筛选出匹配度最高的第二候选检测结果所对应的快递单图像,作为目标快递单图像。

在一个实施例中,终端可以获取第二候选检测结果所对应的快递单图像相对于扫描预览帧的面积交并比,并结合面积占比和第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,确定与面积占比正相关,并与中心点距离负相关的匹配度。

在一个实施例中,扫描预览帧的面积可以是定值,扫描预览帧的几何对角线为定值,终端确定与第二候选检测结果所对应的快递单图像的面积成正相关,并与中心点距离与定值之比成负相关的匹配度。

在一个实施例中,第二候选检测结果所对应的快递单图像相对于扫描预览帧的面积交并比,可以是IOU(Intersection over Union,交并比),中心点距离与扫描预览帧的几何对角线长度的比与IOU结合成匹配度,可以是DIOU(Distance Intersection overUnion,距离交并比)。

在一个实施例中,参考图4,图4示出了匹配度确认示意图。终端获取第二候选检测结果所对应的快递单图像相对于扫描预览帧的面积占比后,结合面积占比和第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,如图即O1与O2之间的距离以及O1与O3之间的距离,确定与面积占比正相关,并与中心点距离负相关的匹配度DIOU。其中,O1是扫描预览帧的中心点,O2和O3是第二候选检测结果所对应的快递单图像的中心点。终端确定匹配度后,按照匹配度

本实施例中,终端通过匹配度,可以从第二候选检测结果所对应的完整清晰的快递单图像中,选择最接近扫描预览帧的中心位置且符合清晰度的目标快递单图像。

在一个实施例中,方法还包括:当检测出目标快递单图像时,识别目标快递单图像中的图形码;基于图形码进行针对快递件的仓库管理操作;上传目标快递单图像,以备份目标快递单图像。

其中,图形码,是快递单图像中的图形验证码。可以理解的是,图形码可以条形码,也可以是二维码,还可以是其他形式的验证码。

具体地,当检测出目标快递单图像时,终端可以先识别目标快递单图像中的图像码,获取到快递件的快递信息后,根据快递信息进行针对快递件的仓库管理操作。终端可以上传目标快递单图像,以备份目标快递单图像,也可以将快递信息一并上传,以进行针对快递件的仓库管理操作。

在一个实施例中,终端可以将目标快递单图像,以及图形码对应的快递信息,上传至服务器,以通过服务器更新快递件的出库或者入库的操作。

在一个实施例中,服务器获取到终端上传的目标快递单图像,以及图形码对应的快递信息,可以将快递件的出库或者入库的标识进行更新,以完成快递件的出库或者入库的操作。

本实施例中,通过终端上传目标快递单图像以及识别到的目标快递单图像中的图形码至服务器,可以有效提高快递件的仓库管理操作效率。

在一个实施例中,候选检测结果是通过快递单检测模型检测到的;快递单检测模型是通过快递单检测模型训练步骤训练得到的,快递单检测模型训练步骤包括:获取样本快递单图像以及标注样本快递单图像中快递单位置的样本标注数据;将样本快递单图像输入至适配移动终端所构建的快递单检测模型,得到至少一个中间预测数据;基于中间预测数据和样本标注数据的差异,调整快递单检测模型的参数,使得快递单检测模型预测的中间预测数据朝样本标注数据收敛,并继续训练,直至满足训练停止条件时停止训练,获得经过训练的快递单检测模型。

其中,样本图像,是作为样本非正常检测的图像。样本标注数据,是样本中标注快递单位置的数据。中间预测数据,是训练过程中,快递单检测模型检测出的对应于快递单图像的位置数据。训练停止条件,是中间预测位置数据和样本标注数据的差异达到预期范围内。

在一个实施例中,训练停止条件,可以是训练的迭代次数达到预设值,也可以是损失函数达到预期范围,也可以是预测结果和标注目标的重合度达到预期范围,也可以是模型的文字识别率达到预期范围。

具体地,快递单检测模型训练时,用户将调整后的样本图像输入至待训练的快递单检测模型。终端通过快递单检测模型对样本图像中的快递单图像的位置进行预测,得到至少一个中间预测数据。终端可以基于其中至少一个中间预测数据和样本标注数据的差异,调整快递单检测模型的参数。若至少一个中间预测数据和样本标注数据的差异,未达到预期范围内,则重复基于其中至少一个中间预测数据和样本标注数据的差异,调整快递单检测模型的参数这个步骤,直到中间预测数据和样本标注数据的差异达到预期范围内,停止训练,获得经过训练的快递单检测模型。

在一个实施例中,对样本图像的调整,可以是将样本图像进行放大也可以缩小。

在一个实施例中,用户可以通过将少量的样本图像进行增广后,得到多样化的样本图像。比如,用户可以通过水平/垂直翻转(镜像)、旋转、裁剪、平移、改变亮度或加入噪声等一种或多种方式,将少量的样本图像进行增广。

在一个实施例中,用户可以将样本图像分成2组。终端获取第1组样本图像,并输入至快递单检测模型进行训练,基于中间预测数据和样本标注数据的差异,调整快递单检测模型的参数,使得快递单检测模型预测的中间预测数据朝样本标注数据收敛。当快递单检测模型预测的中间预测数据收敛到预期差异范围时,终端可以停止快递单检测模型训练,得到中间快递单检测模型。终端再获取第2组样本图像,并通过第2组样本图像对中间快递单检测模型进行验证。若中间快递单检测模型对第2组样本图像的中间预测位置数据准确率满足预期值时,终端则停止中间快递单检测模型训练,获得经过训练的快递单检测模型。

在一个实施例中,用户也可以将样本图像分成至少3组,并用至少3组的数据重复终端获取第1组样本图像,并输入至快递单检测模型进行训练,以及后需步骤,直至获得经过训练的快递单检测模型。

在一个实施例中,用户也可以将样本图像分成不等分的至少3组样本图像,也可以分为不等分的至少3组样本图像。

在一个实施例中,可以通过损失函数计算中间预测数据和样本标注数据的差异,得到损失值,中间预测数据和样本标注数据的差异达到预期范围内,可以是损失值达到预期范围内。调整快递单检测模型的参数,可以是调整损失函数的权重。

在一个实施例中,调整快递单检测模型的参数,也可以是调整快递单检测模型训练的学习率,还可以是调整快递单检测模型训练的迭代次数。

本实施例中,将样本快递单图像输入至适配移动终端所构建的快递单检测模型进行训练,获得的模型,可以使用在移动端上。

在一个实施例中,快递单检测模型在经过训练后,再经过量化训练;量化训练后的快递单检测模型部署于用于进行仓库管理操作的移动终端。

其中,量化训练,是量化快递单检测模型的数据位的训练。

具体地,终端获得经过训练的快递单检测模型后,再对经过训练的快递单检测模型进行量化训练。用户可以将量化训练后的快递单检测模型部署于用于进行仓库管理操作的移动终端。

在一个实施例中,量化训练快递单检测模型,终端可以通过toco(TensorFlowLite Optimiz-ing Converter)命令工具进行量化训练。

在一个实施例中,终端可以通过toco(TensorFlow Lite Optimizing Converter)命令工具将快递单检测模型由32位或者16位,量化为8位。

本实施例中,将快递单检测模型进行量化后再部署于用于进行仓库管理操作的移动终端,可以使终端运行快递单检测模型时,提升运行速度。

应该理解的是,虽然上述各个实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述各个实施例的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图5所示,提供了一种快递单图像检测装置500,包括:获取模块502、检测模块504、筛选置信度模块506、筛选面积占比模块508和筛选距离模块510,其中:

获取模块502,用于获取对快递件进行扫描预览得到的扫描预览帧。

检测模块504,用于对扫描预览帧进行快递单检测,获得候选检测结果。

筛选置信度模块506,用于从候选检测结果中筛选出符合置信度条件的第一候选检测结果。

筛选面积占比模块508,用于从第一候选检测结果中筛选出第二候选检测结果,使得第二候选检测结果所对应的快递单图像与扫描预览帧的面积占比在预设范围内。

筛选距离模块510,用于至少根据第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,筛选出目标检测结果,获得相应的目标快递单图像。

在一个实施例中,筛选面积占比模块508,还用于确定扫描预览帧的检测区域,检测区域与扫描预览帧的任一条边相离;从第一候选检测结果中筛选出中间检测结果,使得中间检测结果所对应的快递单图像在检测区域内;从中间检测结果中筛选出第二候选检测结果,使得第二候选检测结果所对应的快递单图像与扫描预览帧的面积占比在预设范围内。

在一个实施例中,筛选面积占比模块508,还用于将扫描预览帧划分出多个网格;从多个网格中,筛选出相连成实心整体的目标网格,构成扫描预览帧的检测区域,使得任一目标网格与扫描预览帧的任一条边相隔至少一个网格。

在一个实施例中,筛选距离模块510,还用于获取第二候选检测结果所对应的快递单图像相对于扫描预览帧的面积占比;根据面积占比和第二候选检测结果所对应的快递单图像与扫描预览帧之间的中心点距离,确定匹配度;匹配度与面积占比正相关,并与中心点距离负相关;按照匹配度,从第二候选检测结果中筛选出目标检测结果,获得相应的目标快递单图像。

在一个实施例中,快递单图像检测装置500,还包括:上传模块512,用于当检测出目标快递单图像时,识别目标快递单图像中的图形码;基于图形码进行针对快递件的仓库管理操作;上传目标快递单图像,以备份目标快递单图像。

在一个实施例中,如图6所示,快递单图像检测装置500,还包括:上传模块512和训练模块514,其中:

训练模块514,用于获取样本快递单图像以及标注样本快递单图像中快递单位置的样本标注数据;将样本快递单图像输入至适配移动终端所构建的快递单检测模型,得到至少一个中间预测数据;基于中间预测数据和样本标注数据的差异,调整快递单检测模型的参数,使得快递单检测模型预测的中间预测数据朝样本标注数据收敛,并继续训练,直至满足训练停止条件时停止训练,获得经过训练的快递单检测模型。

在一个实施例中,快递单检测模型在经过训练后,再经过量化训练;量化训练后的快递单检测模型部署于用于进行仓库管理操作的移动终端。

关于快递单图像检测装置的具体限定可以参见上文中对于快递单图像检测方法的限定,在此不再赘述。上述快递单图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种快递单图像检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏。

本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

相关技术
  • 快递单图像检测方法、装置、计算机设备和存储介质
  • 快递柜终端故障检测方法、装置、计算机设备及存储介质
技术分类

06120113177001